Tip:
Highlight text to annotate it
X
Il sera bien d'introduire quelques termes essentiels
qui sont couramment utilisés en AI pour distinguer différentes catégories de problèmes.
Le tout premier concept que je vais vous enseigner est la différence entre complètement et partiellement observable.
Un milieu est appelé complètement observable si ce que votre agent peut détecter
å tout moment est entièrement suffisant pour prendre la décision optimale.
Ainsi, par exemple, dans de nombreux jeux de cartes,
losrque toutes les cartes sont exposées sur la table, la vision momentanée de toutes ces cartes
est amplement suffisante pour faire le choix optimal.
Ceci contraste avec d'autres environnements où vous avez besoin d'une mémoire
du côté de l'agent pour prendre la meilleure décision possible.
Par exemple, au poker, les cartes ne sont pas exposées sur la table,
et la mémorisation des coups précédents vous aidera à prendre une meilleure décision.
Pour bien comprendre la différence, considérons l'interaction d'un agent
avec l'environnement grâce à ses capteurs et ses actionneurs,
et cette interaction a lieu au cours de nombreux cycles,
souvent appelé le cycle perception-action.
Dans de nombreux milieux, il est pratique de supposer
que l'environnement possède une sorte d'état interne.
Par exemple, dans un jeu de cartes où les cartes ne sont pas exposées sur la table,
l'état pourrait se rapporter aux cartes dans votre main.
Un environnement est complètement observable si les capteurs peuvent toujours voir
l'état de l'environnement dans son intégralité.
Il est partiellement observable si les capteurs ne peuvent voir qu'une fraction de l'état,
bien que la mémorisation des mesures antérieures nous donne des informations supplémentaires sur l'état
qui n'est pas facilement observables å ce moment.
Donc n'importe quel jeu, par exemple, où les coups précédents contiennent des informations sur
ce qui pourrait être dans la main d'une personne, ces jeux sont dit partiellement observables,
et ils exigent un traitement différent.
Très souvent, les agents qui traitent avec des environnements partiellement observables
ont besoin d'acquérir de la mémoire interne pour comprendre ce
l'état de l'environnement est, et nous allons en parler abondamment
quand nous parlerons des modèles de Markov cachés et sur la façon dont cette structure
implémente une telle mémoire interne.
Une seconde terminologie pour les environnements se rapporte à savoir si l'environnement
est déterministe ou stochastique.
Un environnement déterministe est celui où les actions de votre agent
déterminent exclusivement le résultat.
Ainsi, par exemple, aux échecs, il n'y a vraiment pas de hasard lorsque vous déplacez une pièce.
L'effet de déplacer une pièce est entièrement prédéterminé,
et peu importe où je vais déplacer la même pièce, le résultat est le même.
C'est ce que nous appelons déterministe.
Les jeux avec des dés, par exemple, comme le backgammon, sont stochastiques.
Alors que vous pouvez toujours déplacer vos pièces de façon déterministe,
le résultat d'une action implique également de lancer les dés,
et vous ne pouvez pas en prévoir le résultat.
Il y a une part de hasard associée au résultat d'un lancé de dés,
et par conséquent, nous appelons cela stochastique.
Parlons maintenant de discret par rapport å continu.
Un environnement discret est un environnement où vous avez le choix parmi un nombre fini d'actions
ainsi qu'un nombre fini de choses que vous pouvez percevoir.
Ainsi, par exemple, aux échecs, à nouveau, il ya un nombre limité de positions sur l'échiquier
et de choses que vous pouvez faire.
C'est différent d'un milieu continu
où l'espace des actions possibles ou des choses que vous pouvez percevoir peut être infini.
Ainsi, par exemple, si vous lancer des fléchettes, il ya une infinité de manières d'incliner les fléchettes
et de les accélérer.
Enfin, on distingue les environnements coopératifs des environnements concurrentiels.
Dans les environnements coopératifs, l'environnement pourrait être aléatoire.
Il pourrait être stochastiques, mais elle n'a aucun objectif personnel
qui serait en contradiction avec les objectif de l'agent.
Ainsi, par exemple, la météo est coopérative.
Elle pourrait être aléatoire. Elle pourrait affecter le résultat de vos actions.
Mais elle n'est pas vraiment là pour vous avoir.
Cela contraste avec les environnements concurrentiels, comme de nombreux jeux tels les échecs,
où votre adversaire est vraiment là pour vous vaincre.
Il s'avère que c'est beaucoup plus difficile de trouver les bonnes actions dans les environnements concurrentiels
où l'adversaire vous observe activement et contrecarre ce que vous essayez d'atteindre
par rapport à l'environnement coopératif, où le milieu pourrait simplement être stochastique
mais n'est pas vraiment intéressé à rendre votre vie plus difficile.
Voyons maintenant dans quelle mesure ces expressions ont du sens pour vous
en faisant le quiz suivant.
Voici donc de nouveau les quatre concepts : partiellement ou complètement observable,
stochastiques ou déterministe, continu ou discret,
concurrentiel ou coopératif.
Et laissez-moi vous poser une question sur le jeu de dames.
Cochez une ou plusieurs de ces caractéristiques qui s'appliquent.
Donc, si vous pensez que le jeu de dames est partiellement observable, cochez celui-ci.
Sinon, ne le cochez pas.
Si vous pensez qu'il est stochastique, cochez celle-ci,
continue, cochez celle-ci, concurrentiel, cochez celui-ci.
Si vous ne connaissez pas le jeu de dames, vous pouvez consulter le Web et Google
afin de trouvez plus d'information sur le jeu de dames.