See discussions, stats, and author profiles for this publication at: https://ww

See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/322631331 Decision-making algorithms for autonomous robots Thesis · November 2017 CITATIONS 3 READS 1,399 1 author: Some of the authors of this publication are also working on these related projects: Rhoban View project Ludovic Hofer University of Bordeaux 12 PUBLICATIONS 30 CITATIONS SEE PROFILE All content following this page was uploaded by Ludovic Hofer on 26 February 2018. The user has requested enhancement of the downloaded file. HAL Id: tel-01684198 https://tel.archives-ouvertes.fr/tel-01684198 Submitted on 15 Jan 2018 HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Decision-making algorithms for autonomous robots Ludovic Hofer To cite this version: Ludovic Hofer. Decision-making algorithms for autonomous robots. Robotics [cs.RO]. Université de Bordeaux, 2017. English. <NNT : 2017BORD0770>. <tel-01684198> THÈSE PRÉSENTÉE À L'UNIVERSITÉ DE BORDEAUX ÉCOLE DOCTORALE DE MATHÉMATIQUES ET D'INFORMATIQUE par Ludovic Hofer POUR OBTENIR LE GRADE DE DOCTEUR SPÉCIALITÉ : INFORMATIQUE Decision-making algorithms for autonomous robots Date de soutenance : 27 novembre 2017 Devant la commission d'examen composée de : Olivier Ly . . . . . . . . . . . . Maître de conférences, Université de Bordeaux . . . Directeur Hugo Gimbert . . . . . . . Chargé de recherche, LaBRI . . . . . . . . . . . . . . . . . . . . . Co-directeur Luca Iocchi . . . . . . . . . . Professore associato, Sapienza Università di Roma Rapporteur Frédérick Garcia . . . . . Directeur de recherche, INRA . . . . . . . . . . . . . . . . . . . . Rapporteur Blaise Genest . . . . . . . . Chargé de recherche, IRISA . . . . . . . . . . . . . . . . . . . . . . Examinateur Laurent Simon . . . . . . . . Professeur, Bordeaux INP . . . . . . . . . . . . . . . . . . . . . . . . Examinateur Serge Chaumette . . . . Professeur, Université de Bordeaux . . . . . . . . . . . . . . . Président du jury Abdel-Illah Mouaddib Professeur, Université de Caen . . . . . . . . . . . . . . . . . . . Examinateur 2017 Titre Algorithmes de prise de décision stratégique pour robots autonomes Résumé A n d'être autonomes, les robots doivent êtres capables de pren- dre des décisions en fonction des informations qu'ils perçoivent de leur envi- ronnement. Cette thèse modélise les problèmes de prise de décision robotique comme des processus de décision markoviens avec un espace d'état et un espace d'action tous deux continus. Ce choix de modélisation permet de représenter les incertitudes sur le résultat des actions appliquées par le robot. Les nouveaux algorithmes d'apprentissage présentés dans cette thèse se fo- calisent sur l'obtention de stratégies applicables dans un domaine embarqué. Ils sont appliqués à deux problèmes concrets issus de la RoboCup, une com- pétition robotique internationale annuelle. Dans ces problèmes, des robots humanoïdes doivent décider de la puissance et de la direction de tirs a n de maximiser les chances de marquer et contrôler la commande d'une primitive motrice pour préparer un tir. Mots-clés Processus de décision markovien, robotique autonome, appren- tissage Abstract The autonomy of robots heavily relies on their ability to make de- cisions based on the information provided by their sensors. In this dissertation, decision-making in robotics is modeled as continuous state and action markov decision process. This choice allows modeling of uncertainty on the results of the actions chosen by the robots. The new learning algorithms proposed in this thesis focus on producing policies which can be used online at a low computational cost. They are ap- plied to real-world problems in the RoboCup context, an international robotic competition held annually. In those problems, humanoid robots have to choose either the direction and power of kicks in order to maximize the probability of scoring a goal or the parameters of a walk engine to move towards a kickable position. Keywords Markov decision process, Autonomous robotics, Machine learn- ing Laboratoire d'accueil LaBRI, Bâtiment A30, 351, Cours de la Libération 33405 Talence CEDEX, France Decision-making algorithms for autonomous robots iii iv Ludovic Hofer Résumé de la thèse en français Alors qu'en mai 1997, Deep Blue était le premier ordinateur à vaincre le cham- pion du monde en titre aux échecs, signant ainsi une victoire majeure de l'intelligence arti cielle sur celles des humains, la RoboCup naissait. Cette compétition internationale de robotique a chait l'objectif ambitieux de pro- duire une équipe de robots humanoïdes capables de remporter un match de football contre l'équipe humaine championne du monde. Environnement par- tiellement observable, espaces continus et coopération, les di cultés théoriques présentes dans cette compétition ont forcés les participants à passer d'une ré- solution de problèmes symboliques à une résolution de problèmes concrets où les résultats des actions ne correspondent parfois pas aux attentes. Cette com- pétition a grandi au cours des 20 dernières années et elle rassemble à présent plus de 3000 participants à chaque année. Au cours de ma thèse, j'ai participé à trois reprises à la RoboCup au sein de l'équipe Rhoban dans la catégorie robots humanoïdes de petite taille. Cette thèse étudie plusieurs problèmes présents dans le football robotique humanoïde et présente des algorithmes permettant d'y apporter des solutions. A n d'être autonomes, les robots doivent être capables de percevoir leur environnement en analysant les informations reçues par leurs capteurs. Dans le cas des robots footballeurs de la RoboCup, ils ne perçoivent leur environnement qu'à travers une caméra, une centrale inertielle et des capteurs angulaires leur permettant de mesurer la position angulaire de leurs joints. Les robots sont aussi limités par leurs capacités d'interactions avec leur en- vironnement. La marche robotique bipède est elle-même un sujet de recherche à part entière. Réaliser un tir puissant est aussi une tâche complexe puisqu'elle nécessite de conserver l'équilibre tout en eectuant un mouvement hautement dynamique. Alors que les robots industriels eectuent des tâches répétitives, les robots autonomes ont des objectifs et cherchent à les accomplir. Pour ce faire, ils décident d'appliquer les actions appropriées à la représentation qu'ils se font de leur environnement. Cette prise de décision est l'axe de recherche de cette thèse. Puisqu'ils se déplacent et agissent dans le monde réel, les robots ne peuvent pas se permettre de négliger le fait que le résultat de leurs action n'est pas déterministe en fonction de leur perception. Ils doivent donc être capable de v prendre des décisions dans des environnements stochastiques, établissant des stratégies leur permettant d'atteindre leurs objectifs malgré la di culté de prédire le résultat de leurs actions. Pour re éter à la fois les aspects stochastique et continus des problèmes robotiques, cette thèse modélise les problèmes comme des processus de décision Markoviens à espaces d'état et d'action continus, abrégés PDM-EAC. La prise de décision en robotique est sujette à des contraintes spéci ques. En plus de devoir prendre en compte les aspects stochastiques et continus des problèmes, elle doit s'exécuter en temps réel sur des processeurs parfois peu puissants. Eectivement, les contraintes en termes de poids, de volume et de consommation énergétique qui s'appliquent en robotique sont moins pronon- cées pour d'autres champs d'application. Cette thèse propose trois algorithmes permettant d'optimiser des straté- gies pour des PDM-EAC. Elle étudie aussi en profondeur deux sous-problèmes auxquels notre équipe a fait face lors des diérentes édition de la RoboCup: l'approche de la balle et le choix du tir. Dans le problème de l'approche de la balle, un robot doit choisir quels ordres envoyer à sa primitive motrice pour atteindre une position convenable pour ef- fectuer son prochain tir au plus vite. En plus de minimiser le temps nécessaire à atteindre la balle, le robot doit s'assurer d'éviter d'entrer en collision avec la balle. Cette tâche est particulièrement di cile car il est di cile de prévoir les déplacements exacts en fonction des ordres envoyés. Le bruit est partic- ulièrement important car les robots se déplacent sur de la pelouse arti cielle et glissent légèrement sur le sol, rendant ainsi le positionnement précis di cile. Dans le cadre de la compétition, cette tâche est critique, car les robots mettent souvent plus de temps à eectuer les 50 derniers centimètres nécessaires à leur placement qu'à parcourir les 3 mètres précédant cette phase délicate. Lors des matchs de football humanoïdes, les robots doivent uploads/Science et Technologie/ decision-making-algorithms-for-autonomous-robots.pdf

Tags
Science et Technologiepolicy robots function robot while
Documents similaires
  • 15
  • 0
  • 0
Afficher les détails des licences
Licence et utilisation
Gratuit pour un usage personnel Attribution requise
Partager