Pr\u00e9sentation du projet<\/h2>\n
Pour contextualiser, Pepper est un robot fran\u00e7ais qui sert principalement \u00e0 l\u2019assistance et la pr\u00e9sentation. Il a \u00e9t\u00e9 utilis\u00e9 dans des travaux de d\u00e9veloppement de comportement sociaux avec des enfants autistes mais aussi dans des sc\u00e9narios de lev\u00e9e de suspicion d’\u00e9tat anormal (chute, malaise, oubli de soi, etc.).<\/span><\/p>\n Ce robot est tr\u00e8s facilement programmable gr\u00e2ce \u00e0 un logiciel <\/span>de d\u00e9veloppement appel\u00e9 \u201c<\/span>Choregraphe\u201d<\/b>.\u00a0 Le logiciel est pr\u00e9vu avec une interface graphique permettant de faire des blocs de programmation et des liaisons entre blocs. Il suffit de glisser-d\u00e9poser des blocs de fonctionnalit\u00e9s fournis et de les relier entre eux afin de d\u00e9finir un sc\u00e9nario d\u2019utilisation. Si jamais nous cherchons \u00e0 utiliser une fonctionnalit\u00e9 qui n\u2019est pas d\u00e9j\u00e0 disponible, on peut facilement coder son propre bloc en python.<\/span><\/p>\n Capture d’\u00e9cran du logiciel Choregraphe<\/p>\n Une liste d\u2019objectifs \u00e0 r\u00e9aliser nous a \u00e9t\u00e9 fournis lorsque nous avons commenc\u00e9 le projet. A cause du manque de temps et de soucis techniques, nous n\u2019avons pas pu r\u00e9aliser tous ces objectifs bien qu\u2019une majorit\u00e9 de ceux-ci ont \u00e9t\u00e9 atteints.<\/span><\/p>\n A partir des diff\u00e9rents objectifs nous avons imagin\u00e9 2 sc\u00e9narios d\u2019utilisation \u00e0 ajouter aux fonctionnalit\u00e9s d\u00e9j\u00e0 pr\u00e9sentes sur le robot. En effet, ces sc\u00e9narios servent \u00e0 permettre une utilisation concr\u00e8te et r\u00e9fl\u00e9chie des diff\u00e9rentes fonctionnalit\u00e9s que nous souhaitions d\u00e9velopper.\u00a0<\/span><\/p>\n Pour travailler sur ce projet nous avons d\u00e9cid\u00e9 de diviser notre groupe en 2 sous-groupes, un par sc\u00e9nario. 3 \u00e9tudiants ont principalement travaill\u00e9 sur le premier sc\u00e9nario et sur les livrables tandis que le second groupe compos\u00e9 des 4 personnes restantes s\u2019est concentr\u00e9 sur le second sc\u00e9nario.<\/span><\/p>\n Comme d\u00e9crit pr\u00e9c\u00e9demment, le premier sc\u00e9nario consiste \u00e0 suivre une personne tout en pr\u00e9sentant l\u2019\u00e9cole. Pour commencer, nous sommes partis sur un assemblage <\/span>bloc<\/span><\/i> tracker<\/span><\/i>, <\/span>temporisation<\/span><\/i> et fonction <\/span>move to<\/span><\/i> pour que le robot suive une personne. En r\u00e9alit\u00e9, apr\u00e8s avoir fait beaucoup d\u2019essais, nous avons d\u00e9couvert qu\u2019il y avait une solution beaucoup plus simple.<\/span><\/p>\n En effet, il est possible de programmer le robot avec le bloc de programmation <\/span>people tracker<\/span><\/i>, qui r\u00e9alise le rep\u00e9rage des personnes en plus du guidage. Ce bloc est compos\u00e9 de trois modes : <\/span>face<\/span><\/i>, <\/span>whole body<\/span><\/i> et <\/span>move<\/span><\/i>. Pour le premier cas, la t\u00eate du robot suit le visage de la personne. Dans le 2\u00e8<\/span>me<\/span> cas, elle suit le corps d\u2019une personne. Enfin, dans le dernier mode, Pepper va suivre la personne.<\/span><\/p>\n Afin d\u2019\u00e9viter que Pepper ne percute un obstacle ou une personne lors de son d\u00e9placement, nous avons utilis\u00e9 le bloc <\/span>Set External Anti-Collision<\/span><\/i> qui permet d\u2019arr\u00eater le robot d\u00e8s qu\u2019il d\u00e9tecte un obstacle.<\/span><\/p>\n Un probl\u00e8me est survenu lors de la d\u00e9tection de la personne \u00e0 suivre. Dans le cas o\u00f9, une autre personne passe devant la personne suivie par Pepper, celle-ci se met \u00e0 suivre la deuxi\u00e8me personne. Pour r\u00e9soudre ce probl\u00e8me, nous avons ajout\u00e9 la m\u00e9morisation des visages. Cela permet au robot de ne suivre que la personne enregistr\u00e9 au d\u00e9part de la visite.\u00a0<\/span><\/p>\n Enfin, nous avons am\u00e9lior\u00e9 le suivi de personne en impl\u00e9mentant des mots cl\u00e9s qui permettent de lancer le d\u00e9placement du robot: Suis-moi, suivre etc.<\/span><\/p>\n Le deuxi\u00e8me sc\u00e9nario est un peu plus complexe. Il consiste \u00e0 porter secours \u00e0 une personne en danger.\u00a0<\/span><\/p>\n Le sous objectif principal du sc\u00e9nario d\u2019aide \u00e0 la personne en danger, est notamment de passer un appel en visioconf\u00e9rence.\u00a0<\/span><\/p>\n Une des solutions trouv\u00e9es a \u00e9t\u00e9 de pouvoir cr\u00e9er un serveur web de conf\u00e9rence. Cette solution induit de cr\u00e9er un serveur sur \u00ab ngrok \u00bb. Cette solution n\u2019a pas abouti car nous avions trouv\u00e9 le moyen de g\u00e9n\u00e9rer une page web sur Pepper via Choregraphe (cf programme Python ci-dessous). Cela permet de t\u00e9l\u00e9charger des applications du site d\u2019Aldebaran Robotics mais il n\u2019est pas possible de t\u00e9l\u00e9charger des applications type \u00ab google duo \u00bb pour r\u00e9aliser des visioconf\u00e9rences \u00e0 cause d\u2019un probl\u00e8me de droits.\u00a0<\/span><\/p>\n D\u00e9velopper une application pour l\u2019appel visio en suivant des instructions sur Microsoft Azure est une autre solution. Il est alors possible de cr\u00e9er une machine virtuelle et de la configurer pour la visio, mais au vu de la complexit\u00e9, cette solution n\u2019a pas \u00e9t\u00e9 d\u00e9velopp\u00e9e.\u00a0<\/span><\/p>\n Nous avons d\u00e9cid\u00e9 de dissocier l\u2019appel t\u00e9l\u00e9phonique et la visio. Pour le second cas, il est possible d\u2019utiliser le r\u00e9seau \u00ab WebRTC \u00bb avec Pepper en tant que module technique. Cependant, nous n\u2019avons pas poursuivi cette solution et nous nous sommes concentr\u00e9 sur l\u2019appel.<\/span><\/p>\n \u00a0 \u00a0<\/span><\/p>\n Le robot autorise l\u2019enregistrement de mots pr\u00e9d\u00e9fini. Lorsque le robot d\u00e9tecte un de ces mots enregistr\u00e9s, il d\u00e9clenche la r\u00e9ponse associ\u00e9e. Suite \u00e0 un appel de la personne en difficult\u00e9 (via \u201c\u00e0 l\u2019aide\u201d, \u201cau secours\u201d ou encore \u201csos\u201d) le robot va rep\u00e9rer l\u2019origine du son et se diriger vers la source du bruit. Une fois arriv\u00e9 \u00e0 destination, le robot va demander si tout va bien, et en fonction de la r\u00e9ponse, peut appeler les secours . Le rep\u00e9rage de l\u2019origine du son est difficile surtout dans des milieux bruyants et restreints.\u00a0<\/span><\/p>\n Une des solutions trouv\u00e9es a \u00e9t\u00e9 de cr\u00e9er un num\u00e9ro de t\u00e9l\u00e9phone virtuel via un ordinateur. Sur ce compte virtuel twilio, un compte \u00ab SID \u00bb est cr\u00e9\u00e9. Via cette plateforme web, on peut envoyer un sms \u00e0 un t\u00e9l\u00e9phone. On a ensuite pris une base de code python, que l\u2019on a adapt\u00e9 pour l\u2019IDE de l\u2019\u00e9diteur de code. Sur ce code, notre identifiant SID est modifi\u00e9 ainsi que le num\u00e9ro de t\u00e9l\u00e9phone virtuel. Ces informations permettent de communiquer entre un t\u00e9l\u00e9phone et le robot.<\/span><\/p>\n Ensuite, le code Python est int\u00e9gr\u00e9 au logiciel Choregraphe pour ne plus avoir \u00e0 passer par un ordinateur pour la communication entre le robot et le t\u00e9l\u00e9phone. Un d\u00e9but de solution \u00e0 \u00e9t\u00e9 de g\u00e9n\u00e9rer un script python et un bloc \u00ab get attached \u00bb. Le bloc \u00ab get attached \u00bb permet d\u2019int\u00e9grer des libraires python au logiciel choregraphe. Le script python fait le lien entre le robot et le t\u00e9l\u00e9phone. Cette solution n\u2019a pas fonctionn\u00e9, car le logiciel choregraphe ne parvient pas \u00e0 trouver la librairie import\u00e9e.<\/span><\/p>\n Une autre solution est de charger la librairie au travers du script. Cependant, il y a un probl\u00e8me de format. Le logiciel choregraphe ne supporte que les fichiers \u00ab .dll \u00bb, et pas les \u00ab .py \u00bb. A moins de trouver un moyen de convertir le format, cette solution reste inutilisable.<\/span><\/p>\n Une autre solution serait d\u2019installer la librairie directement sur Pepper. Installer cette librairie revient \u00e0 cr\u00e9er un comportement suppl\u00e9mentaire. Cependant, lors de l\u2019ex\u00e9cution, il manquait une librairie PYTZ. Cette librairie est r\u00e9cup\u00e9rable gr\u00e2ce au logiciel \u00ab Putty \u00bb, qui l\u2019installe sur le robot. Apr\u00e8s avoir r\u00e9-ex\u00e9cuter le comportement, il manquait une autre librairie qui est maintenant install\u00e9e. La d\u00e9couverte d\u2019un tutoriel en japonais sur l’utilisation de Twilio nous a permis de finaliser la r\u00e9alisation de l\u2019appel via le robot Pepper.<\/span><\/p>\n Un probl\u00e8me que nous avons rencontr\u00e9 au niveau du suivi d\u2019une personne est que le robot peut r\u00e9pondre de mani\u00e8re \u00e9trange. Cela est d\u00fb \u00e0 une saturation de m\u00e9moire du robot lors d\u2019un chargement de programme. Cette situation peut arriver notamment lors de chargement de programme avec reconnaissance vocale. Pour r\u00e9soudre ce probl\u00e8me, il faut \u00e9teindre compl\u00e8tement le robot et le faire red\u00e9marrer.<\/span><\/p>\n Un objectif suppl\u00e9mentaire serait de faire en sorte de pouvoir changer de mode de fonctionnement sans avoir \u00e0 utiliser un ordinateur. Pour faire \u00e7a, le plus simple est de r\u00e9unir l\u2019int\u00e9gralit\u00e9 des programmes utilis\u00e9s en un seul, avec pour condition d\u2019activation la reconnaissance d\u2019un mot cl\u00e9. A l\u2019heure actuelle, cette fonction n\u2019a pas encore \u00e9t\u00e9 r\u00e9alis\u00e9e.<\/span><\/p>\n Une piste de modification du programme s\u2019est pr\u00e9sent\u00e9e lors d\u2019une pr\u00e9sentation \u00e0 une promotion d\u2019\u00e9l\u00e8ves de l\u2019ENSIBS. En effet, le robot avait pour objectif de suivre un des \u00e9l\u00e8ves. La modification est sur la distance d\u2019arr\u00eat entre le robot et la personne cibl\u00e9e. La proximit\u00e9 entre le robot et la personne peut \u00eatre g\u00eanante, au point de faire peur. Nous avons ici d\u00e9couvert l\u2019importance de r\u00e9fl\u00e9chir \u00e0 la perception du robot par les utilisateurs.<\/span><\/p>\n Une autre piste de modification est sur la vitesse de d\u00e9placement. Lorsque le robot suit une personne, il faut que la personne marche lentement pour ne pas sortir de la zone de d\u00e9tection. Il est possible que le probl\u00e8me soit d\u2019ordre logiciel, le robot doit recalculer \u00e0 chaque instant si la personne est situ\u00e9 devant lui, ce qui peut demander des ressources assez importantes.<\/span><\/p>\n![\"\"](\"https:\/\/hub.imt-atlantique.fr\/fablab\/wp-content\/uploads\/archives\/2020\/02\/IMG_20200131_200722.jpg\")
<\/a>Nous avons choisi de travailler sur un projet d’am\u00e9lioration des fonctionnalit\u00e9s du robot Pepper.\u00a0<\/span><\/p>\n<\/a><\/p>\n<\/h2>\n
Pr\u00e9sentation de l\u2019\u00e9quipe<\/h2>\n
\n
<\/a><\/p>\nObjectifs du projet<\/h2>\n
\n
Sc\u00e9narios<\/h2>\n
\n
D\u00e9roulement du Hackathon<\/h2>\n
\n
Premier Sc\u00e9nario<\/b><\/h3>\n<\/li>\n<\/ul>\n
\n
Deuxi\u00e8me Sc\u00e9nario\u00a0<\/b><\/h3>\n<\/li>\n<\/ul>\n
Des solutions non abouties<\/b><\/h4>\n
<\/a><\/p>\nCode python pour ouvrir une page web sur la tablette du robot Pepper<\/pre>\n
Sch\u00e9mas de contexte du r\u00e9seau<\/b><\/h4>\n
<\/a><\/a><\/span><\/p>\n\u00a0<\/span>La solution aboutie : d\u00e9marche et explications<\/b><\/h4>\n
\n
Pistes d\u2019am\u00e9lioration<\/b><\/h3>\n<\/li>\n<\/ul>\n
D\u00e9monstrations<\/h2>\n