La nouvelle technologie d'IA de l'équipe donne un grand coup de pouce aux compétences de reconnaissance des robots

Un robot déplace un paquet de beurre autour d'une table du laboratoire de robotique et de vision intelligente de l'Université du Texas à Dallas. À chaque poussée, le robot apprend à reconnaître l'objet grâce à un nouveau système développé par une équipe d'informaticiens de l'UT Dallas.

Le nouveau système permet au robot de pousser des objets plusieurs fois jusqu'à ce qu'une séquence d'images soit collectée, ce qui permet au système de segmenter tous les objets de la séquence jusqu'à ce que le robot reconnaisse les objets. Les approches précédentes reposaient sur une simple poussée ou saisie par le robot pour « apprendre » l’objet.

L'équipe a présenté son document de recherche lors de la conférence Robotics: Science and Systems du 10 au 14 juillet à Daegu, en Corée du Sud. Les articles de la conférence sont sélectionnés pour leur nouveauté, leur qualité technique, leur importance, leur impact potentiel et leur clarté.

Le jour où les robots pourront préparer le dîner, débarrasser la table de la cuisine et vider le lave-vaisselle est encore loin. Mais le groupe de recherche a fait des progrès significatifs avec son système robotique qui utilise l'intelligence artificielle pour aider les robots à mieux identifier et mémoriser les objets, a déclaré le Dr Yu Xiang, auteur principal de l'article.

"Si vous demandez à un robot de ramasser la tasse ou de vous apporter une bouteille d'eau, le robot doit reconnaître ces objets", a déclaré Xiang, professeur adjoint d'informatique à l'école d'ingénierie et d'informatique Erik Jonsson.

La technologie des chercheurs de l'UTD est conçue pour aider les robots à détecter une grande variété d'objets trouvés dans des environnements tels que les maisons et à généraliser ou identifier des versions similaires d'objets courants tels que des bouteilles d'eau de marques, formes ou tailles variées.

À l'intérieur du laboratoire de Xiang se trouve un bac de stockage rempli d'emballages de jouets contenant des aliments courants, tels que des spaghettis, du ketchup et des carottes, qui sont utilisés pour entraîner le robot de laboratoire, nommé Ramp. Ramp est un robot manipulateur mobile Fetch Robotics qui mesure environ 4 pieds de haut sur une plate-forme mobile ronde. La rampe est dotée d'un long bras mécanique à sept articulations. À la fin se trouve une « main » carrée avec deux doigts pour saisir les objets.

Xiang a déclaré que les robots apprennent à reconnaître les objets d'une manière comparable à la façon dont les enfants apprennent à interagir avec les jouets.

"Après avoir poussé l'objet, le robot apprend à le reconnaître", a expliqué Xiang. « Avec ces données, nous entraînons le modèle d’IA afin que la prochaine fois que le robot voit l’objet, il n’ait pas besoin de le pousser à nouveau. La deuxième fois qu’il verra l’objet, il le ramassera simplement.

Ce qui est nouveau dans la méthode des chercheurs, c'est que le robot pousse chaque élément 15 à 20 fois, alors que les méthodes de perception interactive précédentes n'utilisaient qu'une seule poussée. Xiang a déclaré que plusieurs pressions permettent au robot de prendre plus de photos avec sa caméra RVB-D, qui comprend un capteur de profondeur, pour en savoir plus sur chaque élément plus en détail. Cela réduit le risque d’erreurs.

« Après avoir poussé l'objet, le robot apprend à le reconnaître. Avec ces données, nous entraînons le modèle d’IA de sorte que… la deuxième fois qu’il verra l’objet, il le récupérera simplement.

Dr Yu Xiang, professeur adjoint d'informatique à l'École d'ingénierie et d'informatique Erik Jonsson

La tâche de reconnaissance, de différenciation et de mémorisation des objets, appelée segmentation, est l'une des principales fonctions nécessaires aux robots pour accomplir des tâches.

"À notre connaissance, il s'agit du premier système qui exploite l'interaction à long terme d'un robot pour la segmentation d'objets", a déclaré Xiang.

Ninad Khargonkar, doctorant en informatique, a déclaré que travailler sur le projet l'avait aidé à améliorer l'algorithme qui aide le robot à prendre des décisions.

« C'est une chose de développer un algorithme et de le tester sur un ensemble de données abstraites ; c'en est une autre de le tester sur des tâches du monde réel », a déclaré Khargonkar. « Voir cette performance dans le monde réel – c’était une expérience d’apprentissage clé. »

La prochaine étape pour les chercheurs consiste à améliorer d’autres fonctions, notamment la planification et le contrôle, qui pourraient permettre des tâches telles que le tri des matériaux recyclés.

Parmi les autres auteurs de l'article de l'UTD figuraient Yangxiao Lu, étudiant diplômé en informatique ; les seniors en informatique Zesheng Xu et Charles Averill ; Kamalesh Palanisamy MS'23 ; Dr Yunhui Guo, professeur adjoint d'informatique ; et le Dr Nicholas Ruozzi, professeur agrégé d'informatique. Le Dr Kaiyu Hang de l'Université Rice a également participé.