Être parent à 3 ans

Les humains sont des créatures sociales et apprennent les uns des autres, même dès leur plus jeune âge. Les nourrissons observent attentivement leurs parents, frères et sœurs ou tuteurs. Ils regardent, imitent et rejouent ce qu’ils voient pour acquérir des compétences et des comportements.

La façon dont les bébés apprennent et explorent leur environnement a inspiré les chercheurs de l’Université Carnegie Mellon et de Meta AI à développer une nouvelle façon d’enseigner aux robots comment acquérir simultanément plusieurs compétences et les exploiter pour s’attaquer à des tâches quotidiennes invisibles. Les chercheurs ont entrepris de développer un agent robotique d’IA doté de capacités de manipulation équivalentes à celles d’un enfant de 3 ans.

L'équipe a annoncé RoboAgent, un agent d'intelligence artificielle qui exploite les observations passives et l'apprentissage actif pour permettre à un robot d'acquérir des capacités de manipulation comparables à celles d'un tout-petit.

« RoboAgent constitue une étape cruciale vers des agents robotiques généraux qui apprennent efficacement, sont efficaces dans des situations nouvelles et sont capables d'élargir leurs comportements au fil du temps », a déclaré Vikash Kumar, professeur adjoint à la faculté d'informatique (ouvre dans une nouvelle fenêtre) de robotique. Institut(ouvre dans une nouvelle fenêtre). « Les robots actuels sont hautement spécialisés et formés pour des tâches individuelles de manière isolée. En revanche, nous avons décidé de créer un agent d’intelligence artificielle unique capable de faire preuve d’un large éventail de compétences dans des scénarios inédits. RoboAgent apprend comme des bébés humains, en tirant parti d'une combinaison d'observations passives abondantes et de jeux actifs limités.

RoboAgent peut réaliser 12 compétences de manipulation dans différentes scènes. Cette recherche pointe vers une plateforme d’apprentissage robotique adaptable à des environnements changeants. Contrairement aux recherches antérieures, l’équipe a démontré son travail dans des environnements réels – et non dans une simulation – et l’a fait avec beaucoup moins de données que les projets précédents.

« Les RoboAgents sont capables d'acquérir des compétences d'une complexité bien plus riche que celles que d'autres ont réalisées », a déclaré Abhinav Gupta(opens in new window), professeur agrégé à l'Institut de robotique. "Nous avons démontré une plus grande diversité de compétences que tout ce qui a jamais été réalisé par un seul agent robotique du monde réel, avec une efficacité et une échelle de généralisation à des scénarios invisibles qui sont uniques."

L'agent de l'équipe apprend grâce à une combinaison d'expériences personnelles et d'observations passives contenues dans les données Internet. Alors qu'un parent guidait son enfant, les chercheurs ont téléopéré le robot à travers des tâches pour lui offrir des expériences personnelles utiles.

"L'efficacité et l'efficience de notre approche proviennent de notre nouvelle architecture politique qui permet à nos agents de raisonner même avec des expériences limitées", a déclaré Homanga Bharadwaj, titulaire d'un doctorat. étudiant en robotique. « RoboAgent agit en réponse à des objectifs textuels/visuels spécifiés en prédisant et en regroupant les décisions en termes de morceaux temporels de mouvements au lieu d'actions par pas de temps couramment utilisées. »

Les robots apprennent avant tout de leurs propres expériences, et non de ce qui se passe passivement autour d’eux. Cet aveuglement inhérent à ce qui se passe dans leur environnement limite fondamentalement à la fois la diversité des expériences auxquelles les robots sont exposés et leurs capacités à s’adapter à de nouvelles situations. Pour surmonter ces limitations, RoboAgent apprend à partir de vidéos sur Internet, de la même manière que les bébés acquièrent des connaissances et des comportements en observant passivement.leur environnement.

"RoboAgent exploite les informations contenues dans ces vidéos pour connaître la manière dont les humains interagissent avec les objets et utilisent diverses compétences pour mener à bien des tâches", a déclaré Mohit Sharma, titulaire d'un doctorat. étudiant en robotique. « De plus, l'observation de compétences similaires dans plusieurs scénarios lui permet d'apprendre ce qui est nécessaire et ce qui n'est pas nécessaire pour accomplir une tâche. Il exploite ces leçons lorsqu’il est confronté à des tâches inconnues ou à des environnements invisibles.

"Un agent capable de ce type d'apprentissage nous rapproche d'un robot général capable d'accomplir une variété de tâches dans divers contextes invisibles et d'évoluer continuellement à mesure qu'il accumule plus d'expériences", a déclaré Shubham Tulsiani (ouvre dans une nouvelle fenêtre), professeur adjoint. à l'Institut de Robotique. « RoboAgent peut entraîner rapidement un robot en utilisant des données limitées dans le domaine tout en s'appuyant principalement sur des données gratuites et abondamment disponibles sur Internet pour apprendre une variété de tâches. Cela pourrait rendre les robots plus utiles dans des environnements non structurés comme les maisons, les hôpitaux et autres espaces publics.