Avec Ego4D, Facebook veut enseigner aux modèles d’IA à avoir une vision égocentrique du monde.
Facebook a collecté des milliers d’heures de vidéos capturées à la première personne pour améliorer la perception du monde par l’intelligence artificielle. Ce nouveau projet pourrait être crucial pour les recherches de Facebook en termes de réalité augmentée.
Facebook dévoile Ego4D pour donner une perception égocentrique à l’IA
L’équipe de recherche sur l’IA de Facebook a dévoilé un nouveau projet appelé Ego4D. Il consiste à donner aux systèmes d’IA la faculté d’analyser en permanence la vie des gens à la première personne. Autrement dit, ils pourront enregistrer ce qu’ils voient et entendre tout ce qui se passe autour d’eux. Les modèles d’IA pourraient ainsi les aider dans les tâches quotidiennes.
Cela pourrait également aider l’entreprise à faire avancer ses recherches en termes de réalité augmentée, explique l’un des chercheurs. Rappelons que récemment, Facebook a dévoilé les lunettes intelligentes Ray-Ban Stories. Jusqu’ici, elles permettent uniquement de collecter des données et non pas de les analyser. Néanmoins, ça ne s’éloigne pas complètement du nouveau projet d’IA de Facebook qui consiste à analyser des vidéos de manière égocentrique.
Plus de détails sur le projet
Ego4D fait référence à un ensemble de données vidéos à la première personne, collectées avec l’aide de 13 universités partout dans le monde. Il rassemble près de 3205 heures d’images capturées avec des caméras GoPro et des lunettes de réalité augmentée.
Outre cet ensemble de données, le projet repose sur une série de cinq « défis de référence » pour les futurs assistants d’IA. Entre autres, ils auront une mémoire épisodique pour se rappeler d’un événement précis. D’autre part, une capacité de prévision leur permettra de deviner une suite d’actions. Ils maitriseront également la manipulation des mains et des objets pour pouvoir l’enseigner. Et avec la journalisation audiovisuelle et l’interaction sociale, ils pourront rapporter tout ce qui s’est passé à un moment précis.
Mais en dehors du côté pratique de ce projet, l’intérêt de Facebook à développer une IA avec une vision égocentrique en inquiète plus d’un. Les Ray-Ban Stories ont déjà suscité des questions de confidentialité. Alors qu’en sera-t-il de la tâche de journalisation audiovisuelle qui transcrit tout ce que tout le monde dira ?
- Partager l'article :
