Le traitement du langage par le cerveau humain est similaire aux modèles de prédiction.
Des récentes recherches ont montré que la fonction prédictive d'un modèle de langage ressemble à la fonction des centres de traitement dans le cerveau d'un humain. Cette étude pourrait aider à améliorer les modèles les plus récents.
Le traitement du langage par le cerveau
Les modèles de langages basés sur l'IA peuvent effectuer plusieurs types de tâches. Ils prédisent des suites de mots, répondent à des questions et peuvent même finir d'écrire une histoire. Généralement, ces modèles sont conçus pour optimiser leur performance de prédiction sans tenter d'imiter le cerveau. Cependant, des neuroscientifiques du MIT (Massachusetts Institute of Technology) suggèrent autre chose. En effet, le traitement du langage dans le cerveau humain pourrait se dérouler sous forme de prédiction du mot suivant. D'autant plus que les modèles ne montrent pas la même similitude quand il s'agit d'autres tâches linguistiques.
Comparer le cerveau aux modèles linguistiques
Dans l'étude, les chercheurs ont analysé 43 modèles de langage, dont le GPT-3 d'OpenAI. Certains sont optimisés pour la prédiction tandis que d'autres ont été conçus pour d'autres tâches linguistiques. Pendant la phase de la comparaison, les sujets ont effectué trois tâches : écoute d'histoires, lecture de phrases une par une et lecture de phrases incomplètes.
Améliorez la performance de vos projets grâce à l’IA générative ?
Les chercheurs ont donc analysé les activités des modèles et celles du cerveau. Les données humaines proviennent d'une imagerie par résonance magnétique fonctionnelle (IRMf) et de mesures électrocorticographiques intracrâniennes.
Aux termes de l'étude, ils ont constaté que l'activité des modèles de prédiction de mot présentait une forte similitude avec celle observée dans le cerveau humain. Les ressemblances concernaient également d'autres mesures du comportement, comme la vitesse de lecture.
D'après l'une des chercheurs, Nancy Kanwisher, ces résultats suggèrent que le système linguistique humain pourrait consister à prédire ce qui va se passer ensuite. En d'autres termes, l'étude a donné un aperçu du traitement du langage dans le cerveau.
Maintenant, les chercheurs travaillent sur des variantes de modèles de langage utilisés dans l'étude. Cette prochaine étape vise à étudier comment les petits changements d'architectures dans les réseaux neuronaux affectent leur performance. Cela permettra également d'évaluer leur capacité à s'adapter aux données neurales humaines.
- Partager l'article :
