Quel est le point commun entre l’application de prédiction de texte de votre téléphone portable et votre cerveau ? La façon dont ils traitent le langage ! C’est ce que démontre une nouvelle étude menée par des neuroscientifiques du Massachussetts Institute of Technology (MIT). À paraître dans PNAS, elle révèle que la fonction sous-jacente de ces modèles d’intelligence artificielle présente de fortes similitudes avec la fonction des centres de traitement du langage dans le cerveau humain.
Un modèle informatique proche du système de langage humain
Au cours des dernières années, les modèle d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Ils excellent notamment dans la prédiction du mot suivant dans une chaîne de texte ; cette technologie aide les moteurs de recherche et les applications de texto à prédire le prochain mot que vous allez taper. La nouvelle génération est même capable d’apprendre quelque chose sur le sens sous-jacent du langage : elle peut non seulement prédire le mot suivant, mais aussi effectuer des tâches qui semblent exiger un certain degré de compréhension authentique, comme répondre à des questions, résumer des documents et compléter des histoires.
Selon les chercheurs du MIT, la fonction sous-jacente de ces modèles ressemble à la fonction des centres de traitement du langage dans le cerveau humain. Cela prouverait, selon eux, que le cerveau humain est capable d’utiliser lui aussi la prédiction du mot suivant pour gérer le traitement du langage.
"Plus le modèle est performant dans la prédiction du mot suivant, plus il se rapproche du cerveau humain, explique Nancy Kanwisher, autrice principale de l’étude. Il est étonnant que les modèles s'ajustent si bien, et cela suggère très indirectement que ce que fait le système de langage humain est peut-être de prédire ce qui va se passer ensuite."
Des nœuds de réseaux comparables à ceux observés dans le cerveau humain
Les nouveaux modèles de prédiction du mot suivant, très performants, appartiennent à une catégorie de modèles appelés réseaux neuronaux profonds. Ces réseaux contiennent des "nœuds" informatiques qui forment des connexions de force variable, et des couches qui transmettent les informations entre elles de manière prescrite.
Pour cette étude, les chercheurs ont comparé les centres de traitement du langage dans le cerveau humain avec les modèles de traitement du langage. Pour cela, ils ont analysé 43 modèles de langage différents, dont plusieurs sont optimisés pour la prédiction du mot suivant. Il s'agit notamment d'un modèle appelé GPT-3 (Generative Pre-trained Transformer 3), qui, à partir d'une invite, peut générer un texte similaire à celui que produirait un humain. D'autres modèles ont été conçus pour effectuer différentes tâches linguistiques, comme remplir un blanc dans une phrase.
Lorsqu'une chaîne de mots a été présentée à chaque modèle, les chercheurs ont mesuré l'activité des nœuds qui composent le réseau. Ils ont ensuite comparé ces modèles à l'activité du cerveau humain, mesurée chez des sujets effectuant trois tâches linguistiques : écouter des histoires, lire des phrases une par une et lire des phrases dans lesquelles un seul mot est révélé à la fois.
Ils ont alors constaté que les modèles de prédiction du mot suivant les plus performants présentaient des schémas d'activité très proches de ceux observés dans le cerveau humain.
Les chercheurs prévoient maintenant de construire des variantes de ces modèles de traitement du langage pour voir comment de petits changements dans leur architecture affectent leurs performances et leur capacité à s'adapter aux données neuronales humaines.