Quelques mots autour du célèbre test de Turing

Ce test a été imaginé par Alan Turing. D’où son nom. Vous aviez noté l'indice. Ce nom vous est probablement familier, surtout si vous aimez la science-fiction. Mais savez-vous vraiment de quoi il s’agit ?

Un des pères de l'informatique

Alain Turing est un des pères de l’informatique avec John von Neumann. Il a participé à la conception et au développement des premiers ordinateurs. Il a aussi joué un rôle fondamental dans l’espionnage des communications de l’Allemagne lors de la seconde guerre mondiale. Ce pionnier de l’informatique, dont le rôle précis a longtemps été couvert par le secret défense, a beaucoup réfléchi sur cette discipline naissante, et plus généralement sur les ordinateurs et les robots.

En 1950, Alan Turing formule l’idée d’un test qui permettrait de différencier un calculateur électronique (i.e. un ordinateur) d’une intelligence dite artificielle. Le principe du test est le suivant. On place une personne dans une pièce. Elle pourra discuter avec deux interlocuteurs via un écran : un être humain ou une machine. Les deux interlocuteurs doivent le convaincre qu’ils sont humains. La machine aura donc réussi le test de Turing si elle berne un humain assez longtemps. Quant à savoir si elle est intelligente, c'est une autre histoire. disons qu’elle aura montré une forme d’intelligence. Comme le poulpe, ou votre voisin de RER qui oublie de mettre son masque sur son nez (blague millésimée 2021).

Aujourd'hui ?

La pertinence du test de Turing est débattue. Il n'est pas question de rentrer dans le débat ici. Mentionons l'expérience de pensée de la chambre chinoise, et pointons ce texte qui expose le sujet bien plus précisément que nous pourrions le faire.

Les performances récentes sont intéressantes.

En 2014, une machine a réussi à se faire passer pour un enfant de 13 ans lors d’une conversation avec des adultes. Plus précisément, le programme (Eugene) a, pendant cinq minutes de conversation écrite, convaincu un tiers de ses interlocuteurs qu’il était un enfant. Une des limites de cette expérience tient à la langue : il était convenu que l’enfant (ou la machine, vous suivez ?) s’exprime en anglais, qui n’est pas sa langue naturelle. Les experts n’ont pas encore atteint un consensus sur le sujet : le test n’est a priori pas résolu.

J’en retiens toutefois que la machine n’est pas totalement idiote.
Peut-on dire qu’elle est intelligente ?
Absolument pas.

En effet, le test de Turing s'appuie sur les deux prémisses discutables suivantes.

1. Mener une conversation n'implique pas de comprendre ce que l’on dit.

2. Le langage n'est pas l'aboutissement de l’intelligence humaine.

Ce test s’avère donc bancal, probablement victime des préjugés de son époque (1950). La suite du texte développe cette critique.

Time flies like an arrow; fruit flies like a banana

Reproduire ne signifie pas comprendre. Reproduire, c’est identifier une forme globale à un tout et tenter de replacer les éléments constitutifs de ce tout, afin d’obtenir une forme cohérente avec le modèle d’origine. Comprendre, c’est être capable d’affecter une valeur graduelle à chacun des éléments du tout, qu’elle soit positive ou négative, pour ainsi faire le tri entre ce qu’il est essentiel de conserver et ce qui est secondaire, voire parasite.

Il est généralement nécessaire de reproduire avant de comprendre. C’est ce qui différencie l’amateur de l’expert : l’amateur apprend une manière de faire et la perfectionne, avant peut-être de devenir un expert. Mais c’est malheureusement le stade où les intelligences artificielles (IA) de traitement du langage actuelles semblent bloquées. L’un des plus flamboyants exemples récents est celui de Tay [LeMonde].

Flamboyant par l’échec. Tay est une IA développée par Microsoft et façonnée sur le modèle de l’adolescente américaine moyenne, destinée à apprendre comment converser avec les humains sur Twitter. Temple du débat constructif, bien entendu.

Comme on pouvait s’y attendre, il n’a pas fallu une semaine avant que Tay ne se lance dans une carrière solo de polémiste injurieux. Ce programme a par exemple remis en question l’existence des chambres à gaz, sous l’influence de certains internautes. Les tentatives de Microsoft et des autres internautes pour l’en empêcher n’ont pas suffit à tamiser un peu le sable qu’elle avait dans ses circuits. Pourquoi ? Parce que Tay était un programme totalement idiot, incapable d’évaluer le sens de ce qu’il écrivait. Seul lui importait la fréquence des termes : de l’apprentissage statistique pur, sans compréhension.

Si on veut comparer l’intelligence langagière de Tay avec celle d’un humain, le plus proche serait le bébé d’environ 8 mois à 1 an. À cet âge, les bébés construisent leur capacité à comprendre ce qu’on leur dit. Ils s’entraînent ainsi à travers le babillage, qui est une tentative de reproduire les sons qui sortent de la bouche des gens qui les entourent, sans pour autant en comprendre pleinement le sens. Ils répètent sans comprendre. Je mentionnerai en passant une des questions clés concernant l’apprentissage du langage : les enfants sont-ils programmés, ou câblés, dès la naissance pour comprendre la grammaire des langages humains ? Je renvoie aux travaux de Chomsky. Le debat court depuis des dizaines d'années.

Cependant, ce n’est pas parce que les IA similaires à Tay aujourd'hui ne comprennent pas ce qu'elles disent que des IA futures, programmées avec plus de pertinence, ne pourraient pas atteindre les capacités de traitement du langage d’un adulte. L’expérience Tay n’était d’ailleurs pas un véritable test de Turing, puisque tout le monde savait déjà que c’était une IA. Cependant, Tay illustre un point important : afficher de grandes performances sur le traitement du langage n’est pas une preuve d’intelligence.

Intelligence ?

« L’intelligence, c’est ce qu’on fait quand on ne sait pas. » Jean Piaget (1947)

En psychologie, la définition la plus classique de l’intelligence est celle de Jean Piaget : l’intelligence est la capacité à s’adapter à une situation pour résoudre un problème. Faire toujours la même chose et s’attendre à un résultat différent relève plus de l’idiotie que de la folie. L’idée derrière cette définition de l’intelligence, c’est qu’elle peut être mesurée, par exemple en quantifiant notre capacité à résoudre de nouveaux problèmes. C’est-à-dire adapter son univers mental à une situation inconnu et construire un modèle, ce que Piaget appelait un schème, spécifique de la situation.

Et c’est ainsi que l’IA nous biaise. Elle fait croire, aux naïfs mammifères que nous sommes, à son intelligence. En effet, ce que les psychologues qualifient de modèles cognitifs, de stratégies ou de schèmes, ressemblent fortement à ce que les informaticiens et les mathématiciens appellent un algorithme : une suite d’instructions à suivre pour résoudre un problème. Comme votre recette préférée de Christmas Pudding, le coup de main en moins.

La différence entre l’intelligence organique, qui peut ne pas être humaine, et la performance informatique, c’est la gestion de la nouveauté. D'après Chomsky, toujours lui , les bébés humains sont eux aussi programmés pour apprendre la langage, mais cette programmation les enferme moins que les machines et leur permet d'intégrer la nouveauté. Je n’utilise pas le terme de performance pour rien : un ordinateur est extraordinairement performant dans une tâche, le calcul. Il n’est cependant performant dans aucun autre domaine, et ce n’est pas lui qui a produit l’algorithme qui permet cette performance. Ce sont des humains qui se sont creusés la tête et qui, après bu de café, souvent trop, ont pu traduire une situation en termes logiques et mathématiques. L’ordinateur, désespérément idiot et affreusement obéissant, pourra ainsi répéter cette suite d’instructions en boucle.

« Un homme ne sait pas faire une addition. En revanche, il sait composer de la musique. » Gérard Berry, l’ordinateur est complètement con

Gérard Berry est passionnant. Je le complèterai sur ce point : l'ordinateur aussi sait composer de la musique. Mieux que la plupart des humains d'ailleurs. Il suffit de lui spécifier clairement les règles de composition. Litote. Ainsi sommes-nous leurrés, en voyant la machine donner un résultat, de croire que celle-ci est dotée d’intelligence, alors que sa performance n’est que le reflet de l’ingéniosité de ses créateurs. Un processeur est rapide, oui. Intelligent, non

Pour vous convaincre de ce manque cruel d’inventivité de la machine, je vous conseille de vous intéresser à AI Dungeon. Ce jeu vous renvoie dans les années 80, quand le jeu de rôle sur ordinateur n’était (presque) que composé de texte. La différence, c’est que les choix offerts étaient déterminés par les développeurs : ici, c’est vous qui écrivez vos choix, et la machine les comprend ! Si elle est très ludique par son aspect interactif, on se rend pourtant bien vite compte que la machine n’invente rien. Toutes les possibilités qui vous seront proposées sont issues de l’analyse de milliers de parties précédentes. La machine a d’ailleurs ses préférences, ou ses biais : si un scénario devient trop complexe, ou qu’elle ne le reconnaît pas, il arrive souvent qu’elle oriente le récit vers la sexualité, dans une malheureuse tendance de compensation (reddit). Hey, nous sommes sur le web, n’oublions pas.

Une forme de conclusion

Deux points. Être capable de reproduire les capacités langagières humaines n’est pas la démonstration d’une intelligence capable de comprendre ce qu’elle dit elle-même, et encore moins ce que disent les autres. Et le langage n’est pas le parangon de l’intelligence humaine.

Thomas