ChatGPT est parfois un gros con raciste.
Un quart des européens votent pour des mouvements politiques identitaires. Si les
populations deviennent racistes ou xénophobes, par quel miracle ChatGPT ne
serait pas raciste ou xénophobe ?
« If it looks like a duck, swims like a duck, and quacks like a duck, then it probably is a duck. » duck typing
On voit fleurir de nombreux exemples de textes générés par des systèmes d'IA qui sont subtilement racistes. J'en ai lu certains qui ne méritent que le caniveau. Les exemples pullulent. Ces réponses intolérantes ou racistes sont une bonne occasion de parler de biais.
Parler de biais au sens statistique est généralement une profonde erreur d'interprétation. Juger qu'un texte est problématique n'est valable que dans un référentiel humain. Un enfant qui tendrait ce genre de propos serait désigné volontaire pour une discussion sur la fraternité et la tolérance. Un adulte aussi, d'ailleurs, mais il serait trop tard.
Un programme, cependant, n'évolue pas dans un référentiel humain. Il assemble
des mots dans un contexte spécifique, en appliquant des règles logiques. Ces
règles ont pu être conçues directement par l'équipe de développement, ou suite à
une procédure d'apprentissage. Vous le savez, cet apprentissage est réalisé à partir
d'un traitement systématique et complexe de vastes quantités de textes. ChatGPT et les
différents modèles de langages (LLM) sont construits ainsi. Nous en avons parlé ici et là.
La question demeure. Pourquoi les textes racistes générés par un
programme nous dérangent ? Parce que ce programme utilise un mécanisme bien
connu en IA, identifié à la fin des années 1960 par J. Weizenbaum (ELIZA,
1966). L'homme a tendance à sur-interpreter les textes générés par un
ordinateur, résume Douglas Hofstadter en 1986. Ce mécanisme joue à plein avec
ChatGPT. Je renvoie à la page Wikipedia associée, ELIZA
effect et à un essai intéressant
sur le sujet From Joseph Weizenbaum to
ChatGPT.
« If it looks like a duck and quacks like a duck but it needs batteries, you probably have the wrong abstraction. » duck typing
ChatGPT écrit bien. ChatGPT montre souvent un comportement intelligent. Mais
l'intelligence d'un modèle de langage n'a foncièrement rien à voir avec une
intelligence humaine. Un humain qui se comporterait comme ChatGPT pourrait,
parfois, être qualifié d'idiot. Un programme n'est responsable de rien, un
programme ne prend pas de décision. Il exécute une tâche pour laquelle il a été
programmé. Penser autrement est une erreur.
Que penser alors d'un programme qui génère des textes corrects mais racistes ? Tout simplement qu'il a été entraîné en partie avec des textes racistes. Qui a écrit ces textes ? Très probablement des humains (quoique). Il est donc faux de parler de biais. Le poids des mouvements racistes ou intolérants dans l'opinion publique n'est pas négligeable. Il semble naturel que les textes fournis aux systèmes génératifs reflètent cette situation, certes regrettable, mais réelle.
Shit in. Shit out.
Il serait donc plutôt étonnant que ChatGPT ne génère pas de textes racistes.