Les programmes apprennent bien mais ne comprennent rien

Les systèmes de génération actuels, s'ils sont impressionnants, montrent une limite dure : ‪malgré les discours technophiles et optimistes, ces programmes ne comprennent rien. Ce n'est pas leur fonction. Ils sont aujourd'hui entrainés à répéter et assembler des trucs de manière complexe. Ils ne sont pas entraînés à comprendre.

Ce billet renvoie aux articles récents LLMs and World Models Part 1 et Part 2 de Melanie Mitchell qui permettent aux non-spécialistes de se faire une idée des débats.

Tout ceci reste bien mystérieux

Très peu de monde comprend les systèmes de génération de contenu. Très peu de monde comprend comment un réseau de neurones ou un LLM apprend.

Nous sommes aujourd'hui à l'ère des grands modèles de langage (LLM), d'immenses réseaux neuronaux pré-entraînés sur d'énormes quantités de données textuelles générées par l'homme, qui semblent bien plus performants que les systèmes d'apprentissage automatique plus petits, moins bien entraînés et plus fragiles de l'époque précédente. Melanie Mitchell (2025)

Quelle est la représentation du monde d'un système de génération ? Les scientifiques hésitent encore sur le niveau de compréhension des LLM. Qu'apprennent-ils ? Que comprennent-ils ? Ont-ils une représentation interne du monde ? C'est un sujet difficile et le consensus scientifique est loin d'être atteint.

Je renvoie aux articles récents LLMs and World Models Part 1 et Part 2 de Melanie Mitchell qui permettent aux non-spécialistes de se faire une idée des débats.

La communauté de l'IA s'interroge vivement sur la manière dont ces systèmes obtiennent de telles performances. Ont-ils essentiellement mémorisé leurs données d'apprentissage et les ont-ils ensuite récupérées (de manière approximative) pour résoudre de nouveaux problèmes ? Ont-ils appris des raccourcis heuristiques beaucoup plus nombreux et détaillés, mais encore fragiles ? Ou bien ont-ils quelque chose de plus proche des modèles de monde robustes que les humains semblent utiliser pour comprendre et agir dans le monde ? Melanie Mitchell (2025)

Sur les représentations du monde ou modèles de monde (world model) :

La notion de modèle de monde n'est pas rigoureusement définie ; lorsque l'on se demande si un agent [IA] possède un type particulier de modèle du monde, il faut se demander à quels types de questions un tel modèle doit pouvoir répondre, dans quelle mesure il doit être facile ou difficile pour l'agent d'obtenir des réponses à partir du modèle, et dans quelle mesure on peut s'attendre à ce que le modèle permette à l'agent de s'adapter à des situations inédites. Melanie Mitchell (2025)

Sur les performances des agents IA :

Les affirmations relatives à l'émergence de modèles abstraits du monde dans les LLM ne sont pas encore étayées par des preuves solides. Il existe des preuves de l'émergence de tels modèles du monde chez des systèmes entraînés sur des domaines limités (Othello, échecs, labyrinthes, etc), mais aussi des preuves que leurs capacités ne proviennent pas de modèles internes semblables à ceux des humains, mais de vastes sacs d'heuristiques. Melanie Mitchell (2025)

Il est précipité d'affirmer que les LLM comprennent le monde sur lequel ils sont entraînés. Pour reprendre un exemple cité par Mitchell, un système IA peut très bien être imbattable à un jeu comme Othello sans toutefois comprendre le fonctionnement du jeu ni ses règles.

Thomas

Nous ne sommes toujours pas des machines. Nos textes sont pensés et écrits par des humains. Aucun texte n’est généré. Tout soutien sera le bienvenu.