Winter is coming
Un système entraîné uniquement à partir du langage n'atteindra jamais l'intelligence humaine, même s'il est entraîné jusqu'à la mort thermique de l'univers. Jacob Browning & Yann LeCun (2022)
Le deep learning est un échec scientifique
Il est difficile d'affirmer que le domaine a progressé vers l’IA générale. La culture qui prévaut chez les spécialistes des réseaux de neurones est une culture de l’efficacité, doublée d’une tendance à construire de gros systèmes. On ne retient, pour l’instant, que la capacité à construire des outils d’aide à la décision qu’on sait rendre performants dans certaines conditions, et dans certains cas. C’est certes appréciable. Cependant, peut-on mieux qualifier l’intelligence en général ? Sait-on modéliser efficacement un processus d’apprentissage ? Comprend-on mieux le cerveau humain ? A-t-on la moindre idée de ce qui se passe quand un réseau profond apprend à différencier un chat d’un pneu ? Les réponses, si elles sont positives, n’ont pas émergé des laboratoires.
Voilà au moins une génération que le but de l’IA n’est plus de créer un mécanisme cognitif, une entité, de la conscience, mais seulement de simuler des fonctions, d’émuler des tâches. Vous lui donnez une information, elle vous en renvoie une. Ce que les IA d’OpenAI, Google, Mistral et autres vous proposent, c’est une recette statistique prenant pour point de départ le Léviathan qu’est la Toile, et y piochant les réponses à grand renfort de statistiques et de paramètres ajustés. L’usage de cette fonction peut être pertinent ou consternant. [...] Mais à la fin, cette formule mathématique n’a pas plus de conscience ni d’intelligence, en soi, que la formule qui calcule vos impôts. Cédric Villani (2024)
Médaille Fields 2010
Le savoir humain n'est principalement pas dans des textes. Il est dans une partie subconsciente de votre esprit. Vous l'avez acquis durant la première année de vie, avant même de pouvoir parler. La plupart des connaissances concernent notre expérience du monde et son fonctionnement. C'est ce que nous appelons le bon sens. Les LLMs n'ont pas accès à cela, et peuvent donc commettre des erreurs stupides. C'est de là que proviennent les hallucinations. Ce que nous tenons pour acquis s'avère extrêmement complexe à reproduire pour les ordinateurs. Ainsi, l'AGI, ou l'IA de niveau humain, n'est pas pour demain ; elle nécessitera des changements perceptuels profonds. Yann LeCun (2024)
Prix Turing 2018
Le deep learning est un échec intellectuel
Certains auteurs parlent de Big Data AI, pour marquer le lien avec la mode technique précédente. Au-delà de l’approche purement descriptive et réactionnaire, cette réticence à faire appel à une modélisation mathématique, sinon scientifique, s’apparente à une démission intellectuelle. Le calcul des caractéristiques (features) relève plus de la cuisine que d’une réelle démarche scientifique. Utiliser un modèle permet de réduire la dimensionnalité des problèmes et, ainsi, contribue habituellement à des systèmes moins gourmands en ressources (données, calcul, mémoire). Les données ne parlent que si on les leur pose les bonnes questions.
"Ne travaillons surtout pas avec les gens qui connaissent le problème, cela pourrait introduire des biais dans l’apprentissage". Cette recommandation étonnante, nous l’avons rencontrée plus d’une fois lors de nos interventions auprès d’équipes constituées de professionnels techniquement compétents. Naïveté élevée en paradigme, ou erreur fondamentale ?
Enfin, l'apprentissage automatique fait l'hypothèse que les informations disponibles sur le passé sont pertinentes et utiles pour le futur. Rien n'est plus faux et restrictif, surtout quand les prédictions sont appliquées aux humains. Couplé à l’opacité intrinsèque des réseaux de neurones, le système se retrouve à calquer aveuglément des comportements passés. Cette situation est problématique.
[à propos de TESCREAL] Il est important de se demander : "Quel est le fondement idéologique ?". Si vous le savez, vous pouvez vous demander alors : "Et si j'avais un fondement idéologique différent ? Comment la technologie serait-elle développée, alors" ? Timnit Gebru (2023)
Le deep learning est un échec sociétal
La bulle deep a commencé depuis huit ans : quels sont les bénéfices concrets apportés par cette technologie pour l’humanité ? Pour les femmes ? Pour les travailleurs ou employés, col blancs ou cols bleus ?
Les "tropes sexistes et les stéréotypes racistes" sont profondément ancrés dans ces ensembles de données utilisés pour former des modèles d’IA, comme l’ont révélé les docteures Joy Buolamwini, Timnit Gebru, Safiya Umoja Noble ou encore Rumman Chowdhury. Karen Sandoval (2024)
À reprendre les innombrables communications, dont celles de la puissance publique, les budgets engagés et les financements publics consentis, il faut s’y intéresser. A ce jour, force est de constater que les retours pour le public sont maigres. On pourrait même y voir un moyen de légitimer la puissance des acteurs majeurs du numériques, principalement états-uniens et chinois, qui bénéficie de la manne publique pour innover à peu de frais. Il faut, en passant, mentionner l’esclavage indirect des populations pauvres, à qui est confié les très pénibles tâches d’annotation des bases de données nécessaires aux algorithmes d’apprentissage automatique. Voire les micro-tâches réalisées par des humains pour les services faisant prétendument appel à l’IA, mais n’étant en réalité qu’un travail humain déguisé - on parle d’ailleurs d’intelligence artificielle artificielle.
Le constat est sévère
Il n’est pas lieu de condamner individuellement les ingénieurs ou scientifiques qui travaillent sur ces systèmes. Le propos est systémique, il concerne la communauté, les financiers, les décideurs politiques et économiques. C’est essentiellement un problème d’inculture scientifique et de méconnaissance technique. Investir des sommes importantes sur des technologies très complexes, coûteuses, dispendieuses en ressources et assez probablement inadaptées dans 90% des cas réels est une erreur stratégique. Doublé d’une erreur technique flagrante. En faire l’alpha et l’omega des sujets d’innovations publics et privés est un non-sens.
L'IA est vraiment intéressante et elle va changer le monde, mais en même temps, je déteste tellement ce battage médiatique actuel que j'ai décidé de l'ignorer totalement[...]. L'industrie de l'IA aujourd'hui, c'est 90% de marketing et seulement 10% de réalité. Dans cinq ans, les choses auront changé et nous verrons alors où l'IA est réellement utile. Linus Torvalds (2024)
Inéluctabilité ?
C'est contre-intuitif : tous les éléments sont réunis pour que la bulle deep laisse place à un nouvel hiver de l’intelligence artificielle. L’attention médiatique est forte, les attentes économiques sont fortes, l’intérêt du politique est fort. La question de la rentabilité économique se pose. Ces outils apportent-ils de la valeur ? Sont-ils utiles ? Pour qui ?
Je suis content que les gens réalisent que les géants de la tech sont des fous. Enfin, pas complètement des fous, mais que ce sont des gens dangereux. C'est bien qu'on s'en rende compte. Luc Julia (2025)
Pour les BigTechs, la réponse est oui. Ils ont construit leur succès autour de l’exploitation des données, à des fins principalement publicitaires pour
La question des compétences est cruciale. Construire un réseau de neurones profond capable de traiter de manière satisfaisante des téraoctets de données est extrêmement difficile. Les équipes sont très peu nombreuses. Les professionnels sont rares, surtout lorsqu’il s’agit de techniciens expérimentés.
Pour ne rien arranger, les BigTechs accaparent les ingénieurs IA, profitant de leur image de marque et de salaires attractifs. Nos échanges avec les entreprises et industriels français vont tous dans ce sens : les membres du CAC40 recrutent difficilement des profils expérimentés. Il y aurait sûrement des parallèles historiques à faire, dans d’autres domaines.
Quel sera le déclencheur ?
Les prédictions sont difficiles, surtout quand elles concernent le futur, qu’on soit Niels Bohr ou Yogi Berra. Voici notre sentiment.
Le coup d’arrêt ne viendra pas de l’intérieur du domaine. Les véritables spécialistes de l’IA, dont nous ne faisons pas partie, qui portent un message critique sur les réseaux de neurones ne sont pas visibles médiatiquement, sauf peut-être
Le coup d’arrêt viendra peut-être de l’extérieur, sous la forme d’un scandale, d’un événement avec une charge symbolique forte. Plus forte que
Et si le coup d’arrêt ne venait pas ? Le désintérêt du public suivra une certaine lassitude : l’homme de la rue a compris que les réseaux de neurones et les LLM sont des outils puissants, c’est acté. A-t-il compris qu'il y avait aussi des enjeux politiques et sociétaux ? Le désintérêt pourrait aussi venir d’une déconnexion des avancées avec son expérience quotidienne : ce qui paraissait auparavant époustouflant est maintenant classique, comme converser avec un agent ou devenir une sorte d'agent (humain) d'agents (programmes). Les entreprises, lassées de payer des ingénieurs sans générer suffisamment de retours, pourraient stopper les frais.
Sans vouloir jouer les oiseaux de mauvais augure, nous ne sommes pas très optimistes sur le futur du domaine.
Je trouve fascinant qu'une foule de romanciers écrivent depuis des décennies sur les scénarios postsingularité dans lesquels des machines super-intelligentes existent. À ma connaissance, aucun romancier n'a pris en compte qu'une telle singularité serait presque certainement précédée d'un monde dans lequel les machines seraient intelligentes à, mettons, 0.01% et dans lequel des millions de personnes réelles pourraient interagir avec elles librement, pratiquement sans aucun coût. Donald Knuth (2022)
Prix Turing 1974
Pour ma part, je vais laisser ces travaux [sur ChatGPT] à d'autres et je vais consacrer mon temps à l'élaboration de concepts authentiques et dignes de confiance. J'espère que vous en ferez de même. Donald Knuth (2022)
Prix Turing 1974