Reconnaître le hapax pour penser l'après ChatGPT
L'intelligence artificielle de 2025 est pensée pour un monde où l'énergie est abondante et bon marché. Dans un contexte de raréfaction des ressources et de la nécessaire réduction de la consommation énergétique, ces technologies ne sont plus adaptées. Des avancées scientifiques majeures sont nécessaires. Il est temps d'explorer de nouvelles pistes en mathématiques, en algorithmique et en sciences cognitives.
Un hapax est un mot qui n'a qu'une seule occurrence dans un corpus donné. Par analogie, un hapax peut être aussi un événement qui ne se produit qu'une fois la vie d'un individu.
Le choc provoqué par ChatGPT et OpenAI est extraordinaire. Ce hapax
technologique a bousculé l'intégralité de l'innovation numérique et les usages
de l'intelligence artificielle. Les financements ont ruisselé comme rarement
vers des clones plus ou moins avoués de OpenAI. Ce moment d'intense excitation
passé, il faut aujourd'hui penser demain.
Penser demain : ce qui est raisonnable et ce qui ne l'est pas.
Il est raisonnable de s'attendre à une intensification de l'utilisation des
outils de génération de contenu (texte, image) par l'ensemble de l'économie, de
l'industrie et des structures publiques ou privées. La popularité des outils de
génération proposés par OpenAI (ChatGPT), Mistral et leurs concurrents ne faiblira
pas. Il n'y aura pas de retour en arrière.
Il n'est pas raisonnable de s'attendre à une amélioration notable des
performances des outils de génération. Les algorithmes de génération
sont construits sur de grands modèles de langage (large langages models,
LLM) entraînés sur d'énormes corpus de texte. Les LLM exploitent des
réseaux de neurones profonds (deep learning), une technologie d'apprentissage
automatique complexe et bien connue. Les performances de ces systèmes sont en
relation quasi-linéaire avec la puissance de calcul disponible et la taille des
données d'entraînement.
Il n'est pas raisonnable de s'attendre à une amélioration notable de la puissance de calcul et une multiplication des données disponibles. La loi de Moore semble atteindre un mur. Les experts de l'industrie des microprocesseurs se questionnent sur sa validité à court terme. On ne s'attend pas à une rupture technologique dans le domaine des microprocesseurs.
Il n'est pas raisonnable de s'attendre à l'irruption de l'ordinateur quantique. Cette curiosité de laboratoire est très enthousiasmante, mais ses cas d'applications réels et industriels sont encore à construire. Les scientifiques restent très prudents sur ses usages, en dehors de certains cas limités à la cryptographie. Rappelons à toutes fins utiles que ce n'est pas parce qu'une technologie est mal comprise qu'elle est nécessairement utile ou disruptive.
L'ensemble de ces éléments indiquent qu'il est raisonnable de s'attendre à une augmentation de la consommation énergétique de l'ensemble des systèmes de génération. La puissance de calcul est le seul levier d'action qui garantisse in fine l'amélioration des performances, en accord avec l'amère leçon concernant les progrès de l'intelligence artificielle depuis 70 ans. La consommation de matières premières nécessaires à la construction des processeurs et autres objets électroniques continuera donc.
Enfin, il est raisonnable de s'attendre à augmentation des dépenses des entreprises et des organisations dans les systèmes génératifs. Les coûts des systèmes génératifs vont augmenter avec l'augmentation des besoins en puissance de calcul. Ce poste de dépense va enfler jusqu'à atteindre sa limite de viabilité économique. Les usages s'affineront et s'orienteront vers les niches où le retour sur investissement sera suffisant.
Le printemps du deep learning a dix ans
La bulle a commencé autour de 2016 avec la victoire de AlphaGo sur Lee
Sedol. Le lecteur intéressé prendra le temps de lire cette histoire de
l'IA. La seule rupture technologique majeure et récente concerne
la capacité des réseaux de neurones à exploiter efficacement des masses de
données en tirant profit de la puissance de calcul mise à sa disposition. S'en
suit une démocratisation de l'usage des réseaux de neurones et l'amélioration
progressive de leurs performances. Le traitement d'image, l'identification de
motifs dans de grandes masses de données et la génération de contenu sont des
cas d'usages bruyants de cette technologie.
Certains clament que le mécanisme d'attention a changé la donne ou que les différentes types de réseaux sont révolutionnaires. Ces avancées techniques sont intéressantes. Elles relèvent cependant de l'ingénierie et ne portent aucune avancée théorique majeure. La logique de traitement consiste toujours à accumuler des données et à nourrir des réseaux de neurones dont on modifie un peu l'architecture interne. Rien n'est fondamentalement nouveau : les briques théoriques sont disponibles depuis les années 2000, voire avant.
Ces satanés réseaux de neurones restent mystérieux
D'un point de vue technique, la situation n'a donc pas évolué. La communauté scientifique comprend toujours mal les mécanismes d'apprentissage des réseaux de neurones qui sont au coeur des systèmes IA. Si on comprend bien le fonctionnement local de chaque neurone et de chaque couche, on comprend mal comment l'information est extraite des bases de données pour être engrammée dans la configuration interne des réseaux. Le plus étonnant serait presque que ce processus d'apprentissage fonctionne si bien !
L'intelligence humaine est rare, elle coûte cher, mais elle a un énorme avantage sur les systèmes automatiques : elle s'adapte. L'adaptation est clé. Elle suppose une forme de bon sens. C'est très précisément ce que les programmes actuels ne savent pas faire. Rien n'indique qu'ils sauront le faire à un horizon de dix ans, voire largement plus.
Ces satanés réseaux de neurones sont trop gourmands
L'IA de 2025 est pensée pour un monde où l'énergie est abondante et bon marché. L'ensemble des processus en jeu dans le domaine de l'intelligence artificielle est aujourd'hui dans une dépendance quasi-linéaire avec l'énergie et la matière. C'est un contre-sens historique.
Au vu des financements actuels et de la domination sans partage de l'approche connexionniste, il n'est pas raisonnable de s'attendre à des progrès décisifs sur la théorie de l'apprentissage automatique et la conceptualisation des connaissances. Cette situation est classique en science. Il arrive que des théories cannibalisent l'ensemble de l'activité d'un domaine, comme la théorie des cordes en physique fondamentale. Cet effet de mode bride la créativité ; il est néfaste. Il est à l'oeuvre aujourd'hui même dans l'intelligence artificielle : le deep learning, les grands modèles de langages et les systèmes d'intelligence artificielle associés cannibalisent la réflexion, l'expertise et les budgets.
Quelle rupture pour 2040 ?
L'impératif écologique est là. Les systèmes IA devront rapidement satisfaire deux conditions : maintenir leurs performances actuelles, voire les améliorer, tout en réduisant leur consommation d'énergie et de matière première. La technologie actuelle ne suffira pas, les réseaux de neurones ne suffiront pas, la R&D actuelle autour des réseaux de neurones ne suffira pas. Loin de là.
Il est urgent de comprendre les mécanismes d'apprentissage, même grossièrement, et d'ouvrir enfin les boîtes noires.
Des progrès théoriques majeurs sont nécessaires. S'appuieront-ils sur des avancées théoriques en représentation de la connaissance, en sciences cognitives et, finalement, en mathématiques ? Nous le croyons. Les pistes de progrès sont nombreuses. Elles ne seront pas explorées sérieusement tant que le paradigme connexionniste actuel tiendra. Construire demain suppose d'explorer des chemins de traverse théoriques.
Casser la boîte noire de l'apprentissage aura des conséquences ahurissantes
Ce billet n'est pas un business plan. Nous ne faisons pas partie des gens qui savent convaincre des investisseurs avec quelques images, des tableaux de nombres et un optimisme que rien n'ébranle. Nous sommes des techniciens et notre carburant est le doute, la critique et la remise en question permanente. Ceux qui cherchent des réponses simples ou des oracles ne seront pas heureux en notre compagnie.
Un point est évident, cependant : toute technologie d'apprentissage qui ne fonctionne pas en boîte noire et qui peut passer à l'échelle doit être très sérieusement étudiée, investiguée et donc financée. Les retours sur investissement seront nécessairement importants.