les progrès de l'intelligence artificielle suivent la loi de Moore
L'informatique bouscule le monde depuis les années 1950. Le petit monde des processeurs raisonne habituellement en ordres de grandeurs. C'est plus pratique. On saisit ainsi mieux les progès, faramineux. L'ensemble de cette industrie suit des « lois » : Moore, Koomey, Wirth.
Et l'intelligence artificielle, dans tout ça ?
« La principale leçon que l’on peut tirer de 70 ans de recherche en IA, c’est que les méthodes générales qui exploitent la puissance de calcul sont en fin de compte les plus efficaces, et de loin. » Richard Sutton (2019)
Renforcement
Richard Sutton travaille sur un certain type d’algorithmes d’apprentissage automatique : l’apprentissage par renforcement.
Vous en avez entendu parler.
C'est un des buzzwords des dernières années.
Une technique utilisée par les grands modèles de langages (large language model, LLM) dont chatGPT d'OpenAI.
Ces systèmes utilisent une variante de ce type d'apprentissage.
Ils lui ont trouvé un nouveau nom : RLHF.
RLHF
Non, ce n'est pas un nouveau rappeur.
RLHF: Reinforcement Learning from Human Feedback.
Derrière cet acronyme barbare se cache une pratique assez discutable.
Et néanmoins commune.
Qui annote les grands datasets ?
Qui décide si cette video est problématique ?
Qui juge les performances des algorithmes ?
Pas des programmes, évidemment.
Ils sont nombreux, ces hommes et ces femmes, à trimer pour améliorer les performances de la machine.
Souvent dans des pays en développement.
Toujours pour des prix dérisoires.
Bref.
Une technologie a aussi des conséquences sociales.
Il faut garder ce point en tête.
Bon, le billet.
Richard Sutton est né 1949.
Il est canadien.
Il conçoit des agents.
Ce sont des programmes.
Leur but est de trouver des solutions à des problèmes complexes.
Ces agents évoluent dans des espaces mathématiques, dont les règles sont définies par le problème à résoudre.
Ces problèmes se situent souvent dans des espaces de grande dimension.
Dimensions
L’espace où nous vivons est structuré autour de quatre dimensions : longueur, largeur, hauteur et temps.
C'est insuffisant pour les physiciens spécialistes de la théorie des cordes.
Ils modélisent plutôt l'univers avec une dizaine de dimensions. La plupart échappent à notre perception.
En mathématiques, on travaille régulièrement dans des espaces avec de nombreuses dimensions. Quand les objets sont des images, leur nombre dépasse largement le million.
On parle ainsi d'espace à grande dimension.
Des exemples
Jouer aux échecs.
Classer des images.
Engendrer des textes plausibles.
Gagner à 7 Wonders.
...
Citons aussi des sujets plus techniques comme l'optimisation numérique, l'exploration de données et l'apprentissage automatique.
Résoudre ces problèmes nécessite de se placer dans des espaces à grande dimension.
L'intuition ne suffit plus
La grande dimension pose un tas de difficultés.
Les éléments sont majoritairement isolés, éloignés les uns des autres.
On parle d'espaces creux.
Il est difficile de se faire une idée de ce qu’il s’y passe.
Même vaguement.
L’intuition humaine ne suffit plus.
Sec / sexy
Pour résoudre ces problèmes, on doit recourir à des programmes complexes qui utilisent des stratégies adaptées.
Construire de tels programmes demande des compétences partagées entre différents domaines : mathématiques appliquées, simulation numérique, calcul hautes performances.
Et beaucoup d’ingénierie logicielle.
L'ensemble est assez sec.
Pour rendre le sujet plus sexy, on parle de data science et de programmes intelligents depuis ~2015.
Ca claque un peu plus pour obtenir des financements
Stratégies
Quelles sont les stratégies utilisées dans ces programmes capable de travailler en grande dimension ?
On ne joue pas aux échecs comme on joue au go.
On ne construit pas Deep Blue comme AlphaGo.
On pourrait s'attendre à des stratégies compliquées, finement adaptées aux problèmes à résoudre ... ?
Ca n'est pas tout à fait vrai.
Les algorithmes les plus efficaces sont souvent moins spécialisés.
C'est une des leçons des dernieres décennies.
Et c'est le coeur de la thèse de Richard Sutton. _
Allez lire son billet : la leçon amère.
Recherche
Ces algorithmes de recherche efficaces sont capables d'explorer efficacement les espaces en grande dimension pour identifier des solutions satisfaisantes avec assez peu de préjugés.
Ca peut paraitre assez paradoxal.
Les algorithmes de recherche efficaces sont donc assez bêtes.
Ils s'appuient sur des stratégies de recherche simples.
Ils ne s'appuient pas sur une compréhension humaine du problème.
Qui sont-ils ?
Algèbre linéaire
Ce sont des algorithmes qui exploitent des méthodes d'algèbre linéaire.
Les problèmes d'algèbre linéaire sont nombreux.
Citons le calcul matriciel et la résolution de système linéaire.
Ou les problèmes d’optimisation difficile comme la satisfaisabilité booléenne (SAT).
On en croise souvent en recherche opérationnelle.
Les gains en performances depuis 70 ans se comptent en ordre de grandeur.
Les gains sont largement au delà du million, voire du milliard.
On compte les zeros.
Ces algorithmes ont pu tirer profit de l’augmentation stupéfiante de la puissance de calcul en suivant la loi de Moore, d’une part, et en voyant une amélioration des méthodes de calculs, d’autre part.
La leçon
C’est la leçon que tire Richard Sutton des 70 dernières années en intelligence artificielle, dont les progrès sont intimement liés aux progrès réalisés sur la résolution de problèmes généraux en algèbre linéaire.
Ça agace les gens.