Bulle deep

Nos résultats montrent qu'un grand réseau de neurones convolutif profond est capable d'obtenir des résultats records sur un ensemble de données complexe en utilisant un apprentissage purement supervisé. Geoffrey Hinton (2012)
Prix Turing 2018

Le moment connexionnisme

Les algorithmes d'apprentissage automatique avec réseaux de neurones reviennent sur le devant de la scène en 1986. Le connexionnisme se relance avec le moment PDP (Parallel Distributed Processing, Rumelhart & McClelland) et la mise en lumière de la procédure d'entraînement par rétro-propagation, ou backprop, qui permet d’entraîner des réseaux de neurones multicouches. Cette technique a été découverte et développée de multiples fois depuis les années 1970.

Si l'excitation est intense, la bulle PDP est cependant de courte durée. Au milieu des années 1990, la recherche sur les réseaux neuronaux stagne, pour être à nouveau délaissée. La limite principale est matérielle : les ordinateurs de l'époque ne sont pas assez puissants pour entraîner les modèles. Et la concurrence est rude dans le domaine de l'apprentissage automatique, car des modèles concurrents comme les machines à vecteurs de support (SVM) et les forêts aléatoires montrent de bons résultats.

Les réseaux neuronaux avaient été considérés comme une impasse vingt ans plus tôt. [Ce] jugement avait été rendu dans les années 1960 par une critique virulente de Marvin Minsky et Seymour Papert, qui jouissaient tous deux d'une excellente réputation dans la communauté de l'IA. Dans les années 1980, [les réseaux neuronaux] semblaient être non seulement une impasse, mais réellement morts. Presque tous les fonds de recherche avaient été consacrés à l'IA symbolique. Margaret Boden (2016)

À nouveau incontournables !

En 2006, un nouveau cycle d’intérêt pour les réseaux de neurones démarre.

Geoffrey Hinton relance les réseaux de neurones, avec une architecture de deep belief network. C’est le troisième cycle, le troisième printemps. Les réseaux sont plus profonds : on parle désormais de deep neural networks, ou l'apprentissage profond (deep learning). Ces réseaux ont plus de neurones, plus de couches et sont mieux connectés. En 2016, on compte typiquement un million de neurones connectés à 10000 autres neurones, et organisés en une dizaine de couches.

Et des données, beaucoup de données. Traitées par des ordinateurs puissants, ces données sont les clés du succès. L’apprentissage profond va profiter pleinement de la mode technologique du Big Data des années 2010. L’utilisation massive du web et la démocratisation des objets connectés, qui sont naturellement des capteurs de données, expliquent ce mouvement technique qui bousculera bientôt l'économie.

Une compétition technique marque les esprits. La classification d'images est un critère qui permet de classer les performances des algorithmes.

En 2012, différents algorithmes sont évalués sur la base ImageNet. Elle est constituée de 1.2 million d’images d'entraînement et de 150000 images de test, réparties en 1000 catégories. Un réseau de neurones arrive en tête avec des performances remarquables.

Un réseau de neurones convolutif appelé SuperVision (puis AlexNet) a obtenu des performances remarquables lors du défi ImageNet 2012, bien meilleures que celles réalisées par les autres algorithmes en compétition (15% d'erreur, contre 26% pour le deuxième). L'utilisation de réseaux neuronaux convolutifs était possible grâce à l'utilisation de processeurs graphiques (GPU) lors de la phase d'entraînement, un ingrédient essentiel de la révolution de l'apprentissage profond. Selon The Economist, "soudainement, les gens ont commencé à prêter attention, non seulement au sein de la communauté de l'IA, mais dans l'ensemble de l'industrie technologique ". d'après Wikipedia

L'apprentissage profond est passionnant car il permet enfin aux réseaux de neurones de traiter la hiérarchie. Depuis le début des années 1980, les connexionnistes se sont efforcés de représenter la hiérarchie en combinant la représentation locale/distribuée ou en définissant des réseaux récurrents. [...] Leur succès est limité, et les réseaux de neurones ne sont toujours pas adaptés à la représentation précise de hiérarchies avec ou au raisonnement déductif. L'apprentissage profond a été initié, en fait, dans les années 1980 (par Jürgen Schmidhuber). Mais le domaine n’a explosé que plus récemment, lorsque Hinton a fourni une méthode efficace permettant aux réseaux multicouches de découvrir des relations sur de nombreux niveaux. Margaret Boden (2016)

DeepMind, un symbole

DeepMind est une petite société anglaise fondée en 2010 par des chercheurs en IA. Son équipe de 25 personnes est spécialisée dans une activité assez particulière : elle apprend à des programmes à jouer à des jeux vidéo. On peut sourire dans un premier temps, surtout si on sait que les jeux sont des antiquités des années 1980 comme Pong, Breakout ou Space Invaders. La publication scientifique date de 2015 : Human-level control through deep reinforcement learning (Nature, 2015). On ne sourit plus quand on apprend que cette société est achetée par Google en 2014 pour 650 millions de dollars.

DeepMind est un symbole. Les jeux vidéo auxquels ses ingénieurs s’intéressent sont des mondes fermés où les règles sont limitées. Ce sont des terrains de jeu parfait pour les réseaux de neurones. DeepMind a mis au point des techniques d’apprentissage qui s’adaptent au jeu rencontré. Le programme découvre le jeu et apprend à le maîtriser en observant les images affichées à l’écran, et le score. Point crucial : aucune autre information n’est fournie. Les performances sont remarquables ! Par exemple, lorsque le programme découvre Pong, il lui suffit de quelques dizaines d’heures d'entraînement pour atteindre le niveau de jeu d'un humain.

Notre méthode est plus performante qu'un expert humain sur BreakOut, Enduro et Pong et il atteint des performances proches de l'humain sur Beam Rider. [Nous sommes] loin des performances humaines sur des jeux [plus difficiles] comme Q*bert, Seaquest, Space Invaders, [qui] demandent au réseau de trouver une stratégie à long terme. DeepMind (2013)

Ces systèmes sont de véritables tours de force d'ingénierie et de recherche appliquée. Un éventail de raffinements est ajouté à l’arsenal technologique de l’apprentissage profond au fil du temps, comme le mécanisme d'attention et l'architecture transformer. Les GAFA et BigTechs sont les principaux acteurs du deep learning : leur puissance financière leur permet de s'offrir les compétences techniques, de constituer les bases de données essentielles à l'entraînement des modèles et la puissance de calcul requise (train, test, predict).

Des succès impressionnants

La bulle deep démarre autour de 2016.

Les principaux acteurs académiques des réseaux de neurones profonds rejoignent les GAFA. Geoffrey Hinton travaille pour Google depuis 2013. La même année, son ancien thésard Yann Le Cun est recruté par Facebook. Les deux recevront le prix Turing avec Yoshua Bengio en 2018.

Il y a 100 ans, l'électricité a presque tout transformé. Aujourd'hui, j’ai du mal à imaginer une industrie qui ne sera pas transformée par l’IA au cours des prochaines années. Andrew Ng (2017)

Les applications des réseaux de neurones sont impressionnantes dans de nombreux domaines. Les réseaux de neurones sont meilleurs que les humains pour la classification d’images. La traduction de texte en ligne progresse à un niveau correct pour les langues les plus représentées dans les corpus électroniques. La génération d’image et le text-to-image est une avancée majeure, avec Dall-E (2021) et MidJourney (2022). Des agents conversationnels intéressants sont disponibles, comme GPT-3 (2020) et ChatGPT (2022).

Les cas d’usage sont nombreux, probablement plus nombreux que ceux immédiatement visibles - mais qui marquent les esprits. De manière générale, les réseaux de neurones profonds sont des outils très utiles dans la détection et l’exploitation de tendances et motifs dans les bases de données massives, notamment les images. On s’attend à des progrès à long terme sur les sujets liés à l’industrie et, naturellement, les services numériques basés sur le profilage et la recommandation. DeepMind fait les gros titres. Aux échecs, Alpha Zero montre de très belles performances face à des programmes spécialisés comme Stockfish, qui intègrent depuis des réseaux de neurones dans leurs heuristiques de calcul. En 2016, AlphaGo bat bruyamment et brillamment des champions humains au go. En 2019, DeepStar s'attaque à StarCraft 2 et égale les meilleurs joueurs humains.

Je pense que l'IA provoquera très probablement la fin du monde. Mais entre-temps, de superbes entreprises seront créées grâce à l'apprentissage automatique. Sam Altman (2015)

précédent | suivant