Littéralement Tout sur l'Apprentissage des Réseaux de Neurones, Décortiqué Doucement (pour Dormir)

Littéralement Tout sur l'Apprentissage des Réseaux de Neurones, Décortiqué Doucement (pour Dormir) Cette vidéo pensée pour l'endormissement retrace l'histoire complète de l'apprentissage des réseaux de neurones. Tout commence en 1943, lorsque le neurophysiologiste Warren McCulloch et le mathématicien Walter Pitts réduisent le neurone à une unité logique : correctement câblées, ces unités peuvent calculer tout ce que la logique exprime. En 1957, à Cornell, le psychologue Frank Rosenblatt invente le perceptron, première machine qui apprend en ajustant ses poids à partir d'exemples ; la démonstration du Mark I en 1958 déclenche un enthousiasme médiatique considérable. En 1969, Marvin Minsky et Seymour Papert publient « Perceptrons », prouvant que le perceptron ne peut pas apprendre la fonction XOR et posant le problème de l'attribution du crédit dans les couches cachées : le financement s'assèche, premier hiver de l'IA, et Rosenblatt meurt en 1971 sans voir la revanche de son idée. La solution, la rétropropagation, est formulée par Seppo Linnainmaa et Paul Werbos, puis redécouverte par David Parker et Yann LeCun avant l'article de David Rumelhart, Geoffrey Hinton et Ronald Williams dans Nature en 1986. LeCun applique ensuite les réseaux convolutifs à la lecture de chiffres manuscrits aux Bell Labs. Mais le problème du gradient qui disparaît bloque les architectures profondes : Hinton le contourne en 2006 par un pré-entraînement couche par couche, puis la fonction ReLU et les GPU lèvent les derniers obstacles. En 2012, AlexNet, de Hinton avec Alex Krizhevsky et Ilya Sutskever, écrase la compétition ImageNet. Suivent VGG, GoogLeNet et ResNet avec les connexions résiduelles de Kaiming He ; les LSTM de Sepp Hochreiter et Jürgen Schmidhuber dominent le traitement des séquences. En 2017, « Attention Is All You Need » introduit le Transformer, qui remplace la récurrence par l'attention. GPT, BERT, les lois d'échelle, GPT-3, GPT-4, LLaMA de Meta, le RLHF et ChatGPT transforment cette recherche en industrie planétaire. La vidéo aborde les capacités émergentes, l'alignement, le Constitutional AI d'Anthropic, le chain-of-thought, la quantification et LoRA, puis l'interprétabilité mécanistique avec Chris Olah, avant de conclure sur une idée simple : apprendre, c'est s'ajuster patiemment, des milliards de fois, pour se tromper un peu moins. L'article fondateur de McCulloch et Pitts, « A logical calculus of the ideas immanent in nervous activity », paraît en 1943 dans le Bulletin of Mathematical Biophysics, avant même la construction des premiers ordinateurs électroniques, à une époque où l'on assemble encore des calculateurs avec des relais téléphoniques. Les deux auteurs y établissent l'analogie entre ces relais et les neurones, et démontrent qu'en trois couches correctement câblées, leurs neurones formels peuvent réaliser n'importe quelle fonction logique (universalis.fr/encyclopedie/apprentissage-profond-deep-learning/2-reseaux-de-neurones-formels/). C'est aussi ce papier qui est souvent cité comme l'acte de naissance de l'intelligence artificielle. Quelques détails complètent le tableau. La règle de Hebb, proposée en 1949 par le physiologiste canadien Donald Hebb dans The Organization of Behaviour, apporte la première réponse au calcul des poids synaptiques et se retrouve encore, sous des formes variées, dans les modèles actuels. L'enthousiasme autour du perceptron de 1958 est immense : le New York Times et le magazine Science annoncent une machine capable de tout reconnaître, de traduire des langues, voire d'aller explorer l'espace (fr.wikipedia.org/wiki/R%C3%A9seau_de_neurones_artificiels). Le coup d'arrêt de Minsky et Papert en 1969 redirige les fonds publics vers la logique formelle, et la recherche sur les réseaux ne survit que dans des niches comme les télécommunications et le contrôle de processus industriels. Quant à la rétropropagation, elle est formellement établie par Paul Werbos dès 1974 dans sa thèse, avant d'être appliquée aux réseaux de neurones en 1982 puis popularisée par l'article de 1986 (fr.wikipedia.org/wiki/R%C3%A9seau_de_neurones_artificiels).