Pourquoi une IA relit 9 Go avant chaque mot (et comment aller plus vite)

Je donne à Qwen 3.5, le modèle de la série, une dizaine de pages des Misérables à résumer. Pendant sept secondes et demie, rien. Puis la réponse défile, toujours au même rythme : 26 tokens par seconde. Pourquoi ce rythme-là ? Dans cet épisode : pour chaque token, la puce relit tous les paramètres, comme un dictionnaire relu avant chaque mot ; la loi qui en découle (la vitesse de la mémoire divisée par la taille du modèle), vérifiée sur cinq vrais modèles ; pourquoi lire la question va trente fois plus vite qu'écrire la réponse ; et l'arrondi des nombres (la quantification) : Qwen 3.5 arrondi à 4 bits écrit plus de deux fois plus vite, puis essayé en 8, 4, 3 et 2 bits. Épisode précédent, améliorer sans tout refaire :    • Fine-tuning et LoRA : réentraîner une IA e...   Le premier épisode, deviner le mot suivant :    • Comment une IA écrit-elle ? Deviner le mot...   Toute la série, dans l'ordre :    • Comment fonctionne une IA (LLM)   Chapitres : 0:00 Sept secondes, puis 26 tokens par seconde 0:34 Relire tout le dictionnaire 1:36 Cinq modèles, une seule loi 2:02 Lire va trente fois plus vite 2:39 Arrondir les nombres 4:06 Récapitulatif Musique : « The Long Dark » par Scott Buckley, sous licence CC BY 4.0 (www.scottbuckley.com.au). Voix off : synthèse à partir de la voix de l'auteur. Modèles mesurés : Qwen3.5-4B (Alibaba, licence Apache 2.0), en 16 bits et arrondi à 4 bits ; Qwen3.5-4B-Base pour l'arrondi en 8, 4, 3 et 2 bits ; TinyLlama, Llama 3.2 (Meta), Phi-3 mini (Microsoft), DeepSeek-R1 8B (DeepSeek). Texte : Victor Hugo, « Les Misérables », Projet Gutenberg. Animations réalisées en code avec Remotion. Écrit et animé avec l'aide de l'IA, puis relu et vérifié à la main par l'auteur. #IA #LLM #Informatique