Mesurer l’immesurable : Comment évaluer les systèmes à base d’IA générative ?

Présentation par : Erin Pacquetet (SCIAM) 📕 Résumé : Les IA génératives révolutionnent la création d’applications, ouvrant des usages variés : assistants, génération de contenu, recherche augmentée, et facilitant des tâches complexes. Mais un défi majeur subsiste : évaluer précisément des produits basés sur des modèles à la fois créatifs et imprévisibles. Cette session explore ce paradoxe : exploiter les LLM tout en maîtrisant l’évaluation de leurs résultats. Nous verrons comment ajuster critères et méthodes pour évaluer exactitude technique, cohérence et pertinence métier. Au programme : limites des métriques classiques, évaluation automatisée via “LLM-as-a-judge” (et ses biais), importance de l’évaluation humaine, et suivi continu pour détecter dérives et effets secondaires. Nous analyserons le cas d’un chatbot RAG, où créativité linguistique et exigence de vérité s’opposent. L’évaluation, équilibre de factualité et fluidité, contrôle la précision sans maîtriser la question posée. Ce cas concret nous servira de fil rouge pour voir comment implémenter un pipeline d'évaluation complet et reproductible. Cette session offre des repères et outils pour évaluer méthodiquement les systèmes génératifs et en faire un atout stratégique en IA. Enregistré en avril 2026 à Paris, Palais des Congrès, Porte Maillot. 🔥 Pour rester informé sur l'actualité de Devoxx France, suivez nous sur LinkedIn :   / devoxx-france   Bluesky : https://bsky.app/profile/devoxx.fr consultez notre site web https://www.devoxx.fr/