Comprendre I-JEPA: apprendre à voir le monde grâce à l'apprentissage auto-supervisé (5MN1P #2)

Bienvenue dans notre nouvelle vidéo de "5 minutes, 1 papier" ! Dans cet épisode, nous plongeons au cœur d'une approche révolutionnaire pour l'apprentissage d'images, présentée dans le papier scientifique intitulé "Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture" Les auteurs de ce papier nous introduisent à l'architecture novatrice qu'ils ont développée, l'I-JEPA (Image-based Joint-Embedding Predictive Architecture). Cette approche non générative repousse les limites de l'apprentissage auto-supervisé à partir d'images. L'idée sous-jacente à l'I-JEPA est simple mais puissante : à partir d'un seul bloc contextuel, prédire les représentations de divers blocs cibles dans la même image. L'une des clés essentielles qui guide l'I-JEPA vers la production de représentations sémantiques de qualité est sa stratégie de masquage. Les auteurs expliquent pourquoi il est crucial de sélectionner des blocs cibles suffisamment vastes sur le plan sémantique et d'utiliser un bloc contextuel suffisamment informatif et distribué spatialement. Les résultats empiriques sont ecnourageants : lorsque combiné avec des Vision Transformers, l'I-JEPA se révèle hautement scalable. Par exemple, les chercheurs ont réussi à former un ViT-Huge/14 sur ImageNet en utilisant 16 GPU A100 en moins de 72 heures, ce qui a abouti à des performances remarquables dans une multitude de tâches, de la classification linéaire à la détection d'objets et à la prédiction de profondeur. Rejoignez-nous dans cette vidéo captivante pour découvrir comment l'I-JEPA ouvre de nouvelles perspectives dans le domaine de l'apprentissage d'images et de la vision par ordinateur. Ne manquez pas cette occasion de vous immerger dans les avancées révolutionnaires de l'intelligence artificielle ! N'oubliez pas de liker, partager et vous abonner pour ne manquer aucun contenu sur les dernières découvertes scientifiques dans le monde de l'IA et de la technologie. #artificialintelligence #intelligenceartificielle #machinelearning #ijepa #IA #AI #gpt #gpt3 #gpt4 #chatgpt -------------------------------------- Les schémas en SVG sous licence Creative Commons NC-BY: https://drive.google.com/drive/folder... L'article: https://arxiv.org/abs/2301.08243 Le GitHub: https://github.com/facebookresearch/i... Sur le site de META: https://ai.meta.com/blog/yann-lecun-a... La dernière application de JEPA: https://arxiv.org/abs/2307.12698 -------------------------------------- Le 1er épisode de 5mn1p:    • Sur les dangers des perroquets stochastiqu...   Découvre Stable Diffusion:    • Tutoriel Stable Diffusion: découverte et e...   Crée des animations avec Deforum:    • Tutoriel Stable Diffusion: découverte et e...   Entraîne un modèle avec tes propres images:    • Stable Diffusion personnalisé: DREAMBOOTH ...   Crée tes personnages avec Stable Diffusion et Open Pose:    • Open Pose pour Stable Diffusion: créez vos...   -------------------------------------- La chaîne Artificialis:    / @the.artificialis.archives   La chaîne Artificialis Code:    / @artificialis   Fais vivre la chaîne : ✔ Via Tipeee: https://en.tipeee.com/artificialis ✔ Via Patreon:   / artificialis   Interagis avec moi : ✔ Via GitHub : https://github.com/artificialis ✔ Via Twitter :   / artificialis1   ✔ Via Facebook :   / the.artificialis   ✔ Via Instagram :   / the.artificialis   ✔ Via Tik Tok :   / the.artificialis   Rejoins le Discord !   / discord