Sur les dangers des perroquets stochastiques (5MN1P #1)

Premier épisode de 5 minutes, 1 papier! Les 3 dernières années de recherche en traitement du langage naturel (NLP) ont été caractérisées par le développement et déploiement de modèles de langage (LM) toujours plus grands. BERT, ses variantes, GPT-2/3 et autres, Switch-C, ont repoussé les limites du possible à la fois par des innovations architecturales et par la taille. En utilisant ces modèles pré-entraînés et la méthodologie pour les fine-tuner pour des tâches spécifiques, les chercheurs ont étendu l'état de l'art sur un large éventail de tâches mesurées par des classements. Dans cet article, les auteurs proposent de prendre du recul et de poser les questions suivantes : Un LM peut-il être trop grand? Quels sont les risques possibles associés à ce technologie et quelles sont les voies disponibles pour atténuer ces risques ? Ils fournissent des recommandations, sur les coûts environnementaux et financiers d'abord, en investissant des ressources dans la conservation et documenter soigneuse des ensembles de données plutôt que de tout ingérer par exploration du web, en réalisant des exercices de pré-développement évaluant comment l'approche envisagée s'inscrit dans les objectifs de recherche et développement et de soutient aux valeurs des parties prenantes, et en encourage les directions de recherche au-delà de modèles de langage toujours plus grands. Merci de liker et de commenter la vidéo avec vos créations et j'en sélectionnerai pour mes prochaines vidéos. N'hésitez pas à me taguer sur Instagram et Twitter. #stablediffusion #aiart #gpt #gpt3 #gpt4 #chatgpt -------------------------------------- L'article: https://dl.acm.org/doi/pdf/10.1145/34... Évaluation du coût environnementaux des LLMs: Energy and Policy Considerations for Deep Learning in NLP_ https://aclanthology.org/P19-1355.pdf Attention is All You Need: https://arxiv.org/pdf/1706.03762.pdf GreenAI: https://cacm.acm.org/magazines/2020/1... Sur les associations de stéréotypes des LLMs: Evaluating the Underlying Gender Bias in Contextualized Word Embeddings: https://arxiv.org/pdf/1904.08783.pdf Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics: https://chicagounbound.uchicago.edu/c... Sur l'intersectionalité: Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases: https://arxiv.org/pdf/2006.03955.pdf Sur la compréhension du langage naturel: Probing Neural Network Comprehension of Natural Language Arguments: https://aclanthology.org/P19-1459.pdf Adversarial Filters of Dataset Biases: https://arxiv.org/pdf/2002.04108.pdf BERTologie: A Primer in BERTology: What We Know About How BERT Works: https://arxiv.org/pdf/2002.12327.pdf BERT Rediscovers the Classical NLP Pipeline: https://arxiv.org/pdf/1905.05950.pdf Sur les capacités des modèles récents: Reflexion: an autonomous agent with dynamic memory and self-reflection: https://arxiv.org/pdf/2303.11366.pdf Self-Refine: Iterative Refinement with Self-Feedback.: https://arxiv.org/pdf/2303.17651.pdf Large language models can self-improve: https://arxiv.org/pdf/2210.11610.pdf -------------------------------------- Découvre Midjourney:    • Tutoriel Midjourney: Introduction et expér...   Découvre Stable Diffusion:    • Tutoriel Stable Diffusion: découverte et e...   Crée des animations avec Deforum:    • Tutoriel Stable Diffusion: découverte et e...   Entraîne un modèle avec tes propres images:    • Stable Diffusion personnalisé: DREAMBOOTH ...   Crée tes personnages avec Stable Diffusion et Open Pose:    • Open Pose pour Stable Diffusion: créez vos...   -------------------------------------- La chaîne Artificialis:    / @the.artificialis.archives   La chaîne Artificialis Code:    / @artificialis   Fais vivre la chaîne : ✔ Via Tipeee: https://en.tipeee.com/artificialis ✔ Via Patreon:   / artificialis   Interagis avec moi : ✔ Via GitHub : https://github.com/artificialis ✔ Via Twitter :   / artificialis1   ✔ Via Facebook :   / the.artificialis   ✔ Via Instagram :   / the.artificialis   ✔ Via Tik Tok :   / the.artificialis   Rejoins le Discord !   / discord