Cómo funciona ChatGPT: la atención en Transformers

Cómo funciona la atención en Transformers: self-attention, query, key y value explicados paso a paso con números y animaciones. Entiende qué es un Transformer y cómo funciona ChatGPT al relacionar las palabras de una frase según su contexto. «Saqué dinero del banco y me senté en el banco del parque». La misma palabra entra al modelo con los mismos números, pero adquiere significados distintos. Construimos el mecanismo que lo hace posible con un ejemplo pequeño cuyas cuentas caben en una pizarra. Verás embeddings, producto escalar, softmax, la máscara causal y las cabezas de atención. Después montamos el bloque atención + MLP y contamos los 175.000 millones de parámetros de GPT-3. Los números del ejemplo de dos dimensiones son didácticos e inventados. Las cifras de arquitectura y memoria corresponden a GPT-3 de 175.000 millones de parámetros, no a la arquitectura actual de ChatGPT. Los 350 GB son solo los pesos a dos bytes por parámetro; ejecutar el modelo requiere memoria adicional. CAPÍTULOS 00:00 El problema: dos bancos, los mismos números 2:05 Palabras convertidas en puntos 3:41 Lo que queremos que pase 4:47 Pregunta, etiqueta y contenido (query, key, value) 6:04 Las cuentas, a mano 8:46 La fórmula de 2017 y por qué se divide entre la raíz 10:17 Sin mirar al futuro: la máscara 11:09 Muchas preguntas a la vez: las cabezas 12:11 La torre: atención + MLP, 96 bloques 13:04 La cuenta de los 175.000 millones de parámetros 14:15 La letra pequeña: el orden y el precio 15:29 Volvamos al principio FUENTES Vaswani et al. (2017), Attention Is All You Need: https://arxiv.org/abs/1706.03762 Brown et al. (2020), Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 SERIE COMPLETA · CÓMO FUNCIONA CHATGPT POR DENTRO    • Cómo funciona ChatGPT por dentro   LLEVA LA IA A LA PRÁCTICA En mi canal principal encontrarás herramientas, agentes de IA y proyectos reales:    / @ericrisco   Empieza por «Así se programa con agentes de IA en 2026»:    • Así se programa con agentes de IA en 2026   ERIC RISCO LAB · INGENIERÍA DE IA EN ESPAÑOL Modelos de lenguaje y agentes explicados con animaciones, ejemplos y detalle técnico.    / @ericriscolab   CONECTA CONMIGO Instagram: https://www.instagram.com/ericrisco_dev/ LinkedIn: https://www.linkedin.com/in/erisco-and/ #Transformers #InteligenciaArtificial #ChatGPT