Las notas que ves en los anuncios de IA están contaminadas. Así se mide de verdad — "AI Engineering"

Un modelo de un millón de parámetros —una miseria al lado de cualquier cosa que uses tú— sacó casi el cien por cien y ganó a modelos muchísimo más grandes en todas las pruebas. No sabía hacer absolutamente nada útil. Lo habían entrenado con los exámenes. Es el ejemplo más limpio de lo que va este video: las notas con las que se anuncia la inteligencia artificial salen de exámenes, y hay exámenes que estaban dentro de los apuntes. Cuando una de las empresas más grandes del sector revisó uno de sus propios modelos, encontró trece pruebas en las que al menos el cuarenta por ciento de las preguntas ya estaba en el material de estudio. Esas son las notas de los anuncios. Todo el video se sigue con un solo caso, de principio a fin: acabas de contratar a alguien para que conteste los correos de tus clientes, lleva una semana, y esta noche te preguntas si lo está haciendo bien. A partir de ahí: por qué un correo a un cliente no tiene casilla de «correcto», qué trabajos sí se corrigen solos, qué pasa cuando pones a una máquina a corregir a otra (coincide un 85 % con las personas, y las personas entre ellas solo un 81 %), los cuatro vicios medidos de ese corrector —el peor: premia la respuesta larga con errores antes que la corta correcta—, por qué una tabla de clasificación te dice cuál es mejor pero no si alguno es suficientemente bueno, y cómo se traduce una nota a euros y a horas. Son los capítulos 3 y 4 de "AI ENGINEERING", de CHIP HUYEN (O'Reilly, diciembre de 2024): 206 páginas, el bloque más largo del libro. Estamos leyendo entero el libro de Chip Huyen, un capítulo por video, y lo contamos en cristiano: sin fórmulas, sin siglas y sin dar por hecho que sabes nada de inteligencia artificial. Ninguna cifra de este video es nuestra: todas salen del libro. 📖 CAPÍTULOS 00:00 La nota que nadie comprobó 01:10 No existe la casilla de «correcto» 02:56 Lo que sí se corrige solo 04:48 Una máquina corrigiendo a otra: 85 % contra 81 % 06:32 Los vicios del corrector: premia lo largo 08:33 Cara a cara, en vez de nota 10:30 El examen estaba en los apuntes 12:57 Las cuatro cosas que le estás pidiendo 14:52 El manual de corrección 16:54 De la nota a los euros 18:43 Fuente, y una escena para esta noche ▶️ ANTES DE ESTE: "Así funciona la IA por dentro (y por qué se inventa cosas)" — el capítulo 2, la máquina abierta por dentro. Y si acabas de llegar, empieza por la introducción a la serie: "El demo sale en un fin de semana. El producto tarda meses". ▶️ DESPUÉS: el capítulo 5, cómo se le habla a una de estas máquinas. Y su segunda mitad, cómo te atacan por ahí. 📚 Fuente: Chip Huyen, "AI Engineering: Building Applications with Foundation Models" (O'Reilly Media, diciembre de 2024). Capítulos 3 ("Evaluation Methodology") y 4 ("Evaluate AI Systems"), páginas 257 a 462. 🔬 Notas técnicas y papers: https://iaynegocios.com/papers ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 🎁 RECURSOS GRATUITOS DEL CANAL 👉 https://iaynegocios.com/links 📚 Dentro encuentras: · Guías para construir tu organigrama híbrido paso a paso · Calendario para agendar conmigo directamente · Casos reales de PYMES con colaboradores digitales propios · Plantillas y recursos para arrancar ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 🏗️ ¿QUIERES TU PROPIO ORGANIGRAMA HÍBRIDO? Construimos colaboradores digitales adaptables a tu negocio: trabajadores que conocen tu operación, tus clientes y tus procesos. No alquilas software — montas tu propio patrimonio digital, tus activos al servicio de tu empresa, propiedad tuya. Agenda conmigo: https://iaynegocios.com/links ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 📲 SÍGUEME: 🧑🏼‍💻 YOUTUBE:    / @iaynegocios   👥 FACEBOOK:   / iaynegociosx   📱 TIKTOK:   / iaynegocios   📸 INSTAGRAM:   / ia_y_negocios   🆇 X: https://x.com/ia_y_negocios 👨‍💼 LINKEDIN:   / francisco-iaynegocios   Web: iaynegocios.com #OrganigramaHibrido #ColaboradoresDigitales #PatrimonioDigital #ActivosDigitales #TrabajadoresAdaptables #IAyNegocios #PYMEs #FranciscoOcaña #IAparaNegocios