Un caballo de hace 100 años predijo el fallo de la IA

Un caballo engañó durante años a científicos haciéndoles creer que sabía matemáticas. Más de 100 años después, su historia explica uno de los mayores problemas de la inteligencia artificial actual, que *una IA puede acertar, sin haber aprendido lo que creemos que ha aprendido.* Se llamaba Clever Hans. Sumaba, restaba, respondía preguntas y parecía entender números. Hasta que un investigador descubrió que no estaba calculando: había aprendido a detectar microgestos involuntarios de los humanos y utilizarlos para saber cuándo debía dejar de golpear el suelo. Y esto tiene muchísimo que ver con cómo entrenamos modelos de IA hoy. En este vídeo conectamos el caso de Clever Hans con *machine learning, shortcut learning, RLHF, reward hacking, benchmarks y modelos de lenguaje* para entender una pregunta que se vuelve cada vez más importante: *Cuando una inteligencia artificial da la respuesta correcta… ¿sabemos realmente por qué ha acertado?* Porque entrenar una IA no consiste en introducir directamente conceptos como “entiende matemáticas”, “sé útil” o “razona correctamente”. Le damos ejemplos, objetivos, recompensas y evaluaciones… y el modelo encuentra estrategias para conseguir buenos resultados. A veces aprende exactamente lo que queríamos. Y otras veces descubre la versión digital de mirar discretamente al humano para saber cuándo parar. También hablamos de por qué los modelos pueden aprender atajos, cómo funciona de forma simplificada el entrenamiento de un LLM, qué papel tiene el feedback humano, qué es la Ley de Goodhart y por qué sacar una puntuación espectacular en un benchmark no demuestra necesariamente que un modelo haya aprendido una capacidad de forma general. La historia de Hans no demuestra que el caballo fuese tonto. Todo lo contrario. *Hans era extremadamente bueno resolviendo una tarea diferente de la que los humanos pensaban que le habían enseñado.* Y esa diferencia puede ser una de las mejores formas de entender la inteligencia artificial moderna. ⏱️ CAPÍTULOS 00:00 El caballo que engañó a los científicos 01:20 Cómo enseñaron matemáticas a Clever Hans 04:10 El experimento que descubrió lo que estaba pasando 06:15 Hans había aprendido… pero otra cosa 07:30 Shortcut learning: los atajos de la IA 09:00 Cómo aprende realmente un modelo de lenguaje 12:30 RLHF: cómo los humanos enseñamos preferencias a una IA 15:30 Goodhart y reward hacking: cuando optimizar sale mal 16:45 El problema de los benchmarks de IA 17:55 Cómo comprobar si una IA ha aprendido de verdad 18:55 El verdadero giro de la historia de Clever Hans #InteligenciaArtificial #IA #ChatGPT #MachineLearning #CleverHans #DeepLearning #LLM #RLHF #ArtificialIntelligence