Es el Final de los LLMs? (NCM)

¿Es el fin de los LLMs? Un modelo pequeño que escribe palabra a palabra, como el chatbot que usas cada día, resolvió alrededor del 1 % de los sudokus difíciles de una tabla de un preprint de Stanford. Otro modelo del mismo tamaño, que primero hace un borrador de toda la cuadrícula y luego lo va afinando, resolvió el 86 %. Ese contraste abre este vídeo, y la respuesta corta es que no, pero lo que cambia por debajo es más interesante de lo que sugiere un titular. ¿Qué puedes correr en tu hardware? Descúbrelo aquí: https://localanalysis.ai/ia Vemos cómo funcionan dos trabajos de este mes que atacan la misma costumbre desde extremos opuestos. El primero, Next Concept Modeling, es un diffusion llm en espíritu que escribe una respuesta entera de forma tosca y la afina en unas pocas pasadas: en una prueba de resúmenes usó ocho pasadas frente a ciento veintiocho del mejor modelo de difusión y, según sus autores, fue treinta y una veces más rápido en una sola H100. El segundo, HybridAgents, hace latent reasoning: el agente piensa en vectores ocultos y solo escribe texto cuando tiene que usar una herramienta o darte la respuesta, con entre un tercio y la mitad menos de tokens en sus pruebas. También miramos lo que casi nadie cuenta: los tokens de razonamiento que no ves en pantalla se facturan igualmente como tokens de salida, qué dicen los autores sobre poder leer ese pensamiento oculto y por qué de momento no cambia nada en tu factura de la API ni en tu ordenador. Son preprints de investigación, con modelos pequeños, medidos contra las líneas base de los propios autores, y no hay ningún ajuste para esto en Ollama. Las cifras que proceden de comentarios y de hilos de foros son individual user reports: testimonios ilustrativos, no promedios. Si pagas por token o montas agentes, cuéntame en los comentarios dónde te duele más, si la espera o una factura de razonamiento que no puedes leer. 00:00 La tabla del sudoku 01:41 Lo que me hizo meterme en esto 03:00 Un montón de clones, más o menos 03:48 Escribir en orden tiene un coste 05:20 La gente que lleva años empujando contra esa cadena 06:58 Pensar sin pasar por las palabras 08:20 Lo que no te dejaban mirar 09:26 Dos problemas viejos y una foto que se enfoca 12:21 Pocas pasadas, todo a la vez 14:22 Otra vez el sudoku 16:38 Antes de ponerlo en una diapositiva 19:31 Pensar en números y actuar con palabras 23:41 Lo que se puede leer y lo que se paga #llm #ia #razonamientolatente