Перейти к содержимому

GPT-6 Astra отредактировала «мозги» Qwen и сделала её УМНЕЕ!

Code Bear

0:00 / 0:00

GPT-6 Astra отредактировала «мозги» Qwen и сделала её УМНЕЕ!

8 393 просмотра · 18 ч назад
Code Bear
60,1 тыс. подписчиков
8 393 просмотра · 18 ч назад
Действительно ли OpenAI научил небольшую модель ИИ математике, просто изменив её веса? Не совсем. Команда из MIT CSAIL (Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб) использовала OpenAI GPT-6 Astra для чтения и редактирования исходных весов Qwen3.5-0.8B без обучения и градиентов. Astra обнаружила часть модели, которая заставляла её зацикливаться, изменила 131 072 из примерно 800 миллионов весов (0,016%), и MATH-500 вырос с 7,9% до 48,1%. Подвох в том, что модель не научилась новой математике. Она уже многое знала, но застряла в повторении и так и не завершила работу. По словам самих авторов: редактирование весов «могло устранить препятствие, скрывающее способность, но не могло добавить способность, которой модели не хватало». Мы также сами запустили обе модели на Mac с настройками блога и сравнили результаты в двух контрольных точках (изменились только две матрицы весов). Источники Сообщение в блоге MIT, «Искры программирования в пространстве весов» (2 ноября 2026 г.): https://rikiyat.github.io/blog/weight... Полные журналы эксперимента: https://github.com/RikiyaT/lm_underst... Отредактированная модель: https://huggingface.co/RikiyaT/Qwen3.... Демонстрация в реальном времени: https://huggingface.co/spaces/ML-Inte... Карточка модели Qwen3.5-0.8B: https://huggingface.co/Qwen/Qwen3.5-0.8B Сообщение Рикии Такехи о запуске: https://x.com/rikiyatakehi/status/211... Лукаса Бейера Критика: https://x.com/giffmana/status/2117346... Ответ Алекса Чжана: https://x.com/a1zhang/status/21173643... Юрген Шмидхубер: https://x.com/SchmidhuberAI/status/21... Обсуждение на Hacker News: https://news.ycombinator.com/item?id=... Главы 0:00 Модель, которая постоянно повторяет "Подожди" 0:51 Что такое веса 1:27 Кто на самом деле это сделал 1:51 Чтение мыслей сети по её числам 2:58 Написание весов: автомобиль и Breakout 3:42 Как Astra исправила Qwen 5:19 поймать 6:23 Мы сами это попробовали 7:01 В чём ошибка в заголовке 7:54 Что может произойти дальше 8:17 Проверьте сами