GPT-6 Astra отредактировала «мозги» Qwen и сделала её УМНЕЕ!
Code Bear
0:00 / 0:00
GPT-6 Astra отредактировала «мозги» Qwen и сделала её УМНЕЕ!
8 393 просмотра · 18 ч назад
Code Bear
60,1 тыс. подписчиков
8 393 просмотра · 18 ч назад
Действительно ли OpenAI научил небольшую модель ИИ математике, просто изменив её веса? Не совсем. Команда из MIT CSAIL (Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб) использовала OpenAI GPT-6 Astra для чтения и редактирования исходных весов Qwen3.5-0.8B без обучения и градиентов. Astra обнаружила часть модели, которая заставляла её зацикливаться, изменила 131 072 из примерно 800 миллионов весов (0,016%), и MATH-500 вырос с 7,9% до 48,1%.
Подвох в том, что модель не научилась новой математике. Она уже многое знала, но застряла в повторении и так и не завершила работу. По словам самих авторов: редактирование весов «могло устранить препятствие, скрывающее способность, но не могло добавить способность, которой модели не хватало».
Мы также сами запустили обе модели на Mac с настройками блога и сравнили результаты в двух контрольных точках (изменились только две матрицы весов).
Источники
Сообщение в блоге MIT, «Искры программирования в пространстве весов» (2 ноября 2026 г.): https://rikiyat.github.io/blog/weight...
Полные журналы эксперимента: https://github.com/RikiyaT/lm_underst...
Отредактированная модель: https://huggingface.co/RikiyaT/Qwen3....
Демонстрация в реальном времени: https://huggingface.co/spaces/ML-Inte...
Карточка модели Qwen3.5-0.8B: https://huggingface.co/Qwen/Qwen3.5-0.8B
Сообщение Рикии Такехи о запуске: https://x.com/rikiyatakehi/status/211...
Лукаса Бейера Критика: https://x.com/giffmana/status/2117346...
Ответ Алекса Чжана: https://x.com/a1zhang/status/21173643...
Юрген Шмидхубер: https://x.com/SchmidhuberAI/status/21...
Обсуждение на Hacker News: https://news.ycombinator.com/item?id=...
Главы
0:00 Модель, которая постоянно повторяет "Подожди"
0:51 Что такое веса
1:27 Кто на самом деле это сделал
1:51 Чтение мыслей сети по её числам
2:58 Написание весов: автомобиль и Breakout
3:42 Как Astra исправила Qwen
5:19 поймать
6:23 Мы сами это попробовали
7:01 В чём ошибка в заголовке
7:54 Что может произойти дальше
8:17 Проверьте сами