Добро пожаловать в J-Space: новая методика Anthropic для интерпретируемости LLM

О чём думает Клод, но никогда не говорит вслух? Новая J-линза от Anthropic раскрывает скрытое «J-пространство» внутри модели: небольшое рабочее пространство, где хранятся концепции, с которыми она активно работает. Ваш мозг не транслирует всё, что обрабатывает. Большая часть работает в автоматическом режиме, и лишь немногие идеи привлекают к себе внимание и распространяются по всему разуму. Нейробиологи называют это глобальным рабочим пространством. Anthropic обнаружила, что большие языковые модели, похоже, делают нечто подобное. В этом видео мы разбираем статью Anthropic «Вербализуемые представления формируют глобальное рабочее пространство в языковых моделях» и якобианскую линзу (J-линзу), технику интерпретируемости, лежащую в её основе. 🔍 В этом видео: Как J-Lens использует собственный словарь модели для чтения её внутреннего состояния, без необходимости использования словаря признаков или маркировки Что отображается в J-пространстве: скрытые ошибки в коде, этапы решения математической задачи, подозрение на внедрение подсказки — всё это до того, как модель напишет хотя бы слово Почему отключение J-пространства нарушает рассуждения, аналогии и перевод, но оставляет простое запоминание в основном нетронутым Почему цепочка мыслей работает как черновик для модели Как управление J-пространством даёт исследователям реальный контроль над поведением модели Что это говорит (и чего не говорит) о сознании ИИ ⏱️ Разделы 0:00 Добро пожаловать в J-пространство 0:19 Идея глобального рабочего пространства 1:53 Как работает J-Lens 2:45 Как якобиан обеспечивает интерпретируемость 4:30 Интерпретируемость с помощью J-Lens 5:51 Краткий обзор 📄 Ресурсы Сообщение в блоге Anthropic: https://www.anthropic.com/research/gl... Полная статья: https://arxiv.org/abs/2607.15495 Код J-Lens (с открытым исходным кодом): https://github.com/anthropics/jacobia... Если вас интересует интерпретируемость ИИ, механистическая интерпретируемость или то, как на самом деле рассуждают такие специалисты, как Клод, подпишитесь, чтобы получать больше подробных материалов. #Anthropic #AIInterpretability #JSpace #Claude #MachineLearning #LLM #AISafety