«Черный ящик» ИИ может быть понятнее, чем мы думаем

Являются ли нейронные сети нечитаемым черным ящиком — или мы используем не те инструменты для их изучения? В этом аудиообсуждении, сопровождаемом комментариями, рассматривается рабочая гипотеза из эссе Ника Каммараты «Нейронные сети уже чисты» на Goodfire. Темы включают нейрон «кошка/машина», рекурсивное обобщение, эксперименты с узким местом, отрицательные активации, двойной отрицательный режим SwiGLU и исследовательскую интерпретируемость. Оригинальное исследовательское эссе: https://already-clean.goodfire.com/ Автор: Ник Каммарата · Goodfire Это аудиообсуждение, сгенерированное ИИ, в паре с синхронизированными слайдами. Оно суммирует и обсуждает аргументы источника; это не запись автора. В эссе представлена ​​рабочая гипотеза, и обсуждение не является независимым подтверждением её утверждений. Разделы 00:00 Вопрос о «черном ящике» 01:30 Суперпозиция и ящик для мелочей 03:30 Кошки, автомобили и V-образный нейрон 05:20 Когда инструменты визуализации вводят в заблуждение 06:25 Рекурсивное обобщение 09:33 Эксперимент с «бутылочным горлом» 480 к 10 11:11 Масштаб модели и более тонкие понятия 12:10 Управление потоком и отрицательные полюса 14:06 Головоломка с Санта-Клаусом 15:10 Слабые активации и семантические окрестности 16:45 SwiGLU и двойные отрицания 19:10 Исследовательская интерпретируемость 21:30 Что означает гипотеза чистой сети #НейронныеСети #ИИ #Интерпретируемость