Скрытая физика LLM: извлечение как термодинамика

Чтобы подать заявку на участие в моей программе индивидуального наставничества/интенсива: https://compu-flair.com/bootcamp В этом видео вы увидите наглядный, основанный на физике способ понять, как большие языковые модели на самом деле генерируют ответы, выходящие за рамки метафоры «просто автозаполнения». Объяснение рассматривает большую языковую модель как многомерный ландшафт (своего рода фазовое пространство), где ваш запрос задает начальную позицию, а модель «двигается» по вероятностям к стабильному ответу. Вы узнаете, как механизм внимания действует как направляющая, которая выделяет то, что важно в контексте, как функция softmax преобразует оценки «подгонки» в распределение вероятностей (подобно идеям статистической физики) и почему один и тот же запрос может давать разные результаты в разных запусках. В видеоролике также подробно разбирается, какие изменения температуры действительно происходят (исследование против согласованности), почему подробные подсказки сужают диапазон возможных ответов, как метод генерации с использованием дополненной информации (RAG) работает как внешнее ограничение, которое смещает модель в сторону обоснованных фактов, и почему галлюцинации возникают, когда модель не имеет прочных связей с реальностью. Мои бесплатные ресурсы: Бесплатный курс по науке о данных и машинному обучению: https://compu-flair.com/physics-inspi... Мой специальный канал на YouTube с руководствами по трудоустройству в сфере науки о данных: 🔗    / @ardavanborzou   📺 Разделы 00:00 - Общая картина: ландшафт, а не база данных 02:18 - От векторных представлений слов к «фазовому пространству» (без пугающих моментов) 03:34 - Микроскопический против макроскопического: почему один токен имеет много значений 04:49 - Многообразие: долины, гребни и почему некоторые ответы кажутся «натянутыми» 05:35 - Внимание: как модель решает, что важно прямо сейчас 06:35 - Softmax как «функция разбиения»: превращение релевантности в вероятности 08:16 - Температура: Ручка «теплового шума», которую вы действительно можете почувствовать 09:12 - Контекст как «сужение ансамбля»: почему больше деталей уменьшает странность 09:52 - Поиск (RAG) как статистический запрос: добавление внешнего поля 11:37 - Галлюцинации как состояния с высокой энтропией: когда ландшафт слишком плоский 12:53 - Принцип минимальной «свободной энергии»: почему ответы кажутся такими, будто модель хочет уменьшить неожиданность 13:47 - Почему этот взгляд важен: лучшие инструменты, лучшие ожидания 14:49 - Будущее: проектирование моделей так же, как мы проектируем физические системы