Модели рассуждений с нуля: chain of thought, RL, GRPO и DeepSeek-R1 (курс на 1 час)

Как модели рассуждений «думают», прежде чем ответить? В этом часовом курсе у доски мы пройдём путь от chain of thought до современных reasoning-моделей: test-time compute, голосование большинством, верификаторы, поиск, обучение с подкреплением с проверяемыми наградами, GRPO, разобранный вручную, DeepSeek-R1 и R1-Zero, дистилляция и бюджеты на размышления. Без сложной математики — только рисунки и небольшие разобранные примеры. 0:00 Подумать, прежде чем ответить 3:11 Chain of thought (цепочка рассуждений) 6:16 Test-time compute: новая ось масштабирования 9:26 Много попыток: голосование большинством и self-consistency 12:32 Верификаторы и process reward models 16:06 Поиск по рассуждениям 19:27 Учимся рассуждать с помощью обучения с подкреплением 22:42 Проверяемые награды 26:00 GRPO: трюк с группой, разобранный вручную 29:27 R1-Zero: рассуждения на чистом RL 32:55 Полный рецепт обучения R1 36:17 Дистилляция: маленькие модели, которые рассуждают 39:32 Бюджеты на размышления 42:41 Слишком много и слишком мало размышлений 45:42 Честны ли рассуждения модели? 48:37 Где рассуждения помогают, а где нет 51:33 Итоги часа #ReasoningModels #LLM #DeepSeek #AI #MachineLearning #ReinforcementLearning #GRPO #ChainOfThought #AIExplained #fyp #viral #viralvideo #fypシ