Я обучил Qwen 4B с помощью обучения с подкреплением (RL), чтобы догнать Qwen 27B

Может ли RL-среда заставить модель 4B конкурировать с 27B? Мои эксперименты с открытыми RL-средами (GRPO, LoRA, DGX) В этом видео я проверяю, могут ли открытые RL-среды заставить небольшую модель работать ближе к гораздо большей, обучая Qwen 3.5 4B (с LoRA) на задачах RL в стиле Kaggle с «малыми данными» на двух DGX Spark и сравнивая с Qwen 27B на отложенном экзамене. Я объясняю, что такое RL-среды (песочница, инструменты, проверка), почему необходима строгая проверка, чтобы избежать взлома вознаграждения, и как работает GRPO, обучаясь только на задачах, в которых модель иногда дает правильные ответы. После слабого прироста от случайных задач я отфильтровываю «граничные» задачи и получаю явное улучшение, сокращая разрыв более чем наполовину, в основном за счет обучения модели завершать и отвечать правильно. Дальнейшее RL достигает потолка, поэтому я пробую дистилляцию из 27B, а затем RL сверху, что дает лучшие результаты на неизвестных наборах данных. Я делюсь своими выводами и выкладываю код, читы и рецепты на GitHub. Благодарим FireCrawl за спонсорство этого видео: Firecrawl, контекстный API для агентов ИИ (бесплатный уровень для начала работы) https://firecrawl.link/promptengineer 💻 Код: инструмент для проверки, строгий чеклер, скрипты обучения и результаты https://github.com/PromtEngineer/smol... 📚 Ресурсы SmolDataEnvs (среды RL): https://huggingface.co/datasets/FineE... FineEnvs: https://github.com/adithya-s-k/FineEnvs Qwen3.5-4B: https://huggingface.co/Qwen/Qwen3.5-4B Qwen3.5-27B: https://huggingface.co/Qwen/Qwen3.5-27B TRL GRPO Trainer: https://huggingface.co/docs/trl/grpo_... NVIDIA DGX Spark: https://www.nvidia.com/en-us/products... Xiaomi MiMo-V2.6 (открытые среды обучения с подкреплением): https://mimo.mi.com/docs/en-US/news/l... TechCrunch о средах обучения с подкреплением: https://techcrunch.com/2025/09/21/sil... Веб-сайт: https://engineerprompt.ai/ Курс RAG Beyond Basics: https://prompt-s-site.thinkific.com/c... Давайте общаться: 🦾 Discord:   / discord   ☕ Купите меня Кофе: https://ko-fi.com/promptengineering |🔴 Patreon:   / promptengineering   💼 Консалтинг: https://calendly.com/engineerprompt/c... 📧 Контакт для деловых вопросов: engineerprompt@gmail.com Стать участником: http://tinyurl.com/y5h28s6h 💻 Предварительно настроенная виртуальная машина localGPT: https://bit.ly/localGPT (используйте код: PromptEngineering для скидки 50%). Подпишитесь на новостную рассылку localgpt: https://tally.so/r/3y9bb0 00:00 Может ли RL сократить разрыв 01:24 Что такое среды RL 02:45 Взлом вознаграждения и шашки 03:37 Где RL в обучении 04:32 GRPO и Learning Signal 05:17 Настройка оборудования и базовые показатели 06:18 Sponsor Firecrawl 07:51 Обучение на граничных задачах 09:39 Запуски до и после 11:37 Почему прогресс останавливается 12:38 Дистилляция из 27B 13:51 Пример лучшей комбинированной модели 14:52 Выводы и заключение