Xem đáp án để học? Cách AI tự học suy luận: STaR, GRPO, DAPO

Một mô hình chỉ 7 tỷ tham số giải được hơn nửa bộ đề toán MATH, gần bằng GPT-4. Bí quyết: AI tự giải bài, tự lọc lời giải đúng rồi tự học lại từ chính bài làm của mình. Tập 6 của series "Đơn giản hóa AI" kể lại ba bước tiến của vòng lặp tự học: STaR (xem đáp án rồi giải thích ngược), GRPO của DeepSeekMath (chấm điểm theo nhóm, như chấm theo đường cong) và DAPO (bốn mẹo đưa điểm AIME từ 30 lên 50). 📌 Mục lục 00:00 Mô hình 7 tỷ giải hơn nửa đề MATH 00:16 Nghĩ lâu và giám khảo: mỗi lần lại nghĩ từ đầu 00:31 Mở rộng lúc huấn luyện: vòng lặp tự học 00:45 Hiệu quả nhất với toán và lập trình 00:59 Ba bước tiến của vòng lặp tự học 01:21 Lời giải từng bước rất hiếm 01:32 STaR: AI tự học suy luận 01:48 Bài không giải được thì sao? 01:58 Mẹo: xem đáp án rồi giải thích ngược 02:14 Ví dụ: để nho ở đâu? 02:29 Ba giả định của STaR 02:44 Kết quả: 6 tỷ ngang mô hình gấp 30 lần 02:57 Giới hạn của STaR 03:11 Bước 2: DeepSeekMath 03:24 Giỏi lập trình thì học toán tốt hơn 03:36 PPO cần bốn mô hình 03:51 GRPO: chấm điểm theo nhóm 04:07 Như chấm điểm theo đường cong 04:21 Kết quả: vượt mốc 50% MATH 04:36 Nhất quán hơn, chưa thông minh hơn 04:52 Điểm yếu của GRPO 05:05 Bước 3: DAPO 05:21 Ba căn bệnh khi học tăng cường 05:33 Mẹo 1: nới trần cho ý tưởng mới 05:51 Mẹo 2: chỉ học từ đề vừa sức 06:07 Mẹo 3: tính điểm theo từng chữ 06:21 Mẹo 4: xử lý bài viết quá dài 06:36 Từ 30 lên 50 điểm 06:53 Bài học từ DAPO 07:10 Nhìn lại ba bước tiến 07:25 Khi nào học từ mẫu, khi nào học tăng cường? 07:38 Những câu hỏi còn bỏ ngỏ 07:54 Quay lại mô hình 7 tỷ tham số 📚 Nguồn tham khảo E. Zelikman và cộng sự (2022), STaR: Bootstrapping Reasoning With Reasoning (Stanford) Z. Shao và cộng sự (2024), DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO) Q. Yu và cộng sự (2025), DAPO: An Open-Source LLM Reinforcement Learning System at Scale (ByteDance Seed, Đại học Thanh Hoa) OpenAI (2024), Learning to Reason with LLMs (o1) DeepSeek-AI (2025), DeepSeek-R1 Các bộ đánh giá: MATH, AIME, CommonsenseQA ▶️ Tập 1: Từ cỗ máy đoán chữ đến tác tử AI    • AI tự giỏi lên bằng cách nào? Từ đoán chữ ...   ▶️ Tập 2: Số đông có luôn đúng?    • Số đông có luôn đúng? Cách AI tìm 3 lời gi...   ▶️ Tập 3: Đáp số đúng mà vẫn sai?    • Đáp số đúng mà vẫn sai? Cách dạy AI chấm b...   ▶️ Tập 4: AI có 3 người thầy?    • AI có 3 người thầy? Cách AI tự giỏi lên nh...   ▶️ Tập 5: Sai một bước hỏng cả kế hoạch?    • Sai một bước hỏng cả kế hoạch? Cách AI lập...   ▶️ Trọn series Đơn giản hóa AI:    • Đơn Giản Hóa AI   ℹ️ Video mang tính giáo dục, giải thích các ý tưởng nghiên cứu về AI bằng ngôn ngữ dễ hiểu; số liệu dẫn theo các công bố nêu trên, có thể đã được cập nhật. Video không quảng cáo cho sản phẩm AI nào. Video có sử dụng công cụ AI hỗ trợ hình ảnh/âm thanh. Kịch bản và biên tập: Hàn Lâm Bình Dân. #AI #TríTuệNhânTạo #HànLâmBìnhDân