더 오래 생각하면 왜 쉬운 문제에서 틀리는가 — 테스트 타임 컴퓨팅의 확장 법칙과 오버씽킹의 물리학

사전 학습 중심의 패러다임을 넘어 모델의 추론 시간(Test-Time Compute)을 늘려 수학과 코딩 난제를 해결하는 추론 확장 법칙의 핵심 원리를 심층 분석합니다. UC 버클리와 구글 딥마인드가 증명한 검증기 기반 검색(Best-of-N, MCTS)과 순차적 자기 수정(Revision)의 수학적 메커니즘부터, 오픈AI의 프로세스 보상 모델(PRM)이 직면하는 굿하트의 법칙과 보상 해킹 병목을 살펴봅니다. 나아가 ACL 2026 연구가 규명한 오버씽킹(Overthinking) 현상, 즉 쉬운 문제에서 생각 시간을 늘렸을 때 맞히던 정답을 뒤집어버리는 반전 오류(Flip Ratio)의 원인과, 문제 난이도에 따라 사고 예산을 동적으로 조절하는 난이도 인지형 컴퓨팅 최적화 전략을 명쾌하게 짚어봅니다. 출처 Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters https://arxiv.org/abs/2408.03314 When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling https://arxiv.org/abs/2604.10739 Does Thinking More Always Help? Mirage of Test-Time Scaling in Reasoning Models https://arxiv.org/abs/2506.04210 Let's Verify Step by Step https://arxiv.org/abs/2305.20050 Scaling Test-Time Compute Without Verification or RL is Suboptimal https://arxiv.org/abs/2502.12118 Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning https://arxiv.org/abs/2502.18080 A Survey of Test-Time Compute: From Intuitive Inference to Deliberate System-2 Thinking https://arxiv.org/abs/2501.02497 이 영상의 내레이션은 AI 음성 합성으로 제작했습니다. #테스트타임컴퓨팅 #추론확장법칙 #오버씽킹