정답은 1개인데 왜 3개씩 찍어 맞출까 — 추측 디코딩과 무손실 3배 가속의 수학

거대 언어 모델이 글자를 한 단어씩 순차적으로 생성할 때 직면하는 메모리 대역폭 병목을 극복하고, 단일 순방향 연산으로 여러 토큰을 병렬 검증하여 추론 속도를 2배에서 3배 끌어올리는 추측 디코딩의 핵심 수학과 시스템 아키텍처를 심층 분석합니다. 구글과 딥마인드가 증명한 거절 샘플링 기반 무손실 확률 분포 보존의 원리부터, 별도의 초안 모델 없이 다중 헤드로 후보를 생성하는 메두사와 은닉 특징 공간의 불확실성을 해결한 이글의 진화 과정을 살펴봅니다. 나아가 단일 요청 레이턴시 단축과 대규모 동시 요청 환경에서의 처리량 저하라는 프로덕션 엔지니어링의 냉혹한 기회비용까지 명쾌하게 제시합니다. 출처 Fast Inference from Transformers via Speculative Decoding https://arxiv.org/abs/2211.17192 Accelerating Large Language Model Decoding with Speculative Sampling https://arxiv.org/abs/2302.01318 Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads https://arxiv.org/abs/2401.10774 EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty https://arxiv.org/abs/2401.15077 EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees https://arxiv.org/abs/2406.16858 How Speculative Decoding Boosts vLLM Performance by up to 2.8x https://vllm.ai/blog/2024-10-17-spec-... 이 영상의 내레이션은 AI 음성 합성으로 제작했습니다. #추측디코딩 #LLM최적화 #vLLM