왜 나의 프롬프트 캐시는 매번 깨지는가 — 라딕스 어텐션의 물리학과 프리픽스 엔지니어링

거대 언어 모델의 추론 비용을 최대 90% 절감하고 첫 토큰 지연 시간(TTFT)을 극적으로 단축하는 프롬프트 캐싱의 내부 메커니즘과 실무 실패 요인을 심층 분석합니다. 운영체제의 가상 메모리 페이징을 차용한 vLLM의 PagedAttention부터, 요청 간 공통 접두사를 트리로 관리하는 SGLang의 RadixAttention과 MIT의 어텐션 싱크 원리를 수학적·구조적으로 살펴봅니다. 나아가 타임스탬프와 사용자 ID 등 동적 변수 주입으로 인한 접두사 해시 불일치, JSON 도구 스키마의 무작위 직렬화, 최소 토큰 임계값 미달, 동시성 폭증에 따른 LRU 캐시 스래싱 등 프로덕션 환경에서 캐시 적중률이 0%로 추락하는 치명적 실패 모드와 이를 해결하기 위한 정적·동적 분리 배치 및 일관성 라우팅 설계법을 명쾌하게 제시합니다. 출처 SGLang: Efficient Execution of Structured Language Model Programs https://arxiv.org/abs/2312.07104 Efficient Memory Management for Large Language Model Serving with PagedAttention https://arxiv.org/abs/2309.06180 Efficient Streaming Language Models with Attention Sinks https://arxiv.org/abs/2309.17453 Prompt caching with the Claude API https://platform.claude.com/docs/en/b... Prompt caching | OpenAI API Guides https://developers.openai.com/api/doc... H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models https://arxiv.org/abs/2306.14048 이 영상의 내레이션은 AI 음성 합성으로 제작했습니다. #프롬프트캐싱 #라딕스어텐션 #LLM서빙