트랜스포머 추론 기초 — Prefill, Decode, KV 캐시

챗봇은 긴 질문을 순식간에 읽는데, 답은 왜 한 글자씩 쓸까요? 토큰과 임베딩부터 RMSNorm, 어텐션(Q·K·V), RoPE, Residual, FFN을 거쳐 프리필 vs 디코드, TTFT/TPOT, KV 캐시 메모리 계산, GQA, 그리고 온디바이스에서 이게 왜 중요한지까지 초보자 눈높이로 정리했습니다. 화면 속 숫자는 모두 이해를 돕는 예시입니다. 📝 블로그 정리글: https://kjoh94.github.io/blog/2026/10... ⏱ 챕터 0:00 훅 — 읽기는 빠르고 쓰기는 느리다? 0:30 오늘의 지도 0:54 전체 큰 루프 — Prefill과 Decode 2:08 토큰과 임베딩 2:39 한 층 안의 구조 2:59 RMSNorm 3:18 어텐션 Q·K·V 4:08 RoPE 4:33 Residual과 FFN 5:04 프리필과 TTFT 5:33 디코드와 메모리 병목 6:32 KV 캐시 7:22 GQA 7:47 왜 온디바이스에서 중요할까 8:06 정리 + 다음 편(양자화) 📚 참고 논문 Vaswani et al., 2017. Attention Is All You Need. arXiv:1706.03762 Zhang & Sennrich, 2019. Root Mean Square Layer Normalization. arXiv:1910.07467 Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864 He et al., 2015. Deep Residual Learning for Image Recognition. arXiv:1512.03385 Shazeer, 2020. GLU Variants Improve Transformer. arXiv:2002.05202 Ainslie et al., 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. arXiv:2305.13245 Pope et al., 2022. Efficiently Scaling Transformer Inference. arXiv:2211.05102 #LLM #KVCache #OnDeviceAI #AI기초