DeepSeek V4.1 Flash 및 DeepInfer 대규모 추론 시스템 배포 구조

DeepSeek V4.1 Flash의 대규모 추론 배포 구조를 다룬 기술 해설을 정리했습니다. 비전 인코더·프리필·디코드(E/P/D)를 분리 배포하고, MoE는 전문가 병렬화(EP), 어텐션은 데이터 병렬화(DP)로 묶어 #DP = #EP 구조를 만듭니다. 프리필은 EP2–8/DP2–8, 디코드는 EP64–128/DP64–128의 Wide-EP를 적용하며, 최소 실효 단위는 64 GPU 프리필 + 64 GPU 디코드입니다. 저장 계층은 3FS 분산 파일 시스템과 10+2 소거 코딩으로 구성됩니다. 전용 스토리지 클러스터를 두면서 모든 프리필 노드가 임의의 캐시 접두사를 조회할 수 있게 되어, 프리픽스 어피니티와 로드 밸런싱의 충돌을 완화합니다. KV 캐시는 72시간 이상 보존을 목표로 하며, SWA 바운디드 리플레이는 최신 128 토큰만 재연산해 재연산 비용을 상수 수준으로 고정합니다. 로드 밸런싱은 EPLB, 4개 티어 버킷팅과 이차 비용 모델 기반 동적 청킹, 디코드 DualPath를 결합해 균형 잡힌 오프라인 벤치마크 대비 약 80%의 실효 성능을 목표로 합니다. 연산 측에서는 FP4/MXFP4 저정밀도 포맷, Mega MoE 커널, Zero-overhead 비동기 배치 스케줄러가 GPU 유휴 시간을 줄입니다. DSpark의 가변 길이 투기적 검증은 고정 5개 대비 검증 토큰을 약 30% 줄이면서 동시성 60 운영 포인트에서 처리량 +5.4%, 동시성 96에서 +11.0%를 보고합니다. Rust 기반 deepseek-recipe는 멀티 프로토콜 변환, 구획화 병렬 인코딩, 토큰 ID 기반 태그 식별을 제공합니다. 다만 KV 캐시 관리와 EPLB·프리필/디코드 로드 밸런싱 모듈은 내부 인프라와 결합되어 전체 코드가 공개되지 않았고, 커널 SASS 최적화 세부와 작성자 정보는 확인할 수 없습니다. 출처 DeepInfer/doc/inference_deployment_qa.md at main · deepseek-ai/DeepInfer · GitHub https://github.com/deepseek-ai/DeepIn... ※ 본 영상은 위 원문만을 바탕으로 구성한 설명 영상이며, 전망·추정·루머·회사 관련 주장과 수치는 원문 저자에게 귀속됩니다.