모델 양자화 — 전구 하나로 생각하는 법

숫자를 절반만 정밀하게 적었는데, 인공지능의 답은 거의 그대로였습니다. 가장 큰 모델은 매개변수가 수조 개라 데이터센터 밖으로 나오지 못하지만, 수백억 개짜리 모델은 양자화하면 일반 PC급 기기에서도 돌아갑니다. 64기가바이트 맥미니 한 대에 큐웬·젬마·노타 1.58비트 모델을 비트 수별로 올려 본 실험에서 출발해, 뇌가 전구 하나의 전력으로 생각하는 이치, 전문가 혼합과 추측 디코딩, 그리고 지능을 데이터가 있는 현장으로 보내는 전방 배치와 FDE, 국방·의료·기술주권까지 이야기합니다. #양자화 #모델양자화 #온디바이스AI #Qwen #큐웬 #Gemma #젬마 #노타 #NotaAI #로컬LLM #FDE #국방AI 🔗 원문: https://haseong.github.io/blog/2026/1... 📍 챕터 0:00 여는 이야기: 주머니 속의 음악 0:46 반으로 깎아도 남는 것 2:56 어디까지 덜어낼 수 있나 4:24 전부를 쓰지 않는 지능 5:59 지능이 머무는 장소 7:21 고객의 일을 기준으로 8:57 국방과 의료, 그리고 주권 10:21 맺는 이야기: 버린 것은 숫자였다