이거 모르고 장비 사면 돈 날립니다 | 로컬 LLM 현실 + 구축 가이드 (AMD R9700 + Hermes)

클라우드 구독료도, 토큰비도, 데이터 유출 걱정도 없이, 워크스테이션 PC 한 대로 AI 에이전트를 완전히 로컬로 돌려봅니다. "로컬 LLM, 뭐부터 시작하지?" 노트북·미니PC로는 맛보기만 되고, 제대로 굴리려면 결국 전용 PC 한 대가 필요합니다. 이 영상은 입문자가 헤매지 않도록 ① 어떤 장비를 고르고 ② 어떤 기준으로 모델을 정하고 ③ 예산을 어떻게 키워 나갈지를, AMD Radeon AI PRO R9700 32GB 실측으로 정직하게 정리했습니다. 그리고 그 위에 Hermes 에이전트를 얹어, 웹 검색부터 파일 작성·편집까지 스스로 해내는 나만의 로컬 비서를 만들어 봅니다. ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 🖥️ 오늘의 실측 장비 (AMD 협찬) ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ • CPU: AMD EPYC 4585PX (16코어 · 3D V-Cache) • GPU: AMD Radeon AI PRO R9700 32GB (RDNA4 · Navi 48) • "지금 제일 좋은 모델을 돌릴 수 있는 가장 저렴한 32GB 카드" — 5090 대비 가격, 5080 대비 VRAM 🛒 EPYC 4585PX 구매/특가: https://www.compuzone.co.kr/product/p... ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ ⚡ AMD AI PC Launcher — 원클릭 셋업 ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 영상처럼 직접 세팅하는 게 부담스럽다면, AMD 시스템용 원클릭 런처가 있습니다. 버튼 하나로 로컬 모델 다운로드 → Hermes 에이전트 연결 → 웹 검색·문서 도구·텔레그램 봇 연동까지 자동으로. Windows 사용자에게 특히 쉬운 시작점입니다. 🔗 GitHub: https://github.com/iamchobosalsal/ai_... ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ ⏱️ 타임스탬프 ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 00:00 인트로 02:06 오늘의 길잡이 3단계 03:27 파라미터 'B'의 의미 04:24 VRAM 등급표 06:33 가격 현실 & 장비 스펙 12:19 양자화(Q4)와 필요 VRAM 공식 13:17 내 장비에 맞는 모델 찾기 (which-llm) 16:29 토큰·MoE·Dense 개념 잡기 19:23 모델 고르는 순서 & 컨텍스트(KV 캐시) 20:51 속도의 구조(프리필·TTFT·디코드) & 측정 5축 23:06 성능 절벽 구간 & 한국어·라이선스 정리 26:10 LM Studio 소개·설치 & AMD ROCm 31:39 모델 다운로드·로드 & 추론 서버 띄우기 33:20 LM Link — 노트북·모바일에서 원격 사용 41:48 Hermes 에이전트 연동 (커스텀 엔드포인트) 48:15 실전 대결 준비 — 오늘 겨룰 모델들 53:32 Gemma3 30B 55:02 Qwen3 30B (MoE) 61:05 Qwen3.6 27B (Dense) 67:17 Qwen3.6 35B (MoE) 71:44 GLM 4.7·카나나2·엑사원 77:51 GPT-OSS 20B 80:28 결론 — 되는 것 vs 안 되는 것 83:06 아웃트로 — 예산 기준점 & AMD AI PC 런처 ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 영상에서 테스트한 로컬 LLM (전부 Q4) ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ • gpt-oss-20b (OpenAI · MoE 20B) — 속도·에이전트 완주 균형 1위, 이 장비의 주력 https://huggingface.co/openai/gpt-oss... • Qwen3-30B-A3B (Alibaba · MoE 30B) — 32GB의 가치를 증명하는 MoE, Apache 2.0 https://huggingface.co/Qwen/Qwen3-30B... • Qwen3.6-27B (Alibaba · Dense 27B) — 최신 세대 Dense 플래그십, Apache 2.0 https://huggingface.co/Qwen/Qwen3.6-27B • Qwen3.6-35B-A3B (Alibaba · MoE 35B) — 더 큰데 더 빠른 MoE, Apache 2.0 https://huggingface.co/Qwen/Qwen3.6-3... • kanana-2-30b-a3b (카카오 · MoE 30B) — 국산 한국어 에이전트 유력주 https://huggingface.co/kakaocorp/kana... • EXAONE-4.0-32B (LG AI · Dense 32B) — 한국어 표현 품질 실측 1위 https://huggingface.co/LGAI-EXAONE/EX... • Gemma 4 31B (Google · Dense 31B) — 관심도 높은 신규 플래그십 https://huggingface.co/google/gemma-4... • GLM-4.7-Flash (z.ai · MoE 30B) — "30B급 최강"을 자처한 화제작, MIT https://huggingface.co/zai-org/GLM-4.... ※ 라이선스는 상업 사용 전 각 모델 카드에서 반드시 확인하세요 (kanana·EXAONE은 비상업 조건 주의). ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 인프런 강의 — Hermes × Codex ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 이 영상에서 로컬 LLM에 얹은 Hermes 에이전트, 더 깊게 다뤄보고 싶다면? 멀티에이전트로 나만의 가상 회사에 AI 직원을 직접 고용하고, 24시간 돌아가는 자동화 회사를 만드는 전체 과정을 인프런 강의에서 만나보실 수 있습니다. 🎓 인프런 강의 (Hermes × Codex) : https://inf.run/GodUp ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 🔧 영상에서 다룬 도구 & 링크 ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ • LM Studio — 로컬 LLM 실행기 (헤드리스 CLI·LM Link 원격) https://lmstudio.ai • Hermes Agent (Nous Research) — 로컬에 얹은 AI 에이전트 https://hermes-agent.nousresearch.com • whichllm — 내 하드웨어에 맞는 모델을 벤치 기준으로 추천해주는 라이브러리 https://github.com/Andyyyy64/whichllm • AMD ROCm — AMD GPU용 AI 연산 스택 (NVIDIA CUDA에 대응) https://rocm.docs.amd.com • Hugging Face — 오픈웨이트 모델 배포처 (위 8개 모델 다운로드) https://huggingface.co 💡 카카오 오픈 채팅방 [실전AI] 커뮤니티 https://open.kakao.com/o/gURfTmqh 🌐 단테랩스 홈페이지 https://dante-labs.com --- ⁉️ 클라우드 서버가 필요하다면 — Hostinger VPS 로컬이 아닌 원격 서버로 24시간 에이전트를 돌리고 싶다면, 제가 쓰는 Hostinger VPS를 추천합니다. 전용 CPU·RAM에 루트 권한까지, 성능 대비 가격이 좋아 Docker 배포·자동화 운영에 잘 맞습니다. Hostinger VPS : https://hostinger.com/dante-labs10 쿠폰 코드: DANTE-LABS (12개월 이상 플랜 구매 시 10% 추가 할인) #로컬LLM #AMD #Radeon #R9700 #LMStudio #Hermes #AI에이전트 #오픈소스LLM #gptoss #Qwen #EXAONE #온디바이스AI #ROCm #단테랩스