Перейти к содержимому

DRAM을 늘릴까, VRAM을 늘릴까? Strata 대형 모델, RTX PRO 6000 96GB로 성능 비교해 봤습니다

소울시커 Soul Seeker

0:00 / 0:00

DRAM을 늘릴까, VRAM을 늘릴까? Strata 대형 모델, RTX PRO 6000 96GB로 성능 비교해 봤습니다

10 403 просмотра · 11 ч назад
소울시커 Soul Seeker
20,1 тыс. подписчиков
10 403 просмотра · 11 ч назад
RTX PRO 6000 Blackwell 96GB를 장착하고 Strata 엔진으로 대형 로컬 LLM(Qwen, GLM, Deepseek)을 돌려봤습니다. 지난 RTX 5090 + DRAM 192GB 영상과 같은 환경에서 VRAM이 늘어나면 토큰 속도가 얼마나 달라지는지 실측했습니다. ▶ 핵심 요약 Qwen 3.8 Flash Next 8비트: 디코딩 약 150 t/s, 프리필 약 4000 (5090 대비 디코딩 약 3배) GLM 5.3 Flash (Maya L): 디코딩 약 50 t/s, 프리필 약 3000 (5090에서는 20도 안 나왔음) Deepseek V4.1 Flash XQ V4: 디코딩 약 47 t/s, 프리필은 여전히 아쉬움 VRAM을 37GB밖에 안 쓰던 문제는 윈도우 가상 메모리(페이지 파일) 확장으로 해결했습니다. 해결 후 디코딩이 60 → 150 t/s로 올라갔습니다. Strata는 DRAM이 클수록 더 큰 모델을, VRAM이 클수록 더 빠르게 돌릴 수 있습니다. Qwen 3.8 Flash Next가 유독 빠른 이유는 MOE 활성 파라메터가 훨씬 낮아서 입니다. 나는 5090 아닌데도 qwne3.8 FN 100t/s넘게 나오는데? 싶으신 분들은 Q8 모델로 돌려보시길 바랍니다. 현재 Qwen 3.8 Flash Next는 Xolotl 버전으로 돌리면 DRAM이 100GB언더로 돌아갑니다. 근데 Poly Strata나 혹은 Project Maya쪽 strata엔진으로 돌리면 160GB가 사용되네요. 아마 레시피 이슈가 있나 봅니다. ※ 22:04~22:39 구간의 Deepseek 관련 설명은 고정댓글에서 정정/보충했습니다. 꼭 확인해 주세요. ※ 본 영상에 사용된 192GB 메모리(Biwin Origin Code Vortex DDR5-6000 CL26)는 코잇에서 대여한 제품이며, 금전적 대가는 받지 않았습니다. ━━━━━━━━━━━━━━━ 이 채널이 더 알려졌으면 하시는 분들은 "구독" "좋아요" "Hype" 부탁드립니다. ━━━━━━━━━━━━━━━ ⏱️ 타임라인 (Timeline) ━━━━━━━━━━━━━━━ 00:00 오프닝 - RTX PRO 6000 Blackwell 96GB 장착 & 테스트 목적 00:58 오늘 돌려볼 모델 & 엔진 소개 (Qwen 3.8 Flash Next Q8 / GLM 5.3 Flash Maya L / Deepseek V4.1 Flash XQ V4) 01:43 Deepseek XQ V3 지능 저하 이슈, XQ V4로 교체한 이유 03:00 Qwen 3.8 Flash Next 8비트 모델 벤치마크 및 윈도우 가상 메모리(페이징) 설정[cite: 1] 04:42 Strata 벤치 실행 - VRAM을 37GB밖에 안 쓰는 문제 발견 및 해결(가상 메모리 이슈) 08:29 Qwen 3.8 Flash Next 벤치 결과 09:12 낮은 VRAM에서도 돌아가지만, 높은 VRAM이면 더 빠르다 10:33 GLM 5.3 Flash (Maya L) 혼합 가중치 모델 벤치마크 및 성능 검증 14:28 Deepseek V4.1 Flash (XQ V4) 혼합 가중치 모델 벤치마크 17:21 모델별 지능 테스트 - 동일 프롬프트로 게임 개발 17:35 AI 코딩 테스트 1: Qwen 3.8 Flash Next (Q8) 모델 기반 게임 개발 19:21 AI 코딩 테스트 2: GLM 5.3 Flash (Maya L) 모델 기반 게임 개발 21:26 AI 코딩 테스트 3: Deepseek V4.1 Flash (XQ V4) 모델 기반 게임 개발 24:04 총평 - VRAM 증설에 따른 Strata 환경 성능 차이 요약 26:06 엔딩 및 중요포인트 ━━━━━━━━━━━━━━━ 💡 관련 영상 (재생목록 :    • AI & LLM   ) ━━━━━━━━━━━━━━━    • 홈 로컬 AI (LLM) 구축을 위한 사전 준비 | 메인보드 잘 선택 하기      • 비싼 그래픽카드로 게임만? 로컬 AI를 돌려보자 / gemma4, qwen3.6      • 로컬 AI 전력소비, 생각한 것 보다 적은데? 왜 그럴까? 실측결과 및 결과분석      • VRAM만 중요한줄 알았더니.. CPU가 OFFLOAD 방식 로컬 AI 성능...      • 이거하려고 NVIDIA 50 시리즈 모두 모았다... 로컬 AI성능 전수 테...      • 5090 가격의 ⅓인데 로컬 AI 성능은? R9700 (VRAM 32GB) ...      • RTX 5090, R9700 부터 혼종 듀얼 GPU까지, 그래픽카드 16종 ...      • GPU 성능을 최대로 활용하는 llama.cpp 완전 가이드 | 설치·KV캐...      • 좀 더 똑똑 해지는 로컬 AI 설정법!! 웹 검색 MCP 서버 연동 가이드 ...      • 말 한마디에 게임이 만들어지는 시대! 로컬 AI도 된다? 에이전트 기능 활용...      • 토큰비용 0원? 유료 구독 없이 로컬 AI로만 바이브 코딩 어디까지 가능할까...      • 로컬 AI 구축 최대의 적, 무한루프 결국 이렇게 해결했습니다 (Local ...      • 로컬 AI 환경에서 Hermes Agent 응답 속도 '강제 소생' 하는 최...      • AI 에이전트 + 통합개발환경(IDE) MCP Server 연동 / 툴콜링 ...      • 메타(META)의 30B 오픈웨이트 신모델 쓸만할까? 6시간동안 직접 돌려본...      • 엔비디아가 새로 출시한 로컬 LLM 모델 컨텍스트가 무려 100만? 성능은?...      • 고작 27B로 이정도나 된다고? 로컬 AI, 이 모델 빼고 다 지웠습니다 /...      • 성능은 좋은데 답변이 느리다? Qwen 3.8 27B 속도 개선 총정리      • 5090 가격의 ⅓ 인텔 GPU도 로컬AI 가능? B70 (VRAM 32GB...      • [Local AI News] 신규 맥스튜디오 출시, Qwen 3.8 Flas...      • 1629만원짜리 1.2TB/s 메모리 대역폭의 Mac Studio 구매 준비...      • 인텔 B70 GPU 3장 꽂아서 VULKAN으로 Qwen 3.8 FLASH ...      • RTX 5090 + 인텔 ARC B70 성능 다른 혼종 구성?! 2 GPU ...      • Qwen 3.8 27B Q6 CUDA 가능한 가성비 끝판왕 세팅으로 LLM ...      • Fable 5.1? GPT-6 Astra? 그거 말고 Muse Spark 1...      • AI로 크로스바(XBAR) 오버클럭 툴 직접 만들어 보자고 급발진 한 후 생긴일      • 5090 업자매입가 730만원? RTX PRO 5500 출시? M6 Mac ...      • RTX 5090 단 2장으로 이게 된다고? Qwen3.8 Flash Next...      • 저용량 VRAM GPU 사용 가능? 초경량 로컬 AI 모델 Bonsai 2 ...      • 대형 로컬 AI 모델 새로운 패러다임급 변화가 시작됐다. RTX 3060로도...      • AI하려면 PC 뭘 사야 하죠? 클라우드 vs 에이전트 vs 로컬LLM 총정리      • DRAM 128GB로도 부족했다: 192GB로 Poly Stara·Proje...      • DRAM을 늘릴까, VRAM을 늘릴까? Strata 대형 모델, RTX PR...   ━━━━━━━━━━━━━━━ #RTXPRO6000 #Strata #로컬LLM #Deepseek #GLM #로컬AI #LLM #Qwen #GLM #워크스테이션 #오버클럭 #소울시커 ━━━━━━━━━━━━━━━ [멤버쉽 혜택 안내] 영상 공개 작업 완료 전 영상이 전체 공개일정보다 빠른 시간에 회원 전용으로 미리 업로드 될 수 있으며 멤버쉽 회원은 이러한 영상을 미리 시청하실 수 있습니다.    / @s0ul_seeker   [댓글 질문 가이드] 유튜브 채널 관리 프로그램의 댓글확인 인터페이스에 따라 "댓글이 달리지 않은 글"을 모아 볼 수 있는데 이 때 "대댓글"은 포함되지 않습니다. 중요한 내용은 "대댓글" 말고 "새 댓글"로 작성해 주셔야 빠른 확인이 가능합니다. 답변 받으신분들은 좋아요 한번씩..