Перейти к содержимому

4x GPU в 1U🔥 | Обзор Supermicro SYS-120GQ-TNRT

ServerFlow - серверы и серверные комплектующие

0:00 / 0:00

4x GPU в 1U🔥 | Обзор Supermicro SYS-120GQ-TNRT

12 926 просмотров · 3 месяца назад
ServerFlow - серверы и серверные комплектующие
32,8 тыс. подписчиков
12 926 просмотров · 3 месяца назад
В этом видео мы рассматриваем GPU-сервер Supermicro SYS-120GQ-TNRT — одну из самых необычных и плотных 1U платформ для ускорителей NVIDIA. Несмотря на компактный форм-фактор, сервер позволяет установить до четырёх полноценных GPU и предназначен для задач искусственного интеллекта, инференса LLM, машинного обучения, HPC-вычислений и рендеринга. Мы разберём сервер до винтика: изучим материнскую плату Supermicro X12DGQ-R, систему охлаждения, подсистему питания, установим видеокарты NVIDIA A100 и посмотрим, как инженерам Supermicro удалось разместить четыре ускорителя в корпусе высотой всего 1U. Во второй части ролика проводим полноценное тестирование сервера в задачах искусственного интеллекта. Для проверки запускаем серию практических тестов на модели MiniMax 2.7 229B. Проверяем возможности платформы в задачах инференса, генерации кода, анализа данных и проектирования инфраструктуры. Сегодня GPU серверы используются далеко не только для обучения нейросетей. Они становятся основой локальных LLM, корпоративных агентных AI-систем, инференса больших языковых моделей и других задач искусственного интеллекта. На примере Supermicro SYS-120GQ-TNRT разбираемся, какие возможности может дать платформа с четырьмя NVIDIA A100 80GB и для каких сценариев такой сервер действительно имеет смысл. Таймкоды: 00:00 - Введение 00:40 - Распаковка 02:15 - Смотрим на сервер 03:00 - Материнская плата X12DGQ-R 03:40 - Охлаждение 03:52 - Установка GPU 04:59 - ASMR защёлкивание GPU 05:51 - NVLink и обучение ИИ 07:30 - Блоки питания 08:13 - Корзина 2SFF NVMe 08:59 - Устанавливаем CPU и RAM для тестов 09:24 - Шум и энергопотребление 10:40 - Свой холодный коридор 11:26 - Наш бенчмарк SFbench 11:52 - Выбор ИИ-модели для тестов 13:09 - Нейротест №1: финансовый трекер 14:13 - Нейротест №2: разработка 3D-шутера 14:57 - Нейротест №3: межпланетный перелёт 15:42 - Нейротест №4: карточка товара 16:50 - Нейротест №5: проектирование ЦОД 18:58 - Сколько джунов заменит такой сервер? Наша телега - https://clck.ru/3RoQDu Наш SFBench - https://bench.serverflow.ru/ Блог ServerFlow - https://serverflow.ru/blog/