4x GPU в 1U🔥 | Обзор Supermicro SYS-120GQ-TNRT
ServerFlow - серверы и серверные комплектующие
0:00 / 0:00
4x GPU в 1U🔥 | Обзор Supermicro SYS-120GQ-TNRT
12 926 просмотров · 3 месяца назад
ServerFlow - серверы и серверные комплектующие
32,8 тыс. подписчиков
12 926 просмотров · 3 месяца назад
В этом видео мы рассматриваем GPU-сервер Supermicro SYS-120GQ-TNRT — одну из самых необычных и плотных 1U платформ для ускорителей NVIDIA. Несмотря на компактный форм-фактор, сервер позволяет установить до четырёх полноценных GPU и предназначен для задач искусственного интеллекта, инференса LLM, машинного обучения, HPC-вычислений и рендеринга.
Мы разберём сервер до винтика: изучим материнскую плату Supermicro X12DGQ-R, систему охлаждения, подсистему питания, установим видеокарты NVIDIA A100 и посмотрим, как инженерам Supermicro удалось разместить четыре ускорителя в корпусе высотой всего 1U.
Во второй части ролика проводим полноценное тестирование сервера в задачах искусственного интеллекта. Для проверки запускаем серию практических тестов на модели MiniMax 2.7 229B. Проверяем возможности платформы в задачах инференса, генерации кода, анализа данных и проектирования инфраструктуры.
Сегодня GPU серверы используются далеко не только для обучения нейросетей. Они становятся основой локальных LLM, корпоративных агентных AI-систем, инференса больших языковых моделей и других задач искусственного интеллекта. На примере Supermicro SYS-120GQ-TNRT разбираемся, какие возможности может дать платформа с четырьмя NVIDIA A100 80GB и для каких сценариев такой сервер действительно имеет смысл.
Таймкоды:
00:00 - Введение
00:40 - Распаковка
02:15 - Смотрим на сервер
03:00 - Материнская плата X12DGQ-R
03:40 - Охлаждение
03:52 - Установка GPU
04:59 - ASMR защёлкивание GPU
05:51 - NVLink и обучение ИИ
07:30 - Блоки питания
08:13 - Корзина 2SFF NVMe
08:59 - Устанавливаем CPU и RAM для тестов
09:24 - Шум и энергопотребление
10:40 - Свой холодный коридор
11:26 - Наш бенчмарк SFbench
11:52 - Выбор ИИ-модели для тестов
13:09 - Нейротест №1: финансовый трекер
14:13 - Нейротест №2: разработка 3D-шутера
14:57 - Нейротест №3: межпланетный перелёт
15:42 - Нейротест №4: карточка товара
16:50 - Нейротест №5: проектирование ЦОД
18:58 - Сколько джунов заменит такой сервер?
Наша телега - https://clck.ru/3RoQDu
Наш SFBench - https://bench.serverflow.ru/
Блог ServerFlow - https://serverflow.ru/blog/