$$$ Скалолазание - февраль 400$, апрель 500$, июнь 600$. Я рискнул, 32 ГБ V100 SXM2 для LLM (#RAC...

Всё движется в сторону облачных вычислений — цены на компьютерное оборудование продолжают расти, и это, вероятно, будет продолжаться до тех пор, пока востребованы центры обработки данных для ИИ. Именно здесь редко встречается что-то ценное, что ещё не взлетело до небес — речь идёт о снятом с производства ускорителе ИИ Tesla Volta V100 SXM2. При этом цена на эту карту стабильно растёт (примерно с 350 долларов в 2025 году до 600 долларов сегодня). Это возвращает нас к проблеме, которую мы пытаемся решить. Мы хотим экспериментировать с вычислениями ИИ в домашней лаборатории, но из-за стремительного роста цен на графические процессоры возможности загрузки «умных» LLM-моделей в память значительно сокращаются. Ускорители ИИ обеспечивают преимущества — они были разработаны в первую очередь для вывода LLM-моделей, а не для количества кадров в секунду. Я всё ещё ищу ответ на вопрос «что на самом деле может предложить ИИ». Вдохновлённый J.A.R.V.I.S. Тони Старка. – Я взял на себя смелость «прописать» свою версию этого. Этот «персонаж», A.I.D.E.N., был создан из желания сделать ИИ действительно полезным – его «финальная форма» представляет собой нечто гораздо большее, чем просто «чат-бот». Вы увидите, как A.I.D.E.N. проявляет себя всякий раз, когда это уместно. Ответы принадлежат ему, но он остается, по сути, расширенным LLM. -- Аппаратное обеспечение: Итак, как добавить экономичные вычислительные ресурсы для ИИ в вашу домашнюю лабораторию? Вы можете попробовать использовать серверное оборудование DGX, а именно Tesla V100 SXM2 (Server PCI Express Module 2). Итак, как подключить вашу видеокарту SXM2 к рабочей станции? Конечно же, с помощью адаптера SXM2-PCIe! Меня соблазняли 32-гигабайтные AMD Radeon Mi50 (вдвое дешевле 32-гигабайтных V100), но они хуже адаптированы для рабочих процессов ИИ и работают только в Linux (это не плохо, но создает дополнительные сложности). На данный момент я собрал адаптер PCIe, нанес на ядро ​​термопасту Thermal Grizzly Kryonaut (32 ГБ #1) и Duronaut (32 ГБ #2; видео будет позже!) (используя лучший в мире метод нанесения термопасты, который наверняка вызовет улыбку). Затем я нанес термопроводящий силикон для эффективного контакта между силовыми дросселями и MOSFET-транзисторами с медным радиатором. Осталось только расширить границы возможностей ИИ. --- Универсальный бенчмарк LLM, версия 1.0: Вставьте эту универсальную подсказку в вашу любимую LLM, чтобы проверить ее интеллект. Поскольку мы используем одну и ту же подсказку, вы можете сравнить свои результаты с опубликованными мной — это позволит сравнивать результаты на разных системах! https://chatgpt.com/share/69b8a659-8e... --- Сводка данных V100: 16 ГБ V100 SXM2 на PCIe против RTX 3090 Ti: https://racerrrz.com/wp-content/uploa... 32 ГБ V100 SXM2 на PCIe против RTX 3090 Ti: https://racerrrz.com/wp-content/uploa... Сравнение 32GB V100 SXM2 на PCIe и RTX 3090 Ti: https://racerrrz.com/wp-content/uploa... --- Связанные публикации: День 1 - 16GB V100 SXM2 разблокирована:    • Запись   Видео 1 - 16 ГБ V100:    • Запись   Термодинамики -    • Запись   День 30 - 32 ГБ V100 SXM2 разблокирован:    • Запись   ComfyUI:    • Запись   Видео 2: 32 ГБ V100 работает с A.I.D.E.N:    • I Build My Own AI - It Called Itself A.I.D...   Возьмите один или вам нужно два?    • Запись   Видео 3: Установка 32 ГБ V100 - вы здесь. Будущий контент - уточняется --- 🛠 Партнерские ссылки Amazon / Ebay / AliExpress (Обратите внимание: ссылки ведут на Amazon.com, Ebay.com или AliExpress.com. Я получу комиссию, если покупка будет совершена по этим ссылкам. Спасибо.) Tesla V100 SXM2 16 ГБ: https://ebay.us/neSXwl https://s.click.aliexpress.com/e/_c4N... Tesla V100 SXM2 32 ГБ: https://ebay.us/MIIWkZ https://s.click.aliexpress.com/e/_c4N... Tesla V100 SXM2 32 ГБ (только что купил): https://ebay.us/PRk7AZ Адаптер SXM2 на PCIe с вентиляторным охлаждением: https://s.click.aliexpress.com/e/_c3k... С вентиляторным охлаждением Адаптер SXM2 на PCIe с объединительной платой: https://ebay.us/pEqdb2 Термопрокладка: https://amzn.to/4qZnvtv Термопаста Thermal Grizzly Kryonaut: https://amzn.to/45Qqlsa Переходник с 6-контактного разъема GPU на 8-контактный разъем питания GPU: https://amzn.to/4qvzo9y ------ Больше обновлений и подробностей о сборке: 💻   / discord   💻 База данных HSPEC (для комплектующих, обновлений, видеообзоров и многого другого):   / hspecworkst.  .