54 ГБ видеопамяти за 35 долларов: самый дешевый способ запустить ИИ локально?

54 ГБ видеопамяти примерно за 35 долларов звучит как невероятно выгодное предложение для локального ИИ. Один покупатель сообщил, что нашел старую майнинговую ферму с девятью видеокартами NVIDIA P106 6 ГБ — но делает ли это ее практичным способом запуска локальных моделей LLM? В этом видео мы разберем аппаратную часть, стоящую за этим выгодным предложением, и компромиссы, которые имеют значение, когда вы начинаете запускать модели. Мы рассмотрим общий объем видеопамяти по сравнению с пропускной способностью памяти, как работает разделение слоев на несколько графических процессоров в llama.cpp и Ollama, и почему плотные модели и разреженные модели Mixture-of-Experts могут вести себя по-разному на старом оборудовании. Мы также рассматриваем: • Региональную доступность и стоимость восстановления майнинговой фермы • Альтернативы Tesla P100, Tesla P40 и AMD BC-250 • Энергопотребление, охлаждение и стоимость электроэнергии • Быстрая обработка, время запуска и ограничения райзеров PCIe • Настройка Linux и перспективы поддержки программного обеспечения для графических процессоров Pascal Приблизительная цена в 35 долларов США обусловлена ​​покупкой подержанного оборудования одним покупателем по договоренности. 54 ГБ памяти распределены между девятью отдельными картами, поэтому настройка, выбор модели и эксплуатационные расходы являются ключевыми моментами. Вы бы выбрали дешевую майнинговую ферму с большим объемом видеопамяти или одну современную видеокарту? Поделитесь своей конфигурацией и моделями, которые вы хотите использовать, в комментариях. Подпишитесь на RepoChad, чтобы получать практические обзоры локального оборудования для ИИ. Присоединяйтесь к каналу, если хотите поддержать создание новых видео. Разделы: 00:00 - Майнинговая ферма с 54 ГБ видеопамяти за 35 долларов 00:36 - Технические характеристики майнингового оборудования (стр. 106-100) 01:30 - Почему бывшие в употреблении майнинговые видеокарты такие дешевые 02:05 - Как работает разделение слоев в многопроцессорной архитектуре 02:49 - Узкие места пропускной способности памяти в плотных моделях 03:40 - Почему архитектуры MoE превосходят майнинговые фермы 04:51 - Региональная экономика: Россия против США и мировых рынков 05:49 - Лучшие альтернативы подержанному оборудованию (Tesla P100/P40, BC-250) 07:37 - Скрытые компромиссы: энергопотребление, задержка предварительного заполнения и прекращение поддержки программного обеспечения 09:53 - Окончательный вердикт: стоит ли это собирать? #LocalAI #VRAM #MiningGPU