Вся правда о скрытых расходах на локальный ИИ
Coding Horizon
0:00 / 0:00
Вся правда о скрытых расходах на локальный ИИ
1 058 просмотров · 12 часов назад
Coding Horizon
2,63 тыс. подписчиков
1 058 просмотров · 12 часов назад
В локальном ИИ нет платы за каждый запрос, но компьютер, отвечающий на него, может стоить тысячи долларов. Подвох в том, как быстро это оборудование окупится.
Локальная модель может ответить на вопрос по программированию без использования облачного счетчика, но стоимость машины, электроэнергии, времени настройки и ограничений памяти должна быть включена в счет. Видеокарта мощностью 575 Вт при четырех часах работы в день обходится примерно в 12,40 долларов в месяц при примерной цене 0,18 доллара за киловатт-час, не считая остальных расходов на компьютер. Еще больший сюрприз вызывает то, как долго новая машина может обходиться дешевле, чем тариф за 20 долларов в месяц. Проанализируйте одну обычную задачу программирования с учетом различных вариантов оборудования и посмотрите, когда локальный ИИ — это выгодное приобретение, а когда — дорогое хобби.
0:00 Почему бесплатный ответ не бесплатный
0:38 Что на самом деле означает «бесплатно»
1:53 Память — это плата за вход
3:33 RTX 5090 и её счёт за электроэнергию
5:33 Компьютер с Ryzen AI Max+ на 128 ГБ
7:28 Mac Studio Premium
9:29 Локальное оборудование против тарифа за 20 долларов
11:31 Счёт, измеренный по вечерам
13:27 Вердикт
Смотрите далее:
Почему карты на 12 ГБ достаточно для большинства локальных моделей - • Local AI: Best Models On 12GB VRAM
Компьютер за 1000 долларов, на который указывает эта математика - • The Best Local AI Hardware For $1000
Mac Mini против RTX 5090 для той же задачи - • Mac Mini vs RTX 5090: Which For Local AI?
Источники и расчеты: https://codinghorizon.dev/the-real-co...
@CodingHorizon на X: https://x.com/CodingHorizon
Повествование синтезировано.