Анжела Шумилова. Тернистый путь к подсчету стоимости токена в железе

Допустим, вы хотите запустить свою LLM. Сколько под неё покупать видеокарт? В таком вопросе разница в оценке очень существенна. При этом однозначного ответа нет ни у NLP-инженеров, ни у ответственных за инфраструктуру, а рецепты фреймворков и вендоров часто противоречат друг другу. Мы прошли этот путь сами: от устройства GPU и «стены памяти» до KV-кэша, MoE и квантизации. Покажем, какие переменные на самом деле влияют на скорость и стоимость инференса и как из этого собрать оценку, которой можно доверять. Расскажем и о том, где формулы пока бессильны. Сайт - https://2026.hardfest.ru/ Презентация — https://disk.360.yandex.ru/d/1gP907wf...