TechPotreb — Епізод 5: Локальні LLM на власному залізі — від ESP32 за $8 до кластера NVIDIA та M5...

У 5-му епізоді подкасту TP ми занурюємося у світ розгортання локальних мовних моделей (LLM) на власному залізі! Чи має сенс витрачати тисячі доларів на потужні робочі станції, коли хмарні токени дешевшають щодня? Ігор та Антон розбирають економіку локального AI, квантування, MoE-архітектури та реальні сетапи — від мікроконтролера за $8 до суперкомп'ютерних кластерів.