Reachy Mini: робот с открытым исходным кодом за $300, который действительно можно взломать — Андр...

Qwen3-TTS работал в режиме реального времени с коэффициентом 0,8: генерация одной секунды аудио занимала 1,2 секунды. Андрес Марафиоти из Hugging Face потратил две недели на исправление этой проблемы. Виновниками были отсутствие потоковой передачи, 500 авторегрессивных шагов на каждый аудиопакет с циклом обработки данных CPU/GPU для каждого, а также динамический кэш ключ-значение, блокирующий компиляцию. Статический кэш ключ-значение плюс захват графа CUDA позволили снизить время работы до 5,8 раз по сравнению с реальным временем, сократив время до первого аудиофайла до менее чем 200 миллисекунд. Платформа — Reachy Mini, робот с открытым исходным кодом стоимостью 300 долларов, который Hugging Face поставила 7500 людям. Он поставляется в разобранном виде. Общение с ним — их самое используемое приложение. Голосовой стек запускает транскрипцию Parakeet каждые 150 миллисекунд с частичной передачей результатов роботу в середине предложения, Qwen 3.5 27B для LLM и этот оптимизированный TTS. При такой скорости время отклика инфраструктуры соответствует задержке модели, поэтому балансировщик нагрузки разделяет конечные точки LLM и узлы диалога, чтобы учесть разницу в объеме общения между разными пользователями.