VoxLock удаляет все голоса, кроме вашего (а потом я его сломал)

VoxLock — это модель с открытым исходным кодом, занимающая 27 МБ памяти, которая удаляет голоса других участников разговора до того, как их услышит программа преобразования речи в текст. По результатам измерений автора: частота ошибок распознавания слов составляет 4,95% против 23,21% без обработки в бенчмарке Krisp. Я запускал программу на процессоре своего ноутбука, а затем доводил её до сбоя: разговор с тремя участниками, более громкий прерыватель, хинди и бенгальский заменитель ассамского. Что я обнаружил (мои запуски, синтезированные голоса, отдельные фрагменты, не бенчмарк): Разговор на простом английском: от 5,3% до 0,0% ошибок распознавания слов (средний уровень шепота) Более громкий прерыватель, настройки по умолчанию: он зафиксировался на неправильном голосе (от 70,2% до 61,4%); с параметром --sample: 40,4% Хинди: ситуация ухудшилась (от 52,9% до 70,6%); На карточке модели указано: «Только английский». Ассамский: НЕ тестировалось (нет озвучки на ассамском языке); Бенгальский используется только в качестве замены В режиме реального времени на одном потоке ЦП: коэффициент реального времени 1,17 / 0,85 / 0,72 при интервалах 20 / 40 / 80 мс Разделы 0:00 Зацепка 0:34 Что такое VoxLock 1:53 Установка и первый запуск 2:55 Заявленные результаты бенчмарка 4:16 Мой разговор втроём 6:04 Стресс-тест 8:19 Хинди и ассамский 10:55 В режиме реального времени на ноутбуке 12:07 Вердикт Источники GitHub: https://github.com/arbazsiddiqui/voxlock Модель: https://huggingface.co/arbazsiddiqui/... Пространство для работы в режиме реального времени: https://huggingface.co/spaces/arbazsi... Статья: https://arxiv.org/abs/2610.40727 Установка: pip install voxlock Примечание: озвучка — мой клонированный голос, созданный с помощью ИИ; голоса звонящих и прерывающих в тестовых ситуациях — это синтезированные голоса, полученные с помощью преобразования текста в речь; на миниатюре используется сгенерированное ИИ изображение меня. Получите Hostinger: https://www.hostg.xyz/SHJiu Купон "PROMPT" на скидку 10% 🔗 Свяжитесь со мной: Электронная почта → prompt.engineer48.alerts@gmail.com Ko-fi → https://ko-fi.com/promptengineer Patreon →   / promptengineer975   Записаться на консультацию → https://calendly.com/prompt-engineer4... GitHub → https://github.com/PromptEngineer48 Twitter/X →   / prompt48   Веб-сайт → https://promptengineer48.com/