От случайности до 85%: учим аудио-LLM распознавать нарушения речи

Название, авторы и учреждения *Название:* Расширение больших аудио-языковых моделей низкоуровневыми акустическими признаками для обнаружения дизартрической речи *Авторы:* Махди Амири (1,2), Хатеф Отроши Шахреза (1), Паскаль Фроссар (2) и Ина Кодраси (1) *Учреждения (на момент написания):* 1. Научно-исследовательский институт Idiap, Швейцария 2. Федеральная политехническая школа Лозанны (EPFL), Швейцария --- Какую проблему пыталась решить статья Традиционная диагностика дизартрии основана на трудоемких и дорогостоящих аудиологических перцептивных обследованиях, проводимых логопедами. Хотя существуют методы автоматического обнаружения с использованием глубокого обучения, в современных больших аудио-языковых моделях (LALM) в основном используются семантические аудиокодировщики (такие как Whisper), которые игнорируют низкоуровневые акустические вариации, имеющие решающее значение для диагностики моторных речевых расстройств. Предыдущие попытки адаптировать LALM для обнаружения дизартрической речи либо показывали худшие результаты по сравнению с традиционными базовыми моделями глубокого обучения, либо требовали использования внешних классификаторов. В данной статье рассматривается проблема обеспечения возможности создания LALM с открытым исходным кодом для прямого, сквозного обнаружения дизартрической речи без использования отдельного классификатора. В чем заключаются ключевые новые идеи статьи? Авторы представляют *структуру контролируемой тонкой настройки с расширением признаков**, которая передает низкоуровневые акустические дескрипторы и метаданные диктора непосредственно в текстовую подсказку LALM вместе с необработанными записями речи. Вместо преобразования признаков в дискретные категориальные метки, метод использует точные числовые значения клинических акустических маркеров — в частности, **среднее значение и стандартное отклонение высоты тона**, **среднее значение и стандартное отклонение громкости**, **отношение гармоник к шуму (HNR)* и *скорость речи* — извлеченные с помощью OpenSMILE. Кроме того, текстовые подсказки дополняются демографическими метаданными говорящего (такими как пол и язык речи), чтобы обеспечить более полный контекст для рассуждений модели. Какую архитектуру или метод они используют? В рамках этого подхода применяется *контролируемая тонкая настройка (SFT)* с использованием функции потерь кросс-энтропии по токенам ответа для классификации образцов речи на нейротипичные (класс 0) или дизартрические (класс 1) категории. Авторы оценивают две архитектуры LALM с открытым исходным кодом: *Qwen2-Audio-7B-Instruct* (построенную на кодировщике Whisper-large-v3 и Qwen-7B LLM с адаптерами Low-Rank Adaptation (LoRA), применяемыми ко всем линейным слоям) и *Phi-4-multimodal-instruct* (использующую смесь LoRA с выделенным рангом LoRA для речи 320). Акустические дескрипторы рассчитываются с помощью инструмента извлечения *OpenSMILE**. Конвейер обработки данных был проверен на испанских речевых записях из набора данных **PC-GITA* (включающего пациентов с болезнью Паркинсона и здоровых контрольных субъектов) с использованием 10-кратной перекрестной проверки. Почему эта статья важна В статье показано, что, хотя неадаптированные LALM-модели показывают результаты лишь на уровне *случайности в условиях нулевого обучения* (точность ~50–51%), их тонкая настройка с помощью явного расширения акустических признаков обеспечивает *передовые результаты* (точность до 85,0% с Qwen2-Audio), превосходя сильные самообучающиеся базовые модели, такие как wav2vec 2.0 и XLS-R. Доказывается, что семантические аудиокодировщики в LALM-моделях могут быть эффективно дополнены текстовыми акустическими подсказками без необходимости сложной переработки архитектуры. Кроме того, расширение признаков значительно снижает вариативность производительности в разных наборах данных, делая прогнозы модели более надежными и стабильными. Каковы потенциальные области применения *Поддержка принятия клинических решений:* Помощь логопедам путем предоставления автоматизированных инструментов скрининга для сокращения времени диагностики, затрат и рабочей нагрузки в здравоохранении. *Ранняя неврологическая диагностика:* Служит ранним неинвазивным индикатором нейродегенеративных заболеваний, влияющих на моторику речи, таких как болезнь Паркинсона или боковой амиотрофический склероз (БАС). *Дистанционная и домашняя диагностика:* Обеспечивает работу приложений для мониторинга речи и инструментов дистанционной диагностики, способных оценивать голосовые записи непосредственно в неклинических условиях. Краткое изложение исследования, основанное на шаблоне, созданном человеком, и видео были сгенерированы с помощью Google Gemini Notebook 16 октября 2026 года.