Co-Annotator: использование экспертных знаний ViT и VLM для визуального сопровождения и подготовк...

Co-Annotator: Экспертно-ориентированные ViT и VLM для визуального и документационного сопровождения при возрастной макулярной дегенерации Цзыхэн "Лео" Ли, Бенджамин Фриман, Акшай Раман, Кавин Аравиндхан Раджкумар, Синьсинь Фан, Ришаб Шривастава, Стивен Файнер, Кавери Такур UIST 2026 Видеопревью статьи для UIST 2026 Клинический ИИ часто оптимизирует прогностическую эффективность, не затрагивая то, как врачи решают, куда смотреть и что писать. Мы представляем Co-Annotator, который преобразует экспертный взгляд и диктовку в два компонента сопровождения: визуальный трансформер, синхронизированный со взглядом и создающий области интереса (AOI), синхронизированные с фиксацией взгляда, и визуально-языковую модель (VLM), ограниченную онтологией, которая предварительно заполняет редактируемые сводки биомаркеров для оптической когерентной томографии сетчатки (ОКТ). Сначала мы собираем данные о взгляде экспертов и диктовки (US1) для обучения моделей, что значительно повышает точность диагностики и генерацию биомаркеров. Затем мы внедряем систему с участием ординаторов-офтальмологов: контролируемое исследование с участием ординаторов (US2) подтвердило безопасность и эффективность каждого метода независимо: навигация с использованием AOI обеспечивает устойчивое повышение эффективности восприятия благодаря эффекту переноса после завершения навигации, а навигация с использованием VLM более чем вдвое расширяет охват документации по биомаркерам. При совместном внедрении в двух академических учреждениях (US3) одновременное использование обоих методов привело к повышению эффективности, значительно превышающему эффективность каждого метода по отдельности: количество правильных диагнозов в минуту увеличилось на 40%, а время редактирования комментариев сократилось на 67%, без ущерба для точности диагностики. Примечательно, что ни один из методов не повысил эффективность во время навигации в US2, что делает повышение эффективности во время навигации при комбинированной навигации в US3 более впечатляющим результатом. Экспертно-ориентированная многомодальная навигация может одновременно устранить два отдельных узких места в клиническом рабочем процессе (издержки на визуальный поиск и бремя документации) без ущерба для точности диагностики, уже достигнутой врачами. Веб-сайт: https://programs.sigchi.org/uist/2026...