COLM 2026 в Сан-Франциско | Судьи-LLM не видят «AI-мусор». А люди видят.

Все говорят о «некачественном контенте, созданном ИИ», но можно ли его измерить на практике? 🤔 В этом эпизоде ​​WiAIR, записанном в прямом эфире в COLM, Екатерина Новикова беседует с Шанталь Шаиб, постдоком из MIT, работающей над ИИ и писательством, о её постере, посвящённом измерению некачественного контента, созданного ИИ, в тексте. Оксфордский словарь описывает некачественный контент как низкокачественную, неточную или нежелательную информацию. Но как выглядит «нежелательная» информация в тексте, которую можно вычислить? Шанталь и её коллеги из Северо-восточного университета, Университета Стоунибрук и Meta AI опросили 19 экспертов в области журналистики, писательства, лингвистики, обработки естественного языка и философии, чтобы создать первую измеримую таксономию некачественного контента. Затем они наняли профессиональных корректоров с многолетним опытом работы для аннотирования некачественного контента в текстах, сгенерированных ИИ. Результаты удивительны: 🔹 Неточность — это НЕ то же самое, что обнаружение текста с помощью ИИ 🔹 Эксперты пометили 34% текстов как неточность, в то время как GPT-5, DeepSeek V3 и o3-mini отметили только 3–8% 🔹 Даже с примерами и полным руководством по аннотированию, эксперты LLM значительно отстают от экспертов-людей 🔹 Простая модель, использующая только синтаксические особенности, превзошла другие в предсказании неточности, что указывает на то, что люди подсознательно улавливают повторяющуюся структуру 🔹 Что считается неточностью, зависит от предметной области и назначения текста Статья — Измерение «неточности» ИИ в тексте, https://arxiv.org/abs/2509.19163 Если вы занимаетесь оценкой, используете LLM в качестве эксперта или заботитесь о качестве того, что пишут модели, эта работа для вас. ⏱️ Временные метки 00:00 Прямая трансляция из COLM 🎙️ 00:11 Что именно представляет собой «некачественный текст, созданный ИИ»? 00:50 Почему некачественный текст ≠ текст, сгенерированный ИИ 01:15 19 экспертов, 1 таксономия: как было определено некачественное текстовое описание 01:40 3 столпа некачественного текста: полезность, качество, стиль 02:15 Корректоры против текста, созданного ИИ (и несуществующий учёный-климатолог) 03:15 Почему некачественный текст выглядит по-разному в новостях и в вопросах и ответах 03:45 Проверка судей LLM 04:15 Люди: 34%. GPT-5: 8%. Большая разница 05:00 Неожиданный победитель: функции, основанные только на синтаксисе 🧠 06:17 Некачественный текст против галлюцинаций: где проходит граница? 06:53 Пересекаются ли категории «помёта»? 07:54 Подождите… а некоторым людям действительно НРАВИТСЯ «помёт»? 08:53 Эксперты вообще пришли к согласию относительно того, что такое «помёт»? 09:25 От словарного определения до измеримых характеристик 09:58 Почему каждая компания, занимающаяся ИИ, должна этим интересоваться 10:38 Что дальше: масштабирование исследований «помёта» для обычных читателей 🔔 Присоединяйтесь к сообществу WiAIR и подпишитесь, чтобы получать больше бесед с женщинами, формирующими исследования в области ИИ. 👇 Вы заметили «помёт», который пропускают судьи LLM? Расскажите нам в комментариях! #AISlop #LLM #NLP #LLMasaJudge #AIResearch #COLM #WomenInAI #MachineLearning #AIEvaluation #WiAIR #WiAIRpodcast