COLM 2026 в Сан-Франциско. Способны ли инструменты безопасности ИИ распознать манипуляцию? 1000 ч...

Искусственный интеллект, который незаметно подталкивает вас к покупке спонсируемой добавки или к использованию его в качестве источника эмоциональной поддержки, может никогда не сказать ни одной ложной вещи. Так как же система безопасности узнает, что она изменила ваше мнение? В этом видео Екатерина Новикова беседует с Джоселин Шен — научным сотрудником Google DeepMind, доктором философии из MIT Media Lab — о её статье «Скрытый кукловод: прогнозирование изменения убеждений человека в манипулятивных диалогах между людьми с использованием языкового моделирования». Работа представлена ​​на COLM 2026 (Третья ежегодная конференция по языковому моделированию). Джоселин и её соавторы представляют PUPPET — таксономию эмоционального манипулирования в разговорах между людьми и людьми с использованием языкового моделирования. Она основана на двух измерениях, которые игнорируются в большинстве предыдущих работ: моральность скрытого стимула (вредный или просоциальный) и степень персонализации манипуляции. Затем они провели исследование, в котором более 1000 участников общались с манипулятивными и неманипулятивными агентами на повседневные вопросы, и измерили, насколько сильно изменились убеждения людей. Что мы рассматриваем: Почему манипуляция может быть «просоциальной» — и почему это всё ещё манипуляция Почему ни одна из существующих автоматических метрик манипуляции не предсказывает реальные изменения убеждений людей Почему GPT-4o и DeepSeek недооценивают изменение убеждений, в то время как Gemini и Llama переоценивают его Почему «окей, окей» в чате так сложно прочитать как моделям, так и людям Как таксономия может помочь в разработке пользовательских инструментов, раскрывающих скрытые мотивы ИИ На чём настаивали рецензенты COLM и почему измерение убеждений является самой сложной частью этой работы ССЫЛКИ: Статья: https://arxiv.org/abs/2603.20907 Набор данных: https://github.com/mitmedialab/llm-ma... Women in AI Research (WiAIR) публикует беседы с женщинами-исследователями об их работе — методах, результатах и ​​открытых вопросах, лежащих в их основе. #AISafety #LLM #NLProc #WiAIR #WiAIRpodcast