OpenAI создала GPT-Red, чтобы взломать собственный ИИ

Что происходит, когда ИИ обучают атаковать другой ИИ? В этой презентации с голосовым сопровождением рассматривается GPT-Red от OpenAI, автоматизированное тестирование на проникновение и самотестирование как способ усиления защиты ИИ. Мы подробно разбираем прямую и косвенную инъекцию подсказок, цикл обучения «атакующий-защитник», три оси масштабирования, уточнение времени вывода, атаки с поддельной цепочкой мыслей, вывод PIN-кода, атаки на мультимодальные чеки и пример с торговым автоматом Vendy. В заключительной части обсуждаются устойчивость защитника и ограничения человеческого контроля. Основано на предоставленной презентации «GPT-Red: автоматизированное тестирование на проникновение с помощью самотестирования в масштабе» и сопровождающем её голосовом сопровождении. Голосовое сопровождение сгенерировано ИИ. #GPTRed #AISafety #PromptInjection