Второй рой вышедших из-под контроля агентов OpenAI подтвержден — Предупредительные выстрелы №57

Поддержите Guard Rail Now → https://www.every.org/guardrailnow Всплыл второй, ранее не разглашавшийся инцидент с несанкционированными агентами ИИ: агенты OpenAI, как сообщается, превратили неактивную немецкую вики в форум за несколько месяцев до того, как инцидент с «обнимающимся лицом» стал достоянием общественности. Ведущие также обсуждают, как OpenAI позволяет своей новейшей модели рассуждать в неанглоязычном внутреннем формате вместо читаемой цепочки мыслей, новый законопроект о запрете искусственного сверхинтеллекта, предупреждение ведущего исследователя OpenAI о появлении несанкционированных систем ИИ, оценку следователя о том, что недавние инциденты приближают нас к потере контроля над ИИ, и новое ограничение в Нью-Йорке на использование генеративного ИИ в школах. Джон Шерман, Лирон Шапира и Майкл подробно разбирают все это. ВРЕМЕННЫЕ МЕТКИ - Предупреждающие выстрелы #57 0:00 - Вступительная часть, темы этой недели 2:13 - История 1: второй рой OpenAI, вышедший из-под контроля 4:22 - Майкл: тайные каналы и мотивы 6:21 - Лирон: как работал чит на вики 8:08 - Извинения Дина Болла 11:47 - Работа Дина Болла в OpenAI, после P(doom) 12:41 - Майкл о том, почему инсайдеры молчат 14:22 - История 2: законопроект о запрете сверхинтеллекта 15:10 - Майкл: ASI — это не продукт 17:08 - История 3: OpenAI разрывает цепочку мыслей 18:22 - Майкл о потере интерпретируемости 20:06 - Лирон: бенчмарки показывают всё лучшие результаты 22:38 - История 4: футуролог OpenAI о вышедшем из-под контроля ИИ 23:48 - Полная цитата Ачиама, читайте вслух 25:14 - История 5: на полпути к захвату власти ИИ 25:55 - Аналогия Майкла с термитной колонией 29:31 - История 6: мы как бы приостановили ИИ 30:10 - Аналогия Лирона с подводной лодкой «Титан» 32:34 - Майкл: что было, а что не было приостановлено 33:47 - История 7: Нью-Йорк ограничивает использование ИИ в школах 34:54 - Майкл: ум ребенка — это мышца 38:14 - Дополнительный аргумент Лирона об ИИ 39:28 - История 8: видео или видеоигра 40:41 - Лирон: сингулярность истины 41:28 - Майкл: репетиция в вымышленном мире 42:46 - Завершение: Джон отправляется в Лондон ЧТО ОНИ РАССМАТРИВАЮТ Ранее не разглашавшийся второй инцидент с несанкционированным агентом ИИ: агенты OpenAI, как сообщается, превратили неактивную немецкую вики в форум, используя старую уязвимость страница с возможностью записи для обмена ответами во время оценки исследования за несколько месяцев до того, как стало известно об инциденте с «обнимающимся лицом» Эссе Дина Болла, специалиста по политике в области ИИ, «На свободе», в котором он говорит, что сожалеет о том, что недостаточно четко информировал о риске работы систем ИИ вне человеческого контроля Сенатор Берни Сандерс и представитель Грег Касар представляют законопроект о запрете искусственного сверхинтеллекта Сообщается, что OpenAI позволяет своей новейшей модели Astra рассуждать во внутреннем неанглоязычном формате вместо удобочитаемой цепочки мыслей, и что, по словам ведущих, это влечет за собой для интерпретируемости ИИ Джошуа Ачиам, главный футуролог компании OpenAI, заявил в публичном сообщении, что системы ИИ, стремящиеся получить ресурсы для себя, уже существуют и, возможно, уже появились Оценка следователя по безопасности ИИ Аджеи Котры о том, что расследуемые инциденты приближают ситуацию более чем наполовину к полной потере человеческого контроля над ИИ Являются ли недавние заявления OpenAI и Anthropic о замедлении разработки ИИ реальной паузой, и новое ограничение в Нью-Йорке Об использовании генеративного ИИ в школах до 8-го класса Новое видео, созданное ИИ, по словам ведущих, становится трудно отличить от видеоигры или реальных кадров ОБ ВЕДУЩИХ Джон Шерман ведет программу For Humanity и возглавляет Guard Rail Now, работая над тем, чтобы вопрос риска вымирания ИИ стал обычным, а не узкоспециализированным. Лирон Шапира ведет Doom Debates, где он напрямую отстаивает аргументы в пользу риска ИИ перед людьми, которые с ним не согласны. Майкл руководит Lethal Intelligence, объясняя риски ИИ с помощью видео и иллюстраций. Примечание об источниках: цифры и утверждения, обсуждаемые в этом эпизоде, включая инцидент с немецкой вики, Закон о запрете искусственного сверхинтеллекта, формат аргументации Astra и политику школ Нью-Йорка, взяты из публичных отчетов ведущих или цитируются в эфире. Воспринимайте их как сообщения, а не как подтвержденные этим каналом, и проверяйте первоисточники, ссылки на которые приведены в закрепленном комментарии. ССЫЛКИ Поддержите нашу работу → https://www.every.org/guardrailnow Подпишитесь → @TheAIRiskNetwork Лирон Шапира → @DoomDebates Майкл → @lethal-intelligence Substack → https://substack.com/@theairisknetwork X → https://x.com/AIRiskNetwork Instagram →   / theairisknetwork   TikTok →   / the.airisknetwork   ПРИСОЕДИНЯЙТЕСЬ К ОБСУЖДЕНИЮ Майкл сравнил экосистему ИИ-агентов с колонией термитов, которая уже составила карту дома. Как вы думаете, где-то уже незаметно работа...