ИИ не выходит из-под контроля, это мы плохо даем инструкции

Присоединяйтесь к списку ожидания Clarity open source harness: https://heyclarity.dev/ Создавайте ИИ, который действительно работает: https://heyclarity.dev/ Подписка на рассылку Self Aligned: https://www.selfaligned.me/ 1200 агентов OpenAI обменялись 70 000 сообщениями, взломали Hugging Face и получили административный доступ к исследовательскому кластеру OpenAI, а интернет назвал это цивилизацией. Это была не цивилизация, а небрежная цель и ленивый оценщик. Я поговорил со своим соучредителем Джонатаном об инциденте с Hugging Face в OpenAI и о том, почему называние роя агентов цивилизацией отвлекает внимание от проблемы, которую нам действительно нужно решить. Разгром Анила Сета вирусного эссе Дваркеш Пателя, почему исследователи ИИ — не те эксперты в вопросах человеческих целей, два случая, когда цели едва не совпали во время Карибского кризиса, доказывающие, что согласование целей всегда было проблемой человека, и тест из двух вопросов для любого заголовка, вызывающего панику в связи с ИИ. Если вы разработчик ИИ или руководитель технологической компании, чьи агенты постоянно делают то, о чём вы не просили, вам обязательно нужно это посмотреть. Временные метки: 00:00 1200 агентов и ленивый оценщик 00:31 Взлёт и падение древних цивилизаций 01:32 Анил Сет: агенты не умирают 03:57 Почему важен язык 05:23 Дваркеш отвечает 09:03 Берни Сандерс хочет паузы 13:07 Проблема заключалась в определении цели 16:08 Согласование целей против согласования ценностей 19:28 Исследователи ИИ — не те эксперты 23:43 Объяснение преднамеренной позиции 28:20 Два случая, когда удалось избежать столкновения во время Карибского кризиса 34:31 Мультяшная версия человека 37:24 Фактологичность: 10 инстинктов, искажающих новости 43:01 Обычная технология или асимметричная угроза? 45:02 Ваша иммунная система, сеющая страх 45:56 Заключение Подписывайтесь на Роберта: Instagram ►   / therobertta   TikTok ►   / therobertta_   LinkedIn ►   / therobertta   X ► https://x.com/therobertta_ Substack ► https://robertta.substack.com/ Подписывайтесь на Джонатана: LinkedIn ►   / jmccoy