Главная угроза ИИ, которая правит всеми: Роман Ямпольский | TGS 233

(Разговор записан 1 сентября 2026 г.) Ведущие мировые компании, занимающиеся искусственным интеллектом, утверждают, что сверхинтеллект имеет высокие шансы привести к вымиранию человечества, одновременно обещая, что смогут контролировать его, предоставляя неограниченную власть тому, кто сделает это первым. До сих пор они действовали совершенно бесконтрольно, но изменилось бы это, если бы мы знали, что «безопасный» общий сверхинтеллект на самом деле математически невозможен? В этом эпизоде ​​к Нейту присоединяется доктор Роман Ямпольский, один из первых исследователей в области безопасности ИИ, чтобы объяснить, почему «контролируемый сверхинтеллект» — это ошибочная цель, обреченная привести к созданию сущности, более умной, чем все человечество, — и, возможно, к нашему собственному вымиранию. Он рассматривает недавний случай многоагентного взлома передовых моделей как раннее свидетельство того, что системы ИИ избегают контроля и координируют свои действия вне человеческого сознания, и почему нынешние «меры безопасности» (например, «боксирование») лишь выигрывают время, а не решают основную проблему. Вместо этого Роман выступает за план развития ИИ, который фокусируется на узкоспециализированных, ориентированных на конкретные задачи инструментах ИИ, способных решать сложные проблемы, но не полностью заменяющих людей. Почему предсказуемость и контроль так важны при оценке безопасности внедрения технологии? Является ли дискуссия о безопасности ИИ принципиально новым вызовом для цивилизации или экстремальной версией извечной проблемы контроля над влиятельными субъектами? Наконец, что на самом деле потребуется для достижения глобального соглашения о запрете развития сверхинтеллекта, и не исчерпано ли у нас время? О Романе Ямпольском: Роман Ямпольский, опытный эксперт по ИИ в Университете Луисвилла, является автором более 100 публикаций по вопросам безопасности ИИ, кибербезопасности и цифровой криминалистики. Как основатель и директор Лаборатории кибербезопасности, он обладает обширными знаниями в области безопасности ИИ, поведенческой биометрии, кибербезопасности и других областях, оказывая значительное влияние в академических и медийных кругах. Имея докторскую степень Университета Буффало, он вносил вклад в работу исследовательских институтов по всему миру, а также был удостоен таких наград, как «Выдающийся профессор преподавания». Примечания к выпуску и дополнительная информация: https://www.thegreatsimplification.co... Хотите узнать общий обзор «Великого упрощения» за 30 минут? Посмотрите наш анимационный фильм:    • The Great Simplification | Film on Energy,...   --- Поддержите Институт изучения энергетики и нашего будущего: https://www.thegreatsimplification.co... Подпишитесь на нашу рассылку Substack: https://natehagens.substack.com Присоединяйтесь к нашему каналу Hylo и общайтесь с другими слушателями: https://www.hylo.com/groups/the-great... --- 0:00 Введение 2:43 Инструменты, а не боги 7:49 Почему предсказания терпят неудачу 9:56 Взлом ИИ-агента 13:09 Запрет, а не пауза 17:20 Внутри черного ящика 20:00 Параллели с суперорганизмами 23:19 Хуже, чем Вымирание 25:53 Центры обработки данных, энергетика и климат 28:47 Когда инструменты реорганизуют общество 32:51 Технология Златовласки 35:31 Спасут ли нас ограничения ресурсов? 38:10 Интеллект против мудрости 41:46 Психопатическая система 44:35 Риск икигай 46:51 Не создавайте себе замену 49:37 Заключительные вопросы 52:44 Заключительные титры