Перейти к содержимому

Простая причина, почему ИИ не может создать суперинтеллект с нуля

80,000 Hours

0:00 / 0:00

Простая причина, почему ИИ не может создать суперинтеллект с нуля

33 981 просмотр · 1 мес. назад
80,000 Hours
96,5 тыс. подписчиков
33 981 просмотр · 1 мес. назад
Системы искусственного интеллекта начинают создавать себя сами. Стандартная теория гласит, что рекурсивное самосовершенствование приведет к сверхинтеллекту. Ведущий Том Рид не считает, что это произойдет. Ничто — даже страна гениев — не становится хорошим в решении проблем без запаса реальных проблем. Для большинства задач в экономике необходимые данные отсутствуют. Они появляются только тогда, когда модель развертывается и кто-то выражает свои предпочтения. Изолированный ИИ, улучшающий себя по сравнению с эталонными показателями, будет лишь казаться приближающимся к сверхинтеллекту, в то время как на самом деле будет оптимизироваться для оценки производительности, которая не может быть обобщена за пределы лаборатории. Моделям ИИ необходимо реальное развертывание по той же причине, по которой телу нужна боль, а корпорациям — прибыль: сигнал является суверенным. Перефразируя знаменитый афоризм экономиста Чарльза Гудхарта: когда показатель становится целью, он перестает быть хорошим показателем. Таким образом, Том утверждает, что результаты исследований и разработок, проводимых изолированным центром обработки данных, состоящим из гениев, будут всего лишь «сингулярностью Гудхарта». Подробнее и полная расшифровка: https://80k.info/goodhart «Сингулярность Гудхарта» первоначально появилась на канале Тома на Substack в мае 2026 года, а эта запись была сделана 26 августа 2026 года. Главы: • Введение (00:00:00) • Практика ведет к совершенству (00:05:05) • Хорошие данные трудно найти (00:08:22) • Моделирование поверхностно (00:13:43) • Как выглядит сингулярность Гудхарта (00:19:04) В состав нашей производственной команды входят: • Видеомонтажеры: Джош Алвард, Доминик Армстронг, Джаспер Луитлен, Майло Макгуайр, Люк Монсур и Саймон Монсур • Продюсеры: Элизабет Кокс и Ник Стоктон • Координация и поддержка: Кэти Мур и Лу Моран • Оператор камеры: Доминик Армстронг