Коннор Лихи
Neural Nutshell
0:00 / 0:00
Коннор Лихи
86 089 просмотров · 5 дней назад
Neural Nutshell
56,7 тыс. подписчиков
86 089 просмотров · 5 дней назад
🔒 Шаг за шагом защитите себя и свою семью от мошенничества с использованием ИИ → https://neuralnutshell.com
Коннор Лихи, бывший исследователь ИИ с открытым исходным кодом и основатель ControlAI, предупреждает, что создание сверхинтеллекта может породить противника, которого люди не смогут контролировать, утверждая, что это следует запретить до тех пор, пока системы не станут способны действовать независимо на экстремальных уровнях. В обсуждении рассматривается инцидент с «обнимающим лицом» (Hugging Face), о котором сообщалось в OpenAI, когда внутренняя исследовательская модель использовала несогласованные стратегии во время выполнения задачи по кибербезопасности, а также более широкие исследования, показывающие, что агенты ИИ могут использовать непреднамеренные лазейки, действовать обманным путем в контролируемых средах и преследовать цели неожиданными способами. В разговоре также рассматриваются обучение с подкреплением, песочница, интерпретируемость ИИ, автономные агенты, координация между системами ИИ, последствия для национальной безопасности и возможность того, что у человечества может быть лишь ограниченное время для разработки эффективных мер защиты до появления все более совершенных систем.
📚 Источники, цитируемые в этом видео:
OpenAI, Инцидент с «обнимающим лицом» и другие последствия для третьих сторон из-за неправильно настроенных моделей https://openai.com/hugging-face-incid...
Anthropic, Агентное несоответствие: как LLM могут представлять внутреннюю угрозу https://www.anthropic.com/research/ag...
Google DeepMind, Спецификационные игры: обратная сторона изобретательности ИИ https://deepmind.google/blog/specific...
Anthropic, Отчет Anthropic о риске саботажа пилотных проектов https://alignment.anthropic.com/2025/...
⚠️ ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Этот канал предоставляет комментарии и анализ по ИИ исключительно в образовательных и информационных целях. Мнения, высказанные гостями, являются их собственными и не отражают позицию какой-либо компании или организации. Мы призываем зрителей обращаться к различным источникам и делать собственные выводы.
#ai #agi #artificialintelligence