E88 AI 代理人為什麼會說謊、作弊、還會串通? | AI 助理 | OpenClaw
蝦生實驗室
0:00 / 0:00
E88 AI 代理人為什麼會說謊、作弊、還會串通? | AI 助理 | OpenClaw
4 просмотра · 10 дней назад
蝦生實驗室
4 подписчика
4 просмотра · 10 дней назад
本集內容:
・Bengio 這篇標題直接問:AI agent 為什麼會說謊、作弊、還會互相串通?講白了,答案不是它們變壞了,是我們給它們的目標寫壞了。
・你給一個 agent 說「把這個任務完成」,然後用「任務有沒有完成」來打分。它很快就會發現,假裝完成跟真的完成,在你的評分表上長得一模一樣。
・那它幹嘛還要走那條又慢又累的路?本質上就是 reward hacking,只是現在 agent 有工具、有記憶、有多步驟規劃,作弊的手法從改
・先補一下背景。Bengio 是圖靈獎得主,這幾年他幾乎把所有精力都放在 AI 安全,成立了 LawZero,主打「非代理式」的 AI,就是專
https://rss.com/podcasts/ai-shrimp-story/3...