Перейти к содержимому

AIに嘘を教えたのは、◯◯◯だった|ハルシネーションと生成AI【ゆっくり解説】

ゆっくり論文部

0:00 / 0:00

AIに嘘を教えたのは、◯◯◯だった|ハルシネーションと生成AI【ゆっくり解説】

285 просмотров · 8 дней назад
ゆっくり論文部
53 подписчика
285 просмотров · 8 дней назад
実在しない判例を6件も裁判所に出してしまった弁護士がいて、しかもこの人はAIに「この判例は本物か」と聞き返して確認までしていたのに、返ってきたのは「確かに存在する」という、嘘の上に重ねられたもう一つの嘘でした。AIがなぜ、知らないことについて黙らずに、自信満々の作り話を返してくるのか、その理由をOpenAIの研究者たちが2025年9月に公開した論文から読み解きます。 生成AIを調べものに使っていて、たまに嘘をつかれた経験がある人と、賢くなっても嘘が無くならないのはなぜかが気になっている人に向けた回で、最後に、今日から使えるAIへの聞き方を1つだけ紹介しています(9:52から)。 ■ 数字と研究の但し書き ・元にした論文はarXivのプレプリント(v1)で、査読を通ったものではありません。定理と証明が中心の理論の論文で、実験の報告ではありません ・論文は嘘が生まれる原因をいくつも挙げていて、この動画はそのうちの1つだけを取り上げています(3:52から説明しています) ・「わかりません」の割合と誤答率・正答率の数字(1%対52%/75%対26%/24%対22%)は、論文本文ではなくOpenAIの公式ブログに載っている表のもので、出典はGPT-5のシステムカードです。2機種を並べた比較であって、片方がもう片方を作り変えた結果ではありません(6:23から) ・弁護士の制裁金5,000ドルは、弁護士2名と事務所の3者に対する連帯での金額で、1人あたりではありません(3:06から) ・時価総額1,000億ドルはロイターの算出で、アルファベットが公式に認めた数字ではありません(0:34から) ・顔のすり替えに気づかなかった87%は「試行」を数えた割合で、参加者の87%という意味ではありません(8:35から) ・人間とAIで似ているのは「自信満々に、嘘だと気づかないまま、それらしい話を作る」という症状までで、仕組みが同じという研究はありません(8:07から) ・ラジオ司会者の件は、記事を読んだ記者が1時間半で嘘だと確かめたため、実害に届く前に人間が止めています(9:35から) ■ ゆっくり論文部 論文を読んで、解説します。たまに、論文以外の話もします。 面白かったら、チャンネル登録してもらえると次を作る励みになります。    / @yukkuri_ronbunbu   ■ 元にした論文 Kalai, Nachum, Vempala, Zhang「Why Language Models Hallucinate」arXiv:2509.04664(2025年9月4日) https://arxiv.org/abs/2509.04664 OpenAI 公式ブログ「Why language models hallucinate」(2025年9月5日・上の表の出どころ) https://openai.com/index/why-language... Johansson, Hall, Sikström, Olsson「Failure to Detect Mismatches Between Intention and Outcome in a Simple Decision Task」Science 310, 116-119(2005年) DOI: 10.1126/science.1111709 Mata v. Avianca 判決(ニューヨーク南部地区連邦地方裁判所・2023年6月22日) Walters v. OpenAI 判決(ジョージア州グウィネット郡上位裁判所・2025年5月19日) Google Bardのデモの誤答と時価総額(ロイター 2023年2月8日) ■ お借りしたもの 立ち絵:きつねゆっくり 背景:みんちりえ BGM:なんでしょう?(KK)/ほのぼのワルツ【リコーダー】(エクシエ・nc116360)/野良猫は宇宙を目指した(しゃろう) #ゆっくり解説 #論文解説 #ハルシネーション