70年前は会話もできなかったAIが、なぜここまで賢くなったのか?【ゆっくり解説】
AI解剖【ゆっくり解説】
0:00 / 0:00
70年前は会話もできなかったAIが、なぜここまで賢くなったのか?【ゆっくり解説】
567 просмотров · 4 ч назад
AI解剖【ゆっくり解説】
1,77 тыс. подписчиков
567 просмотров · 4 ч назад
#ゆっくり解説 #ai #it #デジタル
AIの研究が本格的に始まったのは約70年前。
当時のコンピューターは、
今のように自由に会話することすらできませんでした。
約70年間でAIに何が起きたのか、
その進化を初心者にも分かりやすく振り返ります。
実験内容は、研究論文をもとに紹介しています。
図解・映像は、この資料を参考にした本チャンネルのオリジナル制作です。
----------------------------
▼チャプター
0:00 導入
0:53 そもそもAIは何を目指していた?
3:38 ELIZAはなぜ会話できたように見えた?
6:30 規則を書く時代から、誤差を学ぶ時代
9:00 AIの言語能力を変えた新しい学習方法
11:41 画像AIの成功が、なぜ会話AIにも関係する?
14:08 Transformerは何を変えた?
16:38 巨大化させたら、何が変った?
19:53 なぜAIは、ここまで会話できるようになった?
----------------------------
▼動画内の表現
分かりやすさを優先し、動画内では一部に言い切った表現を使用しています。
----------------------------
▼参考文献
AIの出発点――何を目指していたのか
McCarthyほか(1955)
A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence
昔のAIはどう会話していたのか――ELIZAWeizenbaum(1966)
ELIZA—A Computer Program for the Study of Natural Language Communication Between Man and Machine
https://courses.cs.umbc.edu/undergrad...
人が規則を書く方式から、データで学ぶ方式へ
Rumelhart・Hinton・Williams(1986)
Learning Representations by Back-Propagating Errors
https://www.nature.com/articles/323533a0
「次の単語を予測する」が言語AIにつながる
Bengioほか(2003)
A Neural Probabilistic Language Model
https://jmlr2020.csail.mit.edu/papers...
計算能力と大量データがそろった転換点
Krizhevsky・Sutskever・Hinton(2012)
ImageNet Classification with Deep Convolutional Neural Networks
https://papers.nips.cc/paper_files/pa...
現在の大規模言語モデルにつながるTransformer
Vaswaniほか(2017)
Attention Is All You Need
https://arxiv.org/abs/1706.03762
なぜ大規模化が進歩につながったのか
Kaplanほか(2020)
Scaling Laws for Neural Language Models
https://arxiv.org/abs/2001.08361
規模が大きくなると、何ができるようになったのか
Brownほか(2020)
Language Models Are Few-Shot Learners
https://arxiv.org/abs/2005.14165
文章の続きを作るAIから、指示に応えるAIへ
Ouyangほか(2022)
Training Language Models to Follow Instructions with Human Feedback
https://arxiv.org/abs/2203.02155