【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning

▼テーマ Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。 Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。 今の Deep Learning を語る上では外せない要素！　要チェック！ ▼関連プレイリスト Deep Learning の世界    • Deep Learning の世界   自然言語処理シリーズ    • 自然言語処理シリーズ   ▼目次 (後で追加します。暫くお待ちください) ▼参考文献 Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014). https://arxiv.org/abs/1409.0473 原論文です！　当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも！ 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14... いろいろこれを参考にして動画を作っています ▼参考動画 RNN の動画 →    • 【深層学習】RNN の意味を徹底解説！【ディープラーニングの世界 vol. 8 】 ...   GRU の動画 →    • 【深層学習】GRU - RNN に記憶をもたせる試みその1【ディープラーニングの世界...   RNN の3つの使い方（BiGRU のところよくわからなかった人向け） →    • 【深層学習】RNN の3通りの使い方 - RNN の混乱ポイントを倒す！【ディープラ...   Bi-LSTM の動画（ Bi-GRU の仲間） →    • 【深層学習】bi-LSTM - 前後の文脈を利用する Recurrent layer...   ▼終わりに ご視聴ありがとうございました！ 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ！ お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成：AIcia Solid (Twitter:   / aicia_solid   ) 動画編集：AIris Solid (妹) (Twitter:   / airis_solid   ) ======= Logo: TEICAさん (   / t_e_i_c_a   ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん (   / w01fa   )