Eğitilebilir Attention: Q/K/V ve √dₖ | Sıfırdan ChatGPT ve LLM #05
Şahin ÇELİKTEPE
0:00 / 0:00
Eğitilebilir Attention: Q/K/V ve √dₖ | Sıfırdan ChatGPT ve LLM #05
678 просмотров · 4 дня назад
Şahin ÇELİKTEPE
67 подписчиков
678 просмотров · 4 дня назад
Self-attention'da Query, Key ve Value ne işe yarar? Attention'ın öğrenen hâlini kuruyoruz.
Nokta çarpımını neden √dₖ'ye bölüyoruz — bölmesek softmax ne yapardı? Sonra hepsini tek bir
nn.Module sınıfında topluyoruz.
▶️ Seriyi baştan izle · Oynatma listesi:
• Sıfırdan ChatGPT ve LLM: Sezgiden Kodlamaya
📓 Serinin tüm kodu tek notebook'ta + bu dersin anlatım haritası:
https://github.com/celiktepesahin/cha...
Kurulum yok: notebook Kaggle'ın ücretsiz GPU'sunda olduğu gibi çalışıyor.
Serinin yöntemi: önce sezgi ve şema, sonra kod. Eğitim sonunda çalışan bir GPT-2 çıkıyor.
Sen de kendi serüvenini yorumlarda paylaş: nereden başladın, nerede takıldın, ne öğrenmek istiyorsun.
#SıfırdanChatGPT #Attention #YapayZeka