Перейти к содержимому

Eğitilebilir Attention: Q/K/V ve √dₖ | Sıfırdan ChatGPT ve LLM #05

Şahin ÇELİKTEPE

0:00 / 0:00

Eğitilebilir Attention: Q/K/V ve √dₖ | Sıfırdan ChatGPT ve LLM #05

678 просмотров · 4 дня назад
Şahin ÇELİKTEPE
67 подписчиков
678 просмотров · 4 дня назад
Self-attention'da Query, Key ve Value ne işe yarar? Attention'ın öğrenen hâlini kuruyoruz. Nokta çarpımını neden √dₖ'ye bölüyoruz — bölmesek softmax ne yapardı? Sonra hepsini tek bir nn.Module sınıfında topluyoruz. ▶️ Seriyi baştan izle · Oynatma listesi:    • Sıfırdan ChatGPT ve LLM: Sezgiden Kodlamaya   📓 Serinin tüm kodu tek notebook'ta + bu dersin anlatım haritası: https://github.com/celiktepesahin/cha... Kurulum yok: notebook Kaggle'ın ücretsiz GPU'sunda olduğu gibi çalışıyor. Serinin yöntemi: önce sezgi ve şema, sonra kod. Eğitim sonunda çalışan bir GPT-2 çıkıyor. Sen de kendi serüvenini yorumlarda paylaş: nereden başladın, nerede takıldın, ne öğrenmek istiyorsun. #SıfırdanChatGPT #Attention #YapayZeka