Metin Sayıya Nasıl Dönüşür? Tokenizer ve BPE | Sıfırdan ChatGPT ve LLM #02

Tokenizer nedir, BPE nasıl çalışır? Model harf görmez, sayı görür: metni parçalara ayıran tokenizer'ı sıfırdan yazıyoruz. Sözlükte olmayan bir kelime geldiğinde ne oluyor — ve GPT'nin gerçekten kullandığı BPE bu sorunu nasıl kökünden bitiriyor. ▶️ Seriyi baştan izle · Oynatma listesi:    • Sıfırdan ChatGPT ve LLM: Sezgiden Kodlamaya   📓 Serinin tüm kodu tek notebook'ta + bu dersin anlatım haritası: https://github.com/celiktepesahin/cha... Kurulum yok: notebook Kaggle'ın ücretsiz GPU'sunda olduğu gibi çalışıyor. Serinin yöntemi: önce sezgi ve şema, sonra kod. Eğitim sonunda çalışan bir GPT-2 çıkıyor. Sen de kendi serüvenini yorumlarda paylaş: nereden başladın, nerede takıldın, ne öğrenmek istiyorsun. #SıfırdanChatGPT #Tokenizer #YapayZeka