النموذج لا يقرأ الكلمات! سر الـ Tokens في ChatGPT

ما هي Tokens، ولماذا نسمع هذا المصطلح كثيرًا عند الحديث عن النماذج اللغوية الكبيرة (LLMs)؟ في الحلقة الثالثة، نقترب من خطوة تقسيم النص إلى وحدات تُسمّى Tokens، ونتعرّف على مفهوم Tokenization ودوره في تجهيز النص لمعالجته داخل النموذج. هذه الحلقة تكمل رحلتنا لفهم كيف تعمل النماذج اللغوية، خطوة بخطوة وبشرح عربي يحافظ على المصطلحات التقنية الإنجليزية. الحلقة السابقة: رحلة النص داخل النماذج اللغوية. الحلقة التالية: Embeddings وتمثيل Tokens بالأرقام. هل تحتاج إلى إرشاد بشأن مشروعك في الذكاء الاصطناعي؟ يمكنك التواصل معي عبر نموذج التواصل في موقعي: https://inesriahi.com #Tokens #Tokenization #الذكاء_الاصطناعي