LLM-модели никогда не «видят» ваши слова. Что же они видят на самом деле?

Что на самом деле происходит после отправки запроса в LLM? Когда вы набираете что-то вроде «Explain Operating System», Transformer никогда не видит эти слова. Что же он видит вместо них? В этом видео мы разберем, как текст превращается в токены и идентификаторы токенов, зачем существует токенизация, как строится словарь LLM и какое место в этом процессе занимают BPE, субсловная токенизация, заполнение, усечение и маски внимания. Это первый шаг к пониманию того, как LLM и Transformer работают изнутри. Далее: как эти бессмысленные идентификаторы токенов становятся обучаемыми векторами с помощью эмбеддингов. #LLM #LargeLanguageModels #generativeAI #machinelearning #DeepLearning #ArtificialIntelligence #AI #transformers #NLP #NaturalLanguageProcessing #ChatGPT #LLMExplained #GenAI #NervOps #AIEngineering