LLM na Prática: Construa seu Modelo de Linguagem Customizado com BERT

Introdução de como criar um modelo de linguagem utilizando Transformers. Link do Repo: https://github.com/ferrarimarlon/Niet... 00:00 - Introdução e Transformers 01:15 - Conversão de palavras em vetores 04:15 - Decode e problemas de codificação 05:56 - One-Hot Encoding 07:56 - Tokenização inteligente 09:18 - GPT vs BERT 10:48 - Comparação GPT vs BERT na prática 13:57 - Encoder vs Decoder e Roberta 15:25 - Construindo o Tokenizer 18:06 - Dataset de treino 19:10 - Treinamento do Tokenizer (Byte Level) 23:10 - Salvando o Tokenizer 26:01 - Preparação dos dados para o modelo 27:37 - Configurando a Roberta 30:24 - Instanciando o modelo 34:47 - Preparando o DataLoader 38:25 - Configuração do Trainer 41:30 - Processo de treinamento 44:50 - Testes do modelo