Redes Neuronais, LLMs e Chatbots: Fundamentos e Limitações

Neste episódio do Dentro da Computação, estou à conversa com Ricardo Ribeiro, professor associado no ISCTE e investigador no INESC, especialista em Processamento Computacional da Língua, a área que está na base dos chatbots modernos. A conversa percorre os fundamentos destes sistemas, desde o neurónio artificial e o treino de redes neuronais até aos grandes modelos de língua (LLMs) e ao mecanismo de atenção. Discutem-se também os principais desafios: a qualidade e os enviesamentos dos dados, as alucinações, a tendência para reforçar as opiniões do utilizador, a privacidade e a IA soberana, e a importância de avaliar criticamente os resultados destes modelos. CAPÍTULOS 00:00 Introdução 01:00 O neurónio artificial 04:30 Treino de redes neuronais e ajuste de parâmetros 06:00 A importância dos dados e os enviesamentos 07:30 Arquitetura de redes neuronais em camadas 09:30 Redes convolucionais e processamento de imagem 12:00 Backpropagation e o Prémio Nobel de Hinton e Hopfield 13:30 Dos modelos de n-gramas aos grandes modelos de língua 17:30 O mecanismo de atenção 19:30 Dimensão dos modelos e número de parâmetros 20:15 Executar modelos de língua localmente 21:30 IA soberana e privacidade dos dados 23:00 Alucinações em modelos de língua 25:30 A antropomorfização dos chatbots 26:30 Afinação de modelos e treino com avaliação humana 29:00 Informação contraditória e reforço de crenças 30:30 Temperatura e variabilidade das respostas 31:00 Expectativas de determinismo 32:00 Limitações em tarefas como contar palavras 33:00 Agentes e geração de código 34:30 A importância de avaliar criticamente os resultados 36:30 Chatbots no apoio ao cliente 37:20 Novas profissões associadas à IA 38:00 Encerramento Este episódio do Dentro da Computação foi gravado no Estúdio Multimédia do ISCTE. Disponível no YouTube e no Spotify. #InteligenciaArtificial #LLM #Podcast #dentrodacomputação #chatbot