Del Bag-of-Words al Transformer: la evolución computacional que nos llevó a los grandes modelos de..

Del Bag-of-Words al Transformer: la evolución computacional que nos llevó a los grandes modelos de lenguaje - Adrián Pastor López Monroy El procesamiento del lenguaje natural ha experimentado una profunda transformación durante las últimas décadas, impulsada por el desarrollo de nuevos modelos de aprendizaje y por un crecimiento extraordinario en la capacidad de cómputo disponible. En esta charla recorreremos algunos de los principales cambios que han marcado esta evolución, partiendo de representaciones clásicas como Bag-of-Words y llegando hasta la arquitectura Transformer, base de los grandes modelos de lenguaje actuales. A lo largo de este recorrido discutiremos cómo ha cambiado la manera en que las computadoras representan, modelan y aprenden a partir del lenguaje, así como el papel que la capacidad computacional ha tenido en esta transformación. Finalmente, presentaré algunos ejemplos de líneas de investigación que desarrollamos actualmente en el CIMAT, donde estas tecnologías se aplican a problemas como el estudio computacional del lenguaje relacionado con la salud mental, la detección de ciberacoso y violencia digital, y la generación de secuencias de pictogramas para apoyar la comunicación.