Перейти к содержимому

Tại sao ChatGPT hiểu được chữ "nó"? Attention giải thích từ con số 0

Code & Craft

0:00 / 0:00

Tại sao ChatGPT hiểu được chữ "nó"? Attention giải thích từ con số 0

244 просмотра · 3 нед. назад
Code & Craft
69 подписчиков
244 просмотра · 3 нед. назад
Làm thế nào ChatGPT hiểu được "nó" trong câu "Con mèo không qua đường vì nó quá mệt" là con mèo? Câu trả lời nằm ở Transformer và cơ chế Attention. Video này giải thích từ đầu đến cuối bằng hình ảnh: từ cách chữ được biến thành vector, đến Q, K, V, softmax, Multi-Head Attention, Encoder, Decoder và cách mô hình sinh ra từng từ. Phù hợp cho người mới, chỉ cần biết ma trận cơ bản. 📄 Bài báo gốc: "Attention Is All You Need" (Vaswani et al., 2017) #Transformer #Attention #AI