Tại sao ChatGPT hiểu được chữ "nó"? Attention giải thích từ con số 0
Code & Craft
0:00 / 0:00
Tại sao ChatGPT hiểu được chữ "nó"? Attention giải thích từ con số 0
244 просмотра · 3 нед. назад
Code & Craft
69 подписчиков
244 просмотра · 3 нед. назад
Làm thế nào ChatGPT hiểu được "nó" trong câu "Con mèo không qua đường vì nó quá mệt" là con mèo?
Câu trả lời nằm ở Transformer và cơ chế Attention. Video này giải thích từ đầu đến cuối bằng hình ảnh: từ cách chữ được biến thành vector, đến Q, K, V, softmax, Multi-Head Attention, Encoder, Decoder và cách mô hình sinh ra từng từ.
Phù hợp cho người mới, chỉ cần biết ma trận cơ bản.
📄 Bài báo gốc: "Attention Is All You Need" (Vaswani et al., 2017)
#Transformer #Attention #AI