Погружение в многоголовое внимание, внутреннее внимание и перекрестное внимание

В этом видео я сначала расскажу о масштабированном скалярном произведении внимания, а затем подробно расскажу о многоголовом внимании. После этого мы рассмотрим два разных способа использования механизма внимания: внутреннее внимание и перекрёстное внимание. Решение упражнения: Имеем X: T1xd Y: T2xd Итак, мы строим Q из Y, то есть Q будет Q: T2xd И мы строим K и V из X, то есть K: T1xd V: T1xd Тогда QK^t (матрица совместимости) будет QK^t: T2xT1 И конечный результат Z будет равен Softmax(1/sqrt(d) QK^t) * V Z: T2xd