Open CoodingPenguin opened 3 years ago
음....
논문에선 실험을 편하게 하려고 Q, K, V의 크기를 동일하게 가져갑니다.
하지만 확실한건 K, V의 크기는 동일해야 합니다.
결과적으로 K, V는 동일해야하나 Q는 어떤 값이어도 상관이 없다
이겠네요.
제 생각엔 그림에서 Q 가 3 개인건 신경쓰지 않으셔도 좋을 것 같습니다 (어떤 의미가 있는게 아니라고 생각합니다). |Q|, |K|, |V| 는 같은 문장에서 단어 개수이므로 모두 동일할 것입니다. 그리고 Q 와 K 의 차원은 내적해야하므로 dk 로 같아야 하고, v 는 차원을 마음대로 가져가도 됩니다.
🙌 질문자
후미
@opijae❓ 질문 내용
📄 참고 자료