attention is all you need의 저자는 독자가 attention이라는 개념을 이미 숙지하고 있다는 가정을 하고 글을 쓴 것 같습니다.
때문에 attention 메커니즘이 어떠한 배경에서 등장하게 되었고, 그것의 직관적인 개념은 어떻게 되는지, 수식으로는 어떻게 표현할 수 있는지에 대해서는 자세한 설명을 하지 않습니다.
또한,
An attention function can be described as mappjng a query and a set of key-value pairs to an output, where query, keys, values and outputs are all vectors.
라고 언급 (pg 3, 3.2 attention) 하는데, 여기서 Q, K, V가 무엇을 의미하는지도 궁금합니다.
이렇게 먼저 attention이 무엇인지를 이해를 해야, 왜 attention is all you need인지를 이해할 수 있으니, 본 논문을 이해하기에 앞서 해당 개념에 대한 공부가 필요할 것 같습니다.
eubinecto
commented
4 years ago
attention is all you need의 저자는 독자가 attention이라는 개념을 이미 숙지하고 있다는 가정을 하고 글을 쓴 것 같습니다.
때문에 attention 메커니즘이 어떠한 배경에서 등장하게 되었고, 그것의 직관적인 개념은 어떻게 되는지, 수식으로는 어떻게 표현할 수 있는지에 대해서는 자세한 설명을 하지 않습니다.
또한,
라고 언급 (pg 3, 3.2 attention) 하는데, 여기서 Q, K, V가 무엇을 의미하는지도 궁금합니다.
이렇게 먼저 attention이 무엇인지를 이해를 해야, 왜 attention is all you need인지를 이해할 수 있으니, 본 논문을 이해하기에 앞서 해당 개념에 대한 공부가 필요할 것 같습니다.