Closed karim-moon closed 3 years ago
Positional encoding 및 Locality aware feedforward 부분 논문과 비슷하게 구현해보았습니다.
TransformerEncoderLayer클래스에서 feedforward클래스를 선언할 때 encode 인자에 True를 할당하면 Locality-aware feedforward(convolution)을 수행하게 하였고 [line 234 - 256] [line 288]
TransformerDecoderLayer클래스에서 feedforward클래스를 선언할 때는 encoder인자에 아무것도 입력하지 않기때문에 Point-wise feedforward를 수행하도록 만들어두었습니다. (Thanks to 동빈)
Positional encoding 및 Locality aware feedforward 부분 논문과 비슷하게 구현해보았습니다.
TransformerEncoderLayer클래스에서 feedforward클래스를 선언할 때 encode 인자에 True를 할당하면 Locality-aware feedforward(convolution)을 수행하게 하였고 [line 234 - 256] [line 288]
TransformerDecoderLayer클래스에서 feedforward클래스를 선언할 때는 encoder인자에 아무것도 입력하지 않기때문에 Point-wise feedforward를 수행하도록 만들어두었습니다. (Thanks to 동빈)