Encoderの作成

[yukihito-jokyu]

Encoderはn回ループする。その為、EncoderLayerを作り、その中に一つのEncoderの処理を定義する。

[yukihito-jokyu]

Encoderの中にAdd & Norm(スキップコネクション)があるので別のissueでそのコードを作る

[yukihito-jokyu]

EncoderLayerの中身

• Multi-Head Attention
• Add & Norm
• Feed Forward Network
• Add & Norm

[yukihito-jokyu]

EncoderはN回ループするため、その機構を実装したEncoderを作成する

[yukihito-jokyu]

Encoder内にEmbeddingとPositionalEncodingを追加する

[yukihito-jokyu]

EncoderLayerについて

Multi-Head AttentionとFeed Forward Networkの出力の後にドロップアウトを実装する。

参考

[yukihito-jokyu]

作成したので閉じる