Closed shunk031 closed 5 years ago
全結合からなる self-attention 層に対して dropout を行う DropAttention を用いて過学習抑制し汎化性能向上を確認した。列ベース・要素ベースでattentionをdropoutする手法を比較し、性能向上を確認。
DropAttention: A Regularization Method for Fully Connected Self Attention-Networks - Paper Survey
https://arxiv.org/abs/1907.11065