Open tm4roon opened 4 years ago
Transformerのレイヤ自体をDropoutさせる方法LayerDropを提案。学習時には確率pでDropoutさせる。推論時には、レイヤでdropoutさせる。機械翻訳や要約, 言語モデル等のタスクにおいて、モデルを軽量化しつつ、性能を改善できることを示した。
Reducing Transformer Depth on Demand with Structured Dropout
Transformerのレイヤ自体をDropoutさせる方法LayerDropを提案。学習時には確率pでDropoutさせる。推論時には、レイヤ
でdropoutさせる。機械翻訳や要約, 言語モデル等のタスクにおいて、モデルを軽量化しつつ、性能を改善できることを示した。
文献情報