Reducing Transformer Depth on Demand with Structured Dropout

Transformerのレイヤ自体をDropoutさせる方法LayerDropを提案。学習時には確率pでDropoutさせる。推論時には、レイヤ $d \equiv 0 (\lfloor{mod(1/p)\rfloor})$ でdropoutさせる。機械翻訳や要約, 言語モデル等のタスクにおいて、モデルを軽量化しつつ、性能を改善できることを示した。