TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference

[knok]

Deming Ye, Yankai Lin, Yufei Huang, Maosong Sun

https://arxiv.org/abs/2105.11618v1

概要

BERTの推論を高速化するために token reduction を行うTR-BERTの提案。 BERTの処理は出力層に近いものほどスパースになるため、トークンの順伝播をうまく行うと精度を落とさず計算速度を上げることができる。

どの層でどのトークンを落とすかもNNで選択するが、そこで強化学習の枠組みを使って除去するトークンを学習させる。

実装 https://github.com/thunlp/TR-BERT