Open knok opened 3 years ago
Guangyi Liu, Zichao Yang, Tianhua Tao, Xiaodan Liang, Zhen Li, Bowen Zhou, Shuguang Cui, Zhiting Hu
https://arxiv.org/abs/2106.15078v1
テキスト生成タスクに置いて、クロスエントロピー損失以外のものとして Edit-Invariant Sequence Loss (EISL)を提案。 画像における Shift-Invariant の概念から着想をえた手法。 位置に対して不変な特徴(テキスト系列)をn-gram単位で保持する損失。 損失関数 クロスエントロピー損失は、EISLの一種(1-gram)とみなせる。
Auto/Non-Auto regressinve モデル両方に適用可能。
コードは今後公開予定
Guangyi Liu, Zichao Yang, Tianhua Tao, Xiaodan Liang, Zhen Li, Bowen Zhou, Shuguang Cui, Zhiting Hu
https://arxiv.org/abs/2106.15078v1
概要
テキスト生成タスクに置いて、クロスエントロピー損失以外のものとして Edit-Invariant Sequence Loss (EISL)を提案。 画像における Shift-Invariant の概念から着想をえた手法。
位置に対して不変な特徴(テキスト系列)をn-gram単位で保持する損失。
損失関数
クロスエントロピー損失は、EISLの一種(1-gram)とみなせる。
Auto/Non-Auto regressinve モデル両方に適用可能。
コードは今後公開予定