search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders #100

Open knok opened 3 years ago

knok commented 3 years ago

Yan Song, Tong Zhang, Yonggang Wang, Kai-Fu Lee

https://arxiv.org/abs/2105.01279v1

概要

BERT的な構造にn-gramベースの情報を付与することでより良い埋め込み表現を得るモデル ZEN 2.0 を提案。 image 中国語の言語理解タスクでよい結果を出した。

構造的に日本語にもマッチしそう。

実装 https://github.com/sinovation/ZEN2