search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

Dict-BERT: Enhancing Language Model Pre-training with Dictionary #156

Open knok opened 3 years ago

knok commented 3 years ago

Wenhao Yu, Chenguang Zhu, Yuwei Fang, Donghan Yu, Shuohang Wang, Yichong Xu, Michael Zeng, Meng Jiang https://arxiv.org/abs/2110.06490v1

概要

BERT系モデルに、Wikitionaryによる辞書情報を取り込む。 辞書情報の学習についての自己学習タスクを加えることで、低頻度語の情報がより良くなる。