search

upura / papers

What I read
24 stars 2 forks source link

AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization #191

Open upura opened 3 years ago

upura commented 3 years ago

どんなもの？

TikTokを運営するバイトダンスから出た「AMBERT」。2種類の粒度（中国語は文字/単語、英語は単語/フレーズ）のtokenizerを使い、両者の利点を享受できるようBERTを拡張している。 https://arxiv.org/abs/2008.11869

解説記事はこちら。 https://towardsdatascience.com/ambert-a-multi-grained-bert-6564ed24bcc3