Open ktrw1011 opened 4 years ago
【今回のテーマ】 課題論文:『BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding』(https://arxiv.org/abs/1810.04805)
* BERTに関連するものであれば何でも構いません
目的:最先端のNLPでスタンダードとなっているBERTモデルについて理解する
BERTを理解する上で役に立つ予備知識:「言語モデル」「事前言語学習」「Transformer」
「Poor Man's BERT」 https://docs.google.com/presentation/d/1vmqVgfmYO9Cu7N9BABDDaJG_nZEAAEImrxW6Ygdg-bc/edit?usp=sharing
BERT論文整理 https://qiita.com/ta2bonn/items/71a1a55b99059f350365
上記は論文を整理したものですが、以前発表しているので今日は実装関連の説明をさせていただきます。
BERT論文まとめ BERT.pptx
【今回のテーマ】 課題論文:『BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding』(https://arxiv.org/abs/1810.04805)
* BERTに関連するものであれば何でも構いません
目的:最先端のNLPでスタンダードとなっているBERTモデルについて理解する
BERTを理解する上で役に立つ予備知識:「言語モデル」「事前言語学習」「Transformer」