【オンライン開催】DataMixゼミ : 『BERT』

[ktrw1011]

【今回のテーマ】 課題論文：『BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding』(https://arxiv.org/abs/1810.04805)

＊ BERTに関連するものであれば何でも構いません

目的：最先端のNLPでスタンダードとなっているBERTモデルについて理解する

BERTを理解する上で役に立つ予備知識：「言語モデル」「事前言語学習」「Transformer」

[ktrw1011]

「Poor Man's BERT」 https://docs.google.com/presentation/d/1vmqVgfmYO9Cu7N9BABDDaJG_nZEAAEImrxW6Ygdg-bc/edit?usp=sharing

[ta2bonn]

BERT論文整理 https://qiita.com/ta2bonn/items/71a1a55b99059f350365

上記は論文を整理したものですが、以前発表しているので今日は実装関連の説明をさせていただきます。

[Hiroshi-Ohura]

BERT論文まとめ BERT.pptx