bert

[yagumana]

12/4,12/5

1. 双方向のlstmを実現したもの 双方向で行うために、pretrainとして、masked language を行って、embeddingを行っている。 また、next sentense predictionも事前学習として行っている。 そして、このモデルが注目を集めた理由として、tunningを行う、すなわち、最後のレイヤーをいじって、2,3epoch回すだけで、様々な自然言語系のタスクへと、事前学習モデルを応用することができる点が挙げられる。