RoBERTa実装・理解

[nakaotomohiro]

https://www.kaggle.com/yamqwe/roberta-is-back-0-634-lb を参考に、BERT(RoBERTa)による実装を理解、提出まで持っていく

[nakaotomohiro]

14

[nakaotomohiro]

悩み

• これがしたい
• メモリが足らず動かせない

  解決策

• BERTに似たやつで、代わりになりそうなものを探して実装してみる -> #23
• 重い部分だけgoogle colaboにやらせる -> #25

[nakaotomohiro]

• 時間がないため、BERTは切る。Longformerに専念する。