Feat_ 事前学習済み BERT モデルを使ったテキスト特徴抽出

[calpis10000]

やる事

• 以下を参考に、BERTモデルを使ったテキスト特徴抽出を実施。
  • https://zenn.dev/koukyo1994/articles/9b1da2482d8ba1
  • https://www.guruguru.science/competitions/16/discussions/fb792c87-6bad-445d-aa34-b4118fc378c1/
  • https://huggingface.co/transformers/index.html

特記事項

• この実験以降、管理方法を「nb番号とissue番号を一致させる」形に変更。
  • 従来: nb: 022_model.ipynb issue: #26
  • 今後: nb: 027_feat.ipynb issue: #27

[calpis10000]

疑問: Transformersライブラリ。商用利用可能なのだろうか？

• 仕事で使えるのかな、と思って。
• https://github.com/jojonki/arXivNotes/issues/295 によると、Apache 2.0ライセンスで使用可能らしい。

  Transoformersは進行中のPjであり，120の外部貢献者もいる．Apache 2.0で利用でき，pipやGithubから利用が可能だ．Apache 2.0なので無料，商用，改変，再配布，アプリ同梱などが可能で比較的会社にも緩いライセンス．（Swiftもそうらしい）

  念のため、裏は取っといたほうが良いか。（あとでやる）

[calpis10000]

Transformers。kaggle kernelで使用可能なのだろうか？

適当なnotebookで↓打ってみたら通ったので、問題ないっぽい。

import torch
from transformers import BertTokenizer

[calpis10000]

進捗: 2021/6/7時点

• かえるさんの実装丸流用での特徴作成まで完了。
  • BERTだけ: All RMSE: 0.6836767117284516
  • 複合: All RMSE: 0.6306279695769408
• kaggle環境へ投入したところ、モデルをDLする動作でネットワークエラー。
• 学習済みモデルをファイルパスから読む方法を探す必要あり。

TODO

• 学習済みモデルをファイルパスから読む方法を探す。: Done
• 上記完了後、いつものフォーマットでクラス化する。: これは保留（今のところ、あんまりメリットがない）

[calpis10000]

kaggle環境での実行

• CV: All RMSE: 0.6211478729076583
• LB: 0.608
  • 前回（nb013）はLB=0.621なので、向上している。