010_fasttext特徴試作

[calpis10000]

やる事（概要）

• 学習済みモデルに基づいた特徴を作成する。
• とりあえずfasttextから。
• 参考) https://zenn.dev/koukyo1994/articles/9b1da2482d8ba1

やる事（詳細）

1. fasttextの学習済みモデルがオープンソースと言えるか？ 利用規約が存在するか？の確認
2. 学習済みモデルの入手＆アップロード手段の確認
3. ローカルで実装
4. kaggle上で動作確認＆submit

[calpis10000]

fasttextの学習済みモデルがオープンソースと言えるか？ の確認

結果

fasttext公式（https://fasttext.cc/）曰く、

What is fastText?

FastText is an open-source, free, lightweight library 
that allows users to learn text representations and text classifiers. 
It works on standard, generic hardware. 
Models can later be reduced in size to even fit on mobile devices.

open-sourceらしいので、問題なさそう。

[calpis10000]

学習済みモデルの入手＆アップロード手段の確認

入手

• 方法) https://fasttext.cc/docs/en/crawl-vectors.html
• 「cc.en.300.bin.gz」を落とせば良い。
  • 7GBあるので、出先では落とせない。
  • ローカルで作業したければ、帰宅の必要がある。

アップロード

• 既に上げてくれている人がいるので、自力でアップロードはしなくても良さそう（感謝）
• https://www.kaggle.com/takaishikawa/fasttext-pretrained-crawl-vector-en-bin

[calpis10000]

nb010で実装完了。
All RMSE: 0.6605082333304725 次でsubmit用nbを作成する