017_品詞に関する調査＆特徴量の試作 - Githubissues

calpis10000 / commonlit

https://www.kaggle.com/c/commonlitreadabilityprize

0 stars 0 forks source link

017_品詞に関する調査＆特徴量の試作 #21

Closed calpis10000 closed 3 years ago

calpis10000 commented 3 years ago

やること

品詞の数、出現頻度などを調査し、特徴を作ってみる。
参考: https://qiita.com/m__k/items/ffd3b7774f2fde1083fa#sentence-tokenize
kaggle環境でnltkが使えることは確認済み。

calpis10000 commented 3 years ago

検証1_単語を品詞に変換し、作成ずみのCountVectorizer, TF-IDF, W2Vで変換

結果(品詞特徴量のみ): All RMSE: 0.847979330863703