search

Shuma-Yamamoto / reviewsa

0 stars 0 forks source link

(No.1) パスナビデータのインポートスクリプトの作成 #3

Closed Shuma-Yamamoto closed 2 years ago

Shuma-Yamamoto commented 2 years ago

完了要件

Shuma-Yamamoto commented 2 years ago

大学のメルアドをこの段階でCSVに入れておいてDBに突っ込んでもいいかも知れない

Shuma-Yamamoto commented 2 years ago

カラム： 大学モデル university ・大学名 name (string) ・学部名 faculty (string) ・学科名 department (string) ・偏差値 score (float) ・メールアドレス email (string) ・パスナビurl url (text)

都道府県モデル prefecture ・都道府県名 name (string)

高校モデル high_school ・高校名 name (string) ・偏差値 score (float) ・パスナビurl url (text) ・都道府県コード (FK)

懸念事項： 大学の学科名は存在しない場合もあるのでnull制約は付けなかった。 高校の偏差値はBFの場合もあるのでnull制約は付けなかった。

Shuma-Yamamoto commented 2 years ago

これで行けそう Pythonでスクレイピング →CSV形式で保存 →Railsでインポートスクリプトを記述 →rails db:seedでDBに格納

https://qiita.com/mmmasuke/items/545afaf5876d3dc52670

Shuma-Yamamoto commented 2 years ago

メールアドレスは末尾に含まれていなければならないものとする。 ex.) 早稲田大学→waseda.jpがカラムに格納されており、これが末尾になければならない

Shuma-Yamamoto commented 2 years ago

学科が4つ以上あるやつは1つにまとめることにした

Shuma-Yamamoto commented 2 years ago

rails db:resetができない場合 https://teratail.com/questions/67393

Shuma-Yamamoto commented 2 years ago

将来のために大学のデータ取得もスクレイピングでやるなら、パスナビじゃなくてこっちのサイトの方がいいね https://www.minkou.jp/university/

Shuma-Yamamoto commented 2 years ago

高校の都道府県を上手く取得できていなかったみたいなので、とりあえず初リリースでは都道府県は表示しない方向性で。

Shuma-Yamamoto commented 2 years ago

seedのCSVインポートスクリプトにはエクスクラメーションを付けよう https://jijigrammer.info/programming/1190