[ds]ソース最新化

[nokoxxx1212]

ゴール

• 処理ごとにノートブックが分かれている
  • レビュー者がスクリプト化
• ノートブック名、In/Outは下記の通り
• それぞれのノートブックはメイン関数を実行するだけで動作する

  def create_pipeline(**kwargs):
  return Pipeline(
      [
          node(
              func=scraping_netkeiba.scraping_netkeiba,
              inputs=["parameters"],
              outputs="race_results_df"
          ),
          node(
              func=preprocess_race_results.preprocess_race_results,
              inputs=["race_results_df", "parameters"],
              outputs="race_results_df_processed"
          ),
          node(
              func=train_lightgbm.train_lightgbm,
              inputs=["race_results_df_processed", "parameters"],
              outputs="model_lightgbm"
          ),
          node(
              func=valid_lightgbm.valid_lightgbm,
              inputs=["race_results_df_processed_valid", "model_lightgbm", "parameters"],
              outputs=None
          ),
          node(
              func=scraping_netkeiba_predict.scraping_netkeiba_predict,
              inputs=["parameters"],
              outputs="race_results_df_predict"
          ),
          node(
              func=preprocess_race_results_predict.preprocess_race_results_predict,
              inputs=["race_results_df_predict", "race_results_df_processed", "parameters"],
              outputs="race_results_df_processed_predict"
          ),
          node(
              func=predict_lightgbm.predict_lightgbm,
              inputs=["model_lightgbm", "race_results_df_processed_predict", "parameters"],
              outputs=None
          ),
      ]
  )

parameters = {'scraping_limit': 3, 'predict_race_id': name, 'predict_date': predict_date, 'is_notify': False}

• parametersで、学習に使うデータの期間を指定することができる（from, to）
  • 各ノートブックの始めに、parametersを与える
• スクレイピングを再度実行したときに、すでに取得してあるデータはスクレイピングしないようにする
  • 1. 全量のレースIDのリストを取得する
  • 2. 前回までにスクレイピングした色々リストを取得する
  • 3. 1と2の差分のレースIDのリストを取得する
  • 4. 3を使ってダウンロードし、2に加える
• 順位当てではなく、上位中位下位に分類する