ベースコード開発（学習）

nokoxxx1212 commented 5 months ago

🧑 Story

前処理・学習のベースコードを開発する

🔨 Acceptance Criteria

README通りに実行して、学習処理が動く
命名規則を整理する
- 前処理でdatamartを作る
  - データセットの命名どうするか
    - src
    - dwh
    - dm
  - 何のテーブルか+末尾に、どこからのデータか
- 誰が作ったどのモデルかがわかるようにする
  - 精度可視化のときに紐づけられるようにする
通知を入れる

📝 Task List

[x] 冪等性のための修正（updated_at）、カラム名修正（英語に）
[x] 前処理スクリプト
[x] 前処理パイプライン
[x] 学習スクリプト
[x] 学習パイプライン

📚 Resources

🎯 Deliverables

🔜 Remaining Tasks

[x] vscodeのdevcontainerは結局どう使う。VS Codeの拡張を毎回入れる？jsonファイル使えば入れれる？
[x] テーブル構成を可視化したい。リネージ
[x] componentとDockerfileは分けるか？でもマウントしたいのでは
[x] analytics habをうまく使いたい
[x] componentのつなぎ。inputで繋ぐべきか、afterとか使うか
[x] ディレクトリ構成を考えるときの観点
[x] logってどれくらい仕込むべき？どこにどうやって？
[x] Audit logs　ONにしとくべき?何がどこに出る？
[x] VAPは何の権限で実行されている？
[x] Vertex AI Pipelinesの権限。二つ（三つ）。
[x] BQのクライアントのプロジェクトを指定しないと、謎のプロジェクト？
[x] 開発のフロー。GitはVScodeの横で、ターミナルを二つ開く、dev container、デバッグ、とはいえprintしかない?スクリプトは一通り書いてからデバッグ？
[x] ノートブックとスクリプトの往復。一度スクリプトに移行した後
[x] BQのテーブルの管理。バージョン管理
[x] IOのところは共通ライブラリ化しておきたい。GCSアクセスとかを毎回書いている。とはいえSQL書きたいときもある
[x] BQとかの型はどこで制御する？勝手にintとかになっている
[x] VAPのjsonはARで管理したい

nokoxxx1212 commented 4 months ago

冪等性のための修正（updated_at）

-> キャッシュを使ってしまう
```
from google.cloud import aiplatform
```

job = aiplatform.PipelineJob( display_name='my_pipeline', template_path='path_to_pipeline.json', parameter_values={'param1': 'value1', 'param2': 'value2'}, enable_caching=False )

job.run()

-> update_at = datetime.now().strftime('%Y-%m-%d %H:%M:%S')

-> `ValueError: 26 columns passed, passed data had 27 columns`

* -> pythonファイルを更新しただけだとpushの時に更新されない？

docker rmi $(docker images -q) -f

REPOSITORY TAG IMAGE ID CREATED SIZE

f6578beaa4af 2 minutes ago 1.81GB ``` * `docker tag f65 gcr.io/keiba-hacke/khnetkeiba_scraperdocker` で回避できた * -> イメージがへん。mntとかない * 単にapt-get update && apt-get installが落ちていた -yつける * -> 全部nullになっている？ * 日本語のカラム名は対応していない ['race_id','馬','騎手','馬番','走破時間','オッズ','通過順','着順','体重','体重変化','性','齢','斤量','上がり','人気','レース名','日付','開催','クラス','芝orダート','距離','回り','馬場','天気','場id','場名', 'update_at'] -> ['race_id', 'horse', 'jockey', 'horse_number', 'run_time', 'odds', 'pass_order', 'rank', 'weight', 'weight_change', 'gender', 'age', 'load', 'rise', 'popularity', 'race_name', 'date', 'event', 'class', 'turf_or_dirt', 'distance', 'lap', 'racecourse', 'weather', 'place_id', 'place_name', 'update_at']

nokoxxx1212 commented 4 months ago

前処理スクリプト

カラム名を変換
docker build -t khnetkeiba_preprocessdocker .
docker run -itd -v $(pwd):/opt/mnt khnetkeiba_preprocessdocker
コンテナにはVS CodeのPythonデバッガーが入っていない？拡張入れる
--update_time_threshold "2024-03-10 00:00:00"
-> ModuleNotFoundError: No module named 'sklearn'
scikit-learnの方をpoetry add
-> 認証エラー

nokoxxx1212 commented 4 months ago

前処理パイプライン

pyproject.toml移動: cp ../../../../pyproject.toml ./
-> GCSにscrapedのファイルができていない気がする
ローカルでコンテナを立てて実行すると、ファイルがGCSにできていた(3/12 2:45)
-> google.api_core.exceptions.Forbidden: 403 POST https://bigquery.googleapis.com/bigquery/v2/projects/l06bb092efcbd62e5p-tp/jobs?prettyPrint=false: Access Denied: Project l06bb092efcbd62e5p-tp: User does not have bigquery.jobs.create permission in project l06bb092efcbd62e5p-tp.

パイプラインの実行時にサービスアカウントが明示的に指定されていない場合、デフォルトのサービスアカウント（通常はプロジェクトのCompute Engineデフォルトサービスアカウント）が使用されます。

でもscrapeでできていたけど...？

job.run(service_account="terraformcloud@keiba-hacke.iam.gserviceaccount.com")
コンソールから確認できる。が、まだ権限足りない
「BigQueryジョブユーザー」を追加
Grant users access to this service account (optional)とは
権限の追加方法がいまいちわからない
画面上からだと，上図の「Include Google-provided role grants」にチェックを入れることで，GCP 側が用意したサービスアカウントが表示されます
-> ブログを参考に二つに付与したがだめ
BQのクライアントでプロジェクトを指定していないから変なところに作ろうとしている？
WBインスタンスがリソース不足で立ち上がらない
dev-kh-wb-01: The zone 'projects/keiba-hacke/zones/us-central1-a' does not have enough resources available to fulfill the request. Try a different zone, or try again later.: Something went wrong. Sorry about that.

nokoxxx1212 commented 4 months ago

学習スクリプト

docker build -t khtrain_lgbdocker .
docker run -itd -v $(pwd):/opt/mnt khtrain_lgbdocker
docker exec -it 35e /bin/bash
-> ModuleNotFoundError: No module named 'lightgbm'
-> NameError: name 'argparse' is not defined
-> AttributeError: 'NoneType' object has no attribute 'replace'
export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-file.json"

nokoxxx1212 commented 4 months ago

学習パイプライン

cp ../../../../pyproject.toml ./
docker build -t gcr.io/keiba-hacke/khtrain_lgbdocker . --no-cache

nokoxxx1212 / keiba-hacke