sakamomo554101 / YouyakuAI

日本語用の要約を行うデモサービス

0 stars 0 forks source link

VertexAIのパイプラインに学習パイプラインを構築する #24

Closed sakamomo554101 closed 2 years ago

sakamomo554101 commented 2 years ago

対応内容

16 から派生。

VertexAIのパイプラインを用いて、学習パイプラインを構築する
ドキュメント整理（学習時の手順）

sakamomo554101 commented 2 years ago

エラーは下記。

2021-11-07T02:31:56.518211672ZTraceback (most recent call last):
エラー
2021-11-07T02:31:56.518237895Z File "/component/src/trainer.py", line 196, in <module>
エラー
2021-11-07T02:31:56.518246793Z model=model, model_dir=artifacts.output_destinations.trained_model_dir
エラー
2021-11-07T02:31:56.518255057ZTypeError: save() got an unexpected keyword argument 'model'

sakamomo554101 commented 2 years ago

なんかsaveのパラメーター設定がおかしいから修正して、再度デプロイ＆Run。これでうまくいけばいいけども。

GPUだと20分くらいで学習終わるなー。

sakamomo554101 commented 2 years ago

やっと学習パイプライン動いた！！！モデルファイルできているかを確認するか。

sakamomo554101 commented 2 years ago

モデルファイルができていることを確認。

sakamomo554101 commented 2 years ago

残件

num_train_epochs = 8でモデル構築されるかを確認
パイプラインの実行手順（準備含む）をREADMEにまとめる
makefileの修正をして、push
サービスアカウント含めたアカウントの自動構築手順をドキュメントにまとめるか、スクリプトにする
makefile, yamlの整理

sakamomo554101 commented 2 years ago

https://cloud.google.com/blog/topics/developers-practitioners/debugging-vertex-ai-training-jobs-interactive-shell https://cloud.google.com/vertex-ai/docs/training/monitor-debug-interactive-shell

学習パイプラインのデバッグは、上記interactive shellでデバッグできそう。

sakamomo554101 commented 2 years ago

num_train_epocsが8でも学習が成功しているので、コミット整理と残件を整理して、PRをマージする。

残件
- サービスアカウントなどの事前準備まわりの対応をちゃんとまとめる（今は雑なまとめとなっている）
- T5モデルを稼働させるためのコンテナを作成＋Restで呼び出す実装に修正（Summarizerを分割するイメージ）
- ローカルコンテナでの動作パターンと、VertexAI Predictionでの動作パターンの二つが存在するイメージ

sakamomo554101 commented 2 years ago

マージして、残件を別チケットにした。クローズ。