Prediction APIをVertexエンドポイントを利用するように修正

[sakamomo554101]

概要

24 より派生。

T5モデルを稼働させるためのコンテナを作成＋Restで呼び出す実装に修正する。 （Summarizerを分割するイメージ）

詳細

• VertexAIエンドポイントをパイプライン上で作成するように修正
• T5モデルの推論部分をrestfulにして、Prediction APIを叩くように修正

[sakamomo554101]

まず、エンドポイント を自動で作成するようにするか

[sakamomo554101]

https://zenn.dev/dhirooka/articles/5e53361fb08f9e お、カスタムエンドポイント 作れるから、現状のT5Summarizerの実装を継承して、API化してしまえば、いけるかも。

[sakamomo554101]

試しに現状のSummarizerをAPI化して、カスタムコンテナーで動かそうかな。

[sakamomo554101]

https://cloud.google.com/blog/ja/topics/developers-practitioners/pytorch-google-cloud-how-deploy-pytorch-models-vertex-ai

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#image

[sakamomo554101]

AIP_STORAGE_URI経由で、モデルデータを取得するのが良さそう

[sakamomo554101]

対応手順

• SummarizerのAPI部分の作成（ヘルスチェック、予測処理）
• Serving用のDockerfileの作成（FastAPIを使うか、TorchServeを使うか）
• summarizer.predictの部分をrestfulにコールするように修正

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#server

各予測リクエストは 1.5 MB 以下にする必要があります。HTTP サーバーは、次の形式の Content-Type: application/json HTTP ヘッダーと JSON 本文を持つ予測リクエストを受け入れる必要があります。

地味に面倒な上限かも。 まぁ、よっぽどじゃない限りは1.5Mなんぞいかないが・・。

[sakamomo554101]

モデルについては、Cloud Storage経由で取得したい。 が、単純にAIP_STORAGE_URIを指定するのではないっぽいかも。

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/use-custom-container カスタムコンテナを利用して、エンドポイントを作成する手順。

[sakamomo554101]

https://cloud.google.com/blog/ja/topics/developers-practitioners/pytorch-google-cloud-how-deploy-pytorch-models-vertex-ai 上記手順で、試す。

[sakamomo554101]

torchserveにすると、デバッグがやや面倒そうな雰囲気もあるな・・。 Fast APIにしようかしら。

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/reference/rest/v1/projects.locations.endpoints/predict#response-body VertexAI Predictionでのレスポンスの形式は上記を守る必要があるが、エラーコードやエラー詳細をどうレスポンスに入れれば良いのか？

[sakamomo554101]

ローカルでテストするためにdocker-compose周りも修正しないとだなぁ

[sakamomo554101]

serving用のdocker imageはmakefile経由でビルド＆プッシュするかな

[sakamomo554101]

マルチステージビルド で、テスト時はdocker-composeでファイル指定をし、productionの場合はdocker imageにソースコードを含める感じにしようかね。

[sakamomo554101]

docker-compose.ymlで明示的にビルドタグを指定して、マルチステージビルド の中間イメージを指定できそう targetを指定する

[sakamomo554101]

makefile中で、envのパラメーターを取得したいなぁ。 https://cpoint-lab.co.jp/article/202010/17523/

[sakamomo554101]

https://zenn.dev/canalun/articles/7d31ba0fb12be2

[sakamomo554101]

• docker-composeへのホスト名、ポート指定
  • envから読み込んで、docker-compose.ymlで指定
• dockerへのホスト名、ポート指定
  • envから読み込んで、make経由で指定

entrypointとかも同様かな。

[sakamomo554101]

https://docs.docker.jp/engine/reference/builder.html#expose あれ、EXPOSEだけだと、ポート公開されないのか。（公開するよ、という意味っぽい）

[sakamomo554101]

そうか・・。 docker runだとenv-file指定で.envをそのまま読み込めるが、docker buildだと読み込めない。 build-argオプションを使って、キーと値を指定する必要がある。

やはり、make経由でportとかは指定かなー

[sakamomo554101]

vertexai predictionを使うか、ローカルのAPIを使うか、どうやって指定する？

[sakamomo554101]

.env経由にするか。

[sakamomo554101]

47 でPR立てた。

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/online-predictions-automl#api vertexai エンドポイントに対するリクエストの送り方。

[sakamomo554101]

https://github.com/googleapis/python-aiplatform/blob/HEAD/samples/model-builder/endpoint_predict_sample.py 一番シンプルなのは上記か。

[sakamomo554101]

https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/master/community-content/pytorch_text_classification_using_vertex_sdk_and_gcloud/pytorch-text-classification-vertex-ai-train-tune-deploy.ipynb

[sakamomo554101]

endpoint_idをどうやって、取得するか。 ※とりあえず、.envに直書きしちゃっても良いが・・。

[sakamomo554101]

多分、正しくやるなら、デプロイ処理したら、envにコピーする感じが良いだろうなぁ.

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#aip-variables

モデルバイナリをCloud Storageに置いた場合、AIP_STORAGE_URIから読み取れば良い。 デプロイ時に、artifactUriを設定する必要があるっぽいが、どうすればよいのか？

[sakamomo554101]

エンドポイント の作成もスクリプト化しておきたい。

[sakamomo554101]

以下をやれば良い？

• モデルのアップロード（GCS）
  • これは学習パイプラインの成果物がGCSに保存されるので、そのパスを使えば良さそう
• エンドポイントの作成
• エンドポイントに対して、モデルのアップロード対応

[sakamomo554101]

学習済みのモデルバイナリのアップロードについて https://cloud.google.com/vertex-ai/docs/general/import-model

[sakamomo554101]

https://googleapis.dev/python/aiplatform/latest/index.html sdkのドキュメント読むか

[sakamomo554101]

あ、下記のような感じやな。

model = aiplatform.Model.upload(
    display_name='my-model',
    artifact_uri="gs://python/to/my/model/dir",
    serving_container_image_uri="gcr.io/cloud-aiplatform/prediction/tf2-cpu.2-2:latest",
)

[sakamomo554101]

あー、なるほど。 モデルのアップロードのタイミングでDockerイメージも指定するため、エンドポイント作成時にはDockerイメージ指定とかいらんのか。

https://cloud.google.com/vertex-ai/docs/predictions/deploy-model-api#deploy_the_model

[sakamomo554101]

エンドポイント作成までの流れをまとめるか。

• 学習処理（学習パイプラインで実施）
  • モデルのGCSのパスをどう取得するか？
• Dockerイメージの作成＋push（pythonスクリプトで実施）
  • Dockerイメージのパスをどう取得するか
• エンドポイント作成
  • モデル取得（Modelインスタンス）
  • エンドポイント作成
  • エンドポイントへのモデルアップロード処理

[sakamomo554101]

つーか、学習パイプラインで、エンドポイント デプロイさせればええやん・・。なんで忘れてたんだ・・。

[sakamomo554101]

https://github.com/daigo0927/blog/tree/master/vertex-pipelines-sample

[sakamomo554101]

https://github.com/daigo0927/blog/blob/master/vertex-pipelines-sample/components/deploy/main.py おー、まさにこれっぽい。

[sakamomo554101]

あわわ、model_pipelineフォルダにcomponent配置しないとだが、、、。 ルートのsrcフォルダにservingの実装入れちゃってるな・・。

[sakamomo554101]

いや、いいのか。

• servingの実装＋DockerImageのアップロード（ルートのsrcフォルダ配下で対応）
• pipelineでのdeploy処理の実装（model_pipeline配下で対応）

[sakamomo554101]

あ、これ、パイプラインからモデルパスを受け取る場合、どうするかなぁ。

GCSからロードする処理が必要になる気がする。

[sakamomo554101]

https://cloud.google.com/vertex-ai/docs/predictions/use-custom-container カスタムコンテナを使う場合は、上記のようにupdate スクリプトを書けばいけそう？ あとは環境変数の設定も必要？

[sakamomo554101]

https://googleapis.dev/python/aiplatform/latest/aiplatform.html#google.cloud.aiplatform.Model.upload うーん、Model.uploadの処理みても、artifactUri以外はめぼしいパラメーター がないなぁ

[sakamomo554101]

https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/master/notebooks/official/pipelines/google_cloud_pipeline_components_model_train_upload_deploy.ipynb 参考になりそう。

モデルアップロードとデプロイがある

[sakamomo554101]

パイプラインを作って、モデルアップロードとエンドポイントのdeployの手順はわかるが・・。 カスタムコンテナ内でモデルをロードした時のモデルパスがわからん・・

[sakamomo554101]

https://github.com/vaexio/vaex-examples/blob/master/medium-gcp-ai-platform/ai-platform-deploy/docker/app.py 環境変数のAIP_STORAGE_URIからモデルっぽいパスを読み取ってるようにみえる。

vaexライブラリは自作？

[sakamomo554101]

https://vaex.io/docs/index.html へぇ、vaexって、DataFrameのライブラリなんか。（pandasみたいな）

VertexAIのエンドポイントにデプロイした場合、普通のパス処理でgcsとかにアクセスできるのかも？