sakamomo554101 / YouyakuAI

日本語用の要約を行うデモサービス
0 stars 0 forks source link

Vertex Prediction(summarizer)の処理で、前処理(tokenizer)とモデルの処理を分離し、model monitoringのドリフト・スキューが正常に動作するようにする #52

Open sakamomo554101 opened 2 years ago

sakamomo554101 commented 2 years ago

概要

Vertex Prediction(summarizer)の処理で、 前処理(tokenizer)とモデルの処理を分離し、 model monitoringのドリフト・スキューが正常に動作するようにする。

背景

モデルモニタリングで、入力が文字列(csv文字列)の場合、カテゴリカル変数と見做され、特徴量化が正しく行われないため、ドリフト・スキュー検知が正常に動作しない。

そこで、Prediction API側ではモデル動作のみとし、前処理(後処理も)を、別のAPIで実施するように対応する。