Continuous Adaptation for Machine Learning System to Data Changes

[masatakashiwagi]

Continuous Adaptation for Machine Learning System to Data Changes

• Authors:

• Link: https://blog.tensorflow.org/2021/12/continuous-adaptation-for-machine.html

• Date:

どのようなもの？

議論はあるか？

次に読むべき記事は？

備考

[masatakashiwagi]

Introduction

• データ／コンセプトのドリフトによって引き起こされるデータの変化に対応するために，導入したMLモデルを継続的に評価し，必要に応じて再学習を行う必要がある
• データの変化を捉えるために，バッチ予測とモデル評価を組み合わせたワークフローを実装し，継続的な評価と再学習を行うプロジェクトの紹介
• このプロジェクトでは，TensorFlow Extended (TFX)を用いた実装にしている

[masatakashiwagi]

• モデルの学習パイプラインで使用するImportExampleGenについて，異なる分布からのデータセットをスパン番号を示すファイルシステム・パスを持つ別々のフォルダーに保持するように設計した
• 例えば，図に示すように，初期学習データセットとテストデータセットはSPAN-1／trainとSPAN-2／testに，ドリフトデータセットはSPAN-2／trainとSPAN-2／testにそれぞれ格納することが可能
• SPAN-1とSPAN-2，SPAN-1とSPAN-3など，状況に応じてデータを選んでモデルを学習させたい場合がある
• また，同じディストリビューションに属するデータセットであっても，GCSのバージョン管理機能の恩恵を受けることができる

[masatakashiwagi]

バッチ評価パイプライン

• TFXのカスタムコンポーネントで構成
• FileListGen
  • Vertex Predictionが要求するフォーマットに従って，Vertex AI上で現在配備されているモデルが一括予測を行うためにルックアップするテキストファイルを生成する
• BatchPredictionGen
  • FileListGenから用意されたテキストファイルに基づいてVertex Predictionを実行し，バッチ予測結果を含むファイル群を出力する
• PerformanceEvaluator
  • バッチ予測結果に基づいて平均精度を計算し，それが閾値より小さければFalseを出力する．出力がTrueの場合はパイプラインは終了する
• SpanPreparator
  • predictの結果がFalseの場合は，SpanPreparatorが生データのリストを圧縮してTFRecordファイルを準備し，それらの TFRecordをspan-2などの連続したスパン番号を名前に含む新しいフォルダに格納する
• PipelineTrigger
  • RuntimeParameterにモデルの学習に含めるべきデータのスパン番号を渡して，モデル学習パイプラインを起動する

[masatakashiwagi]

モデルの再学習（Model retraining）

• 一般的にビジネスコンテキストと他の多くの要因に依存する事前定義されたパフォーマンス閾値に基づいて，モデルを再トレーニングする必要があるかどうかを決定する

スパン番号でデータセットを管理する実装

Cost

• 全体で5ドルもかからない（学習込み）