zerebom
commented
1 year ago MLflow2PROV: Enhancing Provenance in Machine Learning Workflows
https://github.com/mariusschlegel/mlflow2prov
概要
- MLflow2PROVは、MLflowのような機械学習実験管理システム（ML EMSs）に見られる実績管理能力の限界を解決を目指したツールを紹介している論文
- GitとMLflowからの活動と成果物をキャプチャするW3C-PROV準拠の実績モデルを導入している
問題提起
- 典型的なML EMSsは機械学習成果物を管理する構造化された方法を提供してるが、包括的な実績追跡が多くの場合に欠けている。なぜなら
- EMSsはプロジェクトの中盤から導入されることが多く、実装初期の遍歴までは負えない
- 実験でトラッキングしているハイパラやモデルの以外のこと(ex. コードベースの開発やその著者など)はデータとして持っていない
解決策
- W3C-PROV標準というプロヴェナンス（出典または由来）のための一連の仕様に準拠したモデルをレンダリングする
- これには、GitおよびMLflowの出力を用いる。ファイルリビジョン、コミット履歴、および機械学習ラン（メトリクス、パラメータ、タグなど）といったデータを利用
- CLIツールとして利用可能。svgなどでモデルを出力する。情報を抽出、読み込み、保存、結合、変換、および表示するコマンドを備えたコマンドラインインターフェースを提供している
Output例
図が細かいので一部だけ切り取っている。
感想
- MLFlowのような実験トラッキングツールとGitのdiffやlogを組み合わせて実験のトレーサビリティを上げるというアプローチは面白そう
- Function Callingを使って、ファジーに重要なデータを抽出 → W3C-PROVに入力するとかすると、より重要なエンティティだけグラフに含めることができるかも
- readme見ると、動かすのが難しそう...
nogawanogawa
Hayashi-Yudai
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev.https://github.com/wantedly/machine-learning-round-table/issues/208
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！