chimuichimu
commented
8 months ago Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platform
概要
Netflixのデータ基盤におけるAuto Remediation（自動復旧）の取り組みについての記事。ジョブが失敗したときに、ルールベースと機械学習モデルを組み合わせて自動的に復旧する仕組みを本番環境に導入しており、この仕組みにより運用の効率化を実現している。
背景
- Netflixのデータ基盤では1日あたりに数十万のワークフローと百万のジョブが実行されている
- ジョブが失敗した時の調査、復旧を人手で行うのは運用の負荷が大きい
- 従来NetflixはPensiveというルールベースでジョブ失敗時の診断と再実行を行う仕組みを作っていたが、システムが大きくなるにつれ、以下のような課題が生じた
- 非一時的なエラー（例：メモリ設定に由来するエラー）に対処できない
- ルールは人手で追加しなければならず、それをしないと分類できないエラーが増えていく
MLモデルを使ったAuto Remediation (自動復旧)
仕組み
- 従来のルールベースによる診断とMLモデルによるアクションの提案を組み合わせた仕組み
- ルールベース（Pensive）
- ジョブ失敗の通知をスケジューラから受け取り、関連するログを収集
- ログの情報から正規表現でエラーを特定し、取るべきアクションを判断する
- MLモデル（Nightingale）
- Prediction Model
- ジョブが再実行で成功する確率の予測
- retry実行時のコスト（＄）の予測
- Optimizer
- 上記２つの予測に基づき、最適（＝再実行の失敗確率✖️コストが最も小さい）なSparkの設定の提案
- Prediction Model
本番運用での成果
- メモリ設定に由来するエラーの56%を、人間が介入することなく自動で解消
- 再実行に係るコストを50%削減
Hayashi-Yudai
hakubishin3
nogawanogawa
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！
発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！
What
Wantedly では隔週水曜日に
といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！
prev: https://github.com/wantedly/machine-learning-round-table/issues/235