MLflow

[robert-min]

MLflow

• 머신러닝 모델의 실험을 Tracking하고 model공유 및 배포할 수 있도록 지원하는 라이브러리
• 주요 기능
  • MLflow Tracking : 파라미터와 결과를 비교하기 위해 실험 결과를 저장
  • MLflow Projects : 머신러닝 코드를 재사용 가능하고 재현 가능한 형태로 포장, 포장된 형태를 다른 데이터 사이언티스트가 사용하거나 프러덕션에 반영
  • MLflow Models : 다양한 ML 라이브러리에서 모델을 관리하고 배포

[robert-min]

MLflow 설치

설치

# python version 확인
python --version

pip install mlflow

# mlflow 설치 확인
mlflow --version

[robert-min]

MLflow tracking server

mlflow ui
# default url http://localhost:5000 or http://127.0.0.1:5000

• mlflow ui 실행 시 --backend-store-uri, --default-artifact-root 옵션을 주지 않은 경우, mlflow ui 를 실행한 디렉토리에 mlruns 라는 디렉토리를 생성한 뒤, 이 곳에 실험 관련 데이터를 저장

[robert-min]

MLflow 기본 학습 파이프라인

import mlflow
import dvc.api
import warnings
import pandas as pd
import mlflow.sklearn
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from utils import fetch_logged_data

url = 'https://github.com/robert-min/bike_share_mlflow'
branch = 'feature/eda-process'
experiment_name = "origin"
ml_cols = ['season', 'holiday', 'workingday', 'weather', 'temp', 'atemp', 'humidity',
           'windspeed', 'year', 'month', 'day', 'hour', 'dow', 'woy']
model = ("LinearRegression", LinearRegression())

def dvc_open(path):
    with dvc.api.open(
        path = path,  ## 데이터 경로
        repo = url,  ## github repo 경로,
        rev =  branch ## 현재는 branch 기준
    ) as f:
        return pd.read_csv(f, sep=",")

def find_experiment_id(experiment_name):
    current_experiment = dict(mlflow.get_experiment_by_name(experiment_name))
    return current_experiment["experiment_id"]

def main():
    train_df = dvc_open('data/train.csv')
    X_train, X_test, y_train, y_test = train_test_split(train_df[ml_cols], train_df["count_log"]
                                                        , test_size=0.2, random_state=42)

    mlflow.set_tracking_uri("http://127.0.0.1:5000")
    mlflow.sklearn.autolog()

    pipe = Pipeline([("scaler", StandardScaler()), model])

    experiment_id = find_experiment_id(experiment_name)
    with mlflow.start_run(experiment_id = experiment_id, run_name = model[0]) as run:
        pipe.fit(X_train, y_train)
        print("Logged data and model in run: {}".format(run.info.run_id))

    # show logged data
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} ----------".format(key))
        print(data)

if __name__ == "__main__":
    warnings.filterwarnings("ignore")
    main()