apache airflow

[zimkjh]

Ref

airflow 란

• 데이터 워크 플로우 관리 도구
  • 전처리, training, prediction 과정 단계대로 수행하는데 사용
  • 에러 났을때 다시 진행, 수행 결과에 따라 단계 수행 등의 관리에 용이
  • python 기반
  • 분산처리 지원

airflow 설치

• pip3 install apache-airflow
• airflow initdb
  • 로컬에서 sqlite 사용. 초기화 시켜주기