issues
search
jms0522
/
Streaming-Data
✅ 다양한 방법의 파이프라인을 구축합니다.
3
stars
0
forks
source link
⚒️ Airflow
#6
Open
jms0522
opened
3 months ago
jms0522
commented
3 months ago
08.11
rapid api를 통해 받은 데이터를 전처리 하는 자동화 과정에서 필요하다고 생각해 진행.
첨고:airflow docs
참고 tistory
jms0522
commented
3 months ago
❗️ Airflow Compose up
postgres와 redis를 함께 compose 했는데 redis는 hdfs로 변경 예정.
jms0522
commented
2 months ago
❗️ Airflow dag 생성 및 실행
kafka로 데이터 전송하는 Python file - BashOperator로 실행
08.11
첨고:airflow docs 참고 tistory