socar-inc / techblog-comments

utterances를 사용해 기술 블로그 댓글을 저장합니다
1 stars 0 forks source link

data/2022/11/09/advanced-airflow-for-databiz #30

Open utterances-bot opened 1 year ago

utterances-bot commented 1 year ago

전사 구성원들이 사용하는 배치 데이터 플랫폼 만들기 - Airflow Advanced - SOCAR Tech Blog

Airflow 운영 고도화를 위한 고군분투기

https://tech.socarcorp.kr/data/2022/11/09/advanced-airflow-for-databiz.html

eeyoontaek commented 1 year ago

안녕하세요! 작성해주신 글 잘 읽었습니다 :) 작업자들의 환경변수 관리가 궁금해서 댓글 남깁니다!

DAG를 작성하시는 작업자분들이 필요한 connections, variables와 python script에 필요한 환경변수는 어떻게 관리하시나요?

또한 connections와 variables 는 Secrets backend를 사용한다고 하셨는데, 해당 정보들을 작업자가 GCP secret manager에 직접 등록하는지, 아니면 쉽게 등록하게끔 관리자가 추상화 한건지도 궁금해요!