2018007956
commented
5 months ago <docker-compose 사용 이유에 대한 ChatGPT의 답변> 작업 환경 전체를 하나의 이미지로 만드는 것도 가능하지만, 이 방법은 각 컴포넌트를 개별적으로 업데이트하거나 확장하는 데 있어 유연성이 떨어집니다. Docker Compose를 사용하면, 각 컴포넌트를 별도의 서비스로 관리할 수 있어, 전체 시스템을 더 효율적으로 관리하고 확장할 수 있습니다. -> 현재는 확장 및 유지 보수보다 배포가 우선인 상황이라 airflow 환경을 한 이미지로 말고, 추후 docker-compose 사용 고려
Background
변성윤 마스터님의 airflow 실습 영상에서 apache airflow의 docker-compose 템플릿을 사용하여 도커를 띄우시는 것을 보고, airflow는 docker-compose 를 사용하여 여러 컨테이너를 띄우면서 실행하는 것이 정석인가? docker compose 를 사용하는 이유가 뭘까? 의문 생김 airflow가 [스케쥴러 - 코드 파일 확인- 워커 실행] 이 프로세스로 진행되기 때문에 scheduler, worker 두 개만 있으면 dag 잘 실행됨 docker-compose에서 해당 컨테이너 외 다른 컨테이너를 지우고 실행시키면 오류 발생. 컨테이너들끼리 연결돼 있는 것으로 보임 일단 docker-compose를 사용하지 않고 airflow 작업 환경을 하나로 이미지화 하는 방향으로 진행하기로 함