search

Team1-TU-tech / airflow

0 stars 0 forks source link

Cannot connect to amqp://guest:**@127.0.0.1:5672//: [Errno 111] #3

Open hamsunwoo opened 12 hours ago

hamsunwoo commented 12 hours ago

에러메세지

[2024-11-21 23:50:04,206: ERROR/MainProcess] consumer: Cannot connect to amqp://guest:**@127.0.0.1:5672//: [Errno 111] Connection refused.
Trying again in 12.00 seconds... (6/100)

에어플로우 env 설정

x-airflow-common-env: &airflow-common-env
  AIRFLOW__CORE__EXECUTOR: CeleryExecutor
  AIRFLOW__CORE__FERNET_KEY: ''
  AIRFLOW__CORE__SQL_ALCHEMY_CONN: 'postgresql+psycopg2://airflow:airflow@postgres/airflow'
  AIRFLOW__CELERY__BROKER_URL: 'redis://redis:6379/0'
  AIRFLOW__CELERY__RESULT_BACKEND: 'db+postgresql://airflow:airflow@postgres/airflow'
  AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "false"
  AIRFLOW__CORE__LOAD_EXAMPLES: "false"
  AIRFLOW__SCHEDULER__ENABLE_HEALTH_CHECK: 'true'
  AIRFLOW__WEBSERVER__DEFAULT_USER: "true"

증상 웹서버는 동작하나 워커가 task 를 다음 단계로 진행하지 못하는 문제가 있음

hamsunwoo commented 9 hours ago

원인

공식가이드의 yaml 의 worker 부분의 cmd 부분과 이를 위해 컨테이너 수행 권한을 root 로 변경하면서 발생한 문제

해결

worker 이미지를 Dockerfile 을 별도로 만들어 빌드 

FROM apache/airflow:2.10.3

USER root
RUN apt update && apt install -y git

USER airflow