surfriderfoundationeurope / etl

ETL (Extract Transform Load) Data Management process

MIT License

2 stars 0 forks source link

adding dags for bi processing #22

Closed virobidou closed 1 year ago

cl3m3nt commented 1 year ago

Bonjour Virginie,

merci pour ta PR. Est-ce que tu sais si tes DAGs vont pouvoir être pris en compte par Airflow sachant qu'ils sont dans un répertoire /bi ? Dans la configuration de prod, Airflow vient poller les fichiers ainsi:

subpath within the repo where dags are located

# should be "" if dags are at repo root
subPath: "src/batch/airflow"

virobidou commented 1 year ago

Oui airflow lit toujours tous les sous dossier à la recherche de dags. J'ai déployé en local et les dags apparaissent bien

cl3m3nt commented 1 year ago

Adding BI Airflow DAGs