search

gestaogovbr / Ro-dou

Gerador de DAGs no Apache Airflow para fazer clipping do Diário Oficial da União.
https://gestaogovbr.github.io/Ro-dou/
GNU General Public License v3.0
66 stars 17 forks source link

Parametrizar as funções de callback do Airflow #55

Open edulauer opened 1 year ago

edulauer commented 1 year ago

Problema Os parâmetros de callback do Airflow _on_retrycallback e _on_failurecallback estão setados como None na geração de DAGs, não permitindo a notificação por email/slack/etc. quando a DAG falha na execução (o que pode ocorrer quando houver instabilidade na API da IN ou QD, no airflow, no banco de dados, servidor de email etc.).

Solução Incluir os parâmetros no arquivo yaml para que quando for realizado o parser e geração da DAG os parâmetros estejam configurados de acordo com a necessidade do usuário.

vitorbellini commented 1 year ago

Boa! Na real acho que tinha que "parsear" todos os parâmetros da classe DAG