search

gestaogovbr / Ro-dou

Gerador de DAGs no Apache Airflow para fazer clipping do Diário Oficial da União.
https://gestaogovbr.github.io/Ro-dou/
GNU General Public License v3.0
66 stars 17 forks source link

Duplicar DAG para Edições Extras #79

Open edulauer opened 4 months ago

edulauer commented 4 months ago

Em casos em que há necessidade de buscar nas edições extras, criar uma forma de duplicar a DAG com as mesmas configurações do YAML principal porém com o scheduler rodando ao final do dia. Na maioria dos casos, o cliente negocial quer o relatório das edições comuns logo pela manhã, porém as edições extras são publicadas somente ao longo do dia e acabam não aparecendo nessa primeira extração. Para contornar essa situação geralmente temos duplicado o arquivo YAML de dag_conf com dois schedules diferentes. Isso dificulta um pouco a manutenção.

A ideia seria talvez um novo parâmetro que faça essa duplicação com horários de execução diferenciados e trazendo somente os resultados das edições extras na segunda execução do dia.

augusto-herrmann commented 4 months ago

Talvez algo assim? Podendo opcionalmente dividir entre normal e extra.

schedule:
    normal: 0 8 * * MON-FRI
    extra: 0 18 * * MON-FRI

Se existir extra, ele vale para as edições extras. O que acha?

edulauer commented 4 months ago

@augusto-herrmann Excelente, boa sugestão!