prefeitura-rio / pipelines

Gerenciador de fluxos de captura e subida de dados no datalake da Prefeitura do Rio de Janeiro | https://docs.dados.rio/guia-desenvolvedores/pipelines/
https://prefect.dados.rio/
Other
36 stars 0 forks source link

[gtfs_captura_tratamento] Adiciona schedule para runs #571

Closed eng-rodrigocunha closed 10 months ago

eng-rodrigocunha commented 10 months ago

Ao utilizar a task create_flow_run.map, por padrão, todas as runs são criadas simultaneamente. Isso gera um uso excessivo de recursos no pod. Para tentar otimizar o uso de recursos, será fornecido o argumento scheduled_start_time com uma lista de timestamps para execução sequenciada de todas as runs, sem necessidade de execução simultânea.

github-actions[bot] commented 10 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

Os seguintes usuários devem ser avisados sobre a alteração: