Melhorar processo de carga de indicadores

TapiocaAberta / repasse-server

Programa para carregar os dados de transferência do governo federal e exibir os mesmo via REST para análise e cruzamento de dados

http://repasse.icmc.usp.br/

Creative Commons Zero v1.0 Universal

32 stars 4 forks source link

Melhorar processo de carga de indicadores #199

Closed jesuino closed 7 years ago

jesuino commented 7 years ago

A carga falha quando há um erro - alguns erros são esperados, como municípios que podem não mais existe ou alguns que o nome simplesmente não bate entre as bases de dados. Assim, o erro não pode parar o processo de carga.

Além do mais, não há tratamento de error e as transações não estão sendo executas de maneira individual, ou seja, falha um, falha todos.

jesuino commented 7 years ago

Também transformar a carga assíncrona - a carga tá levando mais de 5 minutos - transaction timeout - 5 minutes é muito tempo para uma transação.