turicas / brasil.io

Backend do Brasil.IO (para código dos scripts de coleta de dados, veja o link na página de cada dataset)
https://brasil.io/
GNU General Public License v3.0
918 stars 145 forks source link

Permitir execução remota do comando import_data #358

Open berinhard opened 4 years ago

berinhard commented 4 years ago

Depende das issues #356 e #357 estarem prontas

Adicionar o commando import_data a uma tarefa assíncrona que poderá ser executada sob demanda (exemplo: através de uma chamada na API, de uma management command, de apertar um botão no Django Admin ou mesmo a partir de outra tarefa, como a que checa duas planilhas e determina que elas estão "ready to be deployed"). Funcionaria assim: a partir de uma chamada na API, por exemplo, o sistema geraria uma tarefa assíncrona que:

A- baixaria o arquivo TableFile da tabela correspondente, B- executaria a série de funções do import_data para esse arquivo nesse dataset/tabela, C- enviaria algum tipo de notificação (pode ser email) para o usuário que disparou a ação.

Isso permite uma atualização mais automática dos dados

turicas commented 4 years ago

O ideal seria ter um log dos passos executados durante o processo, exemplo:

Dessa forma inclusive daria pro usuário pegar pela API o log de importaçãoo ou receber por email quando terminar (com ou sem erro).

Isso é basicamente um log de tarefa assíncrona. talvez dê pra aproveitar algo do rq (mas acho que isso deveria ficar guardado no PostgreSQL para que esse histórico nao se perca).

turicas commented 4 years ago