Converter novo pipeline de produção para o airflow

parlametria / leggo-geral

GNU Affero General Public License v3.0

2 stars 1 forks source link

Converter novo pipeline de produção para o airflow #79

Open danielhmarinho opened 3 years ago

danielhmarinho commented 3 years ago

[x] Atualizar pipeline do airflow de acordo com o cron de produção atual;
[ ] Importar banco do twitter com tweets_raw;
[ ] Rodar pipeline completo utilizando o csv de produção;
[ ] Integrar o airflow ao leggo-geral para que seja adicionado ao ambiente de pipeline;

Resultado esperado: Verificar se dados estão atualizados de acordo com o ambiente de produção;

danielhmarinho commented 3 years ago

@fabio1079 conversa com a @lorryaze antes de adicionar ao pipeline. A issue dela envolve a refatoração do makefile e a criação de um ambiente de desenvolvimento para rodar o pipeline

danielhmarinho commented 3 years ago

@fabio1079 me reporta o andamento, por favor

fabio1079 commented 3 years ago

Estou com um problema nos links dos volumes que eu tinha criado, ai quando a pipeline é executada os volumes estão vazios.

volumes_quebrados

Dentro dos volumes(seguindo o link) os dados estão lá, mas quando o DockerOperator é executado eles estão vazios. já tentei recriar os volumes mas o problema persiste. Então acabei não progredindo muito, infelizmente.

danielhmarinho commented 3 years ago

@fabio1079 bem esquisito isso aqui. Deu uma olhada na documentação sobre os volumes no na parte do docker operator? Nao acho que seja algo na sua máquina né