search

gestaogovbr / Ro-dou

Gerador de DAGs no Apache Airflow para fazer clipping do Diário Oficial da União.
https://gestaogovbr.github.io/Ro-dou/
GNU General Public License v3.0
66 stars 17 forks source link

Evoluir docker image para incluir código Ro-dou e plugin #52

Closed nitaibezerra closed 1 year ago

nitaibezerra commented 1 year ago

Atualmente para executar o Ro-dou além de executar a imagem contendo o Airflow também é necessário mapear o volume pro código fonte do Ro-dou e para o plugin FastETL, além do volume pros YAMLs.

Proponho evoluirmos a imagem para conter tudo menos os YAMLs, ficando assim como único volume necessário. Isso vi simplificar o deploy ro-dou além de tornar o deploy mais rápido já que não será mais necessário clonar 2 repositórios e movê-los dinamicamente para dentro do container em tempo de execução.

edulauer commented 1 year ago

Nitai, só para complementar...Temos uma história (que inclusive está nesta sprint), prevendo transformar o FastETL em um package, tornando assim mais fácil a instalação (via pip install) e importação da biblioteca no código, descartando assim a necessidade de mapear o volume para o FastETL.

nitaibezerra commented 1 year ago

Boa ideia. Pensei nisso ontem. Recentemente usei o Poetry pra empacotar algumas coisas. Se quiserem posso mostrar como faz.

edulauer commented 1 year ago

@nitaibezerra , temos interesse sim! Podemos combinar um horário?