guialvesp1
commented
2 years ago Para que não tivesse a necessidade de utilizar uma instância somente para o agente prefect, optamos por realizar um teste utilizando um agente prefect do tipo Vertex.
Inicialmente foi realizado adaptações no pacote helm que utilizamos (https://github.com/prefeitura-rio/charts/pull/1 e https://github.com/prefeitura-rio/charts/pull/2).
Porém foi identificado que mesmo os recursos do flow sendo executados contra a infraestrutura do GCP na região de SP, não foi possível estabelecer uma conexão com o servidor ftp.
- Execução do flow: https://console.cloud.google.com/vertex-ai/locations/southamerica-east1/training/5467704199162626048/cpu?project=basedosdados-dev
- IP da origem: https://console.cloud.google.com/logs/query;cursorTimestamp=2022-09-20T23:59:16.646324281Z;query=resource.labels.job_id%3D%225467704199162626048%22%0Atimestamp%3D%222022-09-20T23:59:16.113451901Z%22%0AinsertId%3D%221k24wo6fdznlwi%22?project=basedosdados-dev
- Informações sobre o IP: https://iplocation.io/ip/35.247.210.200
Como notado, alguns serviços de Geo IP informam que o mesmo teve origem do Estados Unidos.
Também realizei um teste em uma instância, sendo ela na região de SP e com um IP público na mesma região, mas sem sucesso.
Efetuei um teste no ambiente da AWS e lá a localização de Geo IP e demais dnslookups apontam todos para a região de SP, mas também sem sucesso na conexão com o servidor ftp.
Atualmente, não é possível fazer deployment de pipelines que consomem FTPs do governo, já que muitos FTPs proibem acesso de IPs fora do país.
É preciso configurar uma VM com IP nacional para ter acesso ao prefect-apollo (através da VPN do Tailscale) e subir um Agent por lá.