splor-mg / dados-sisor

Conjunto de dados da Lei Orçamentária Anual (LOA)
0 stars 0 forks source link

SISOR está bloqueando requisições de IPs internacionais #10

Open fjuniorr opened 1 month ago

fjuniorr commented 1 month ago

A seguinte requisição HTTP usando curl é uma simulação do que acontece durante o make extract:

curl -X POST 'https://www.orcamento.mg.gov.br/aoad/AtGeraBaseExcelNova.jsp' \
-H 'User-Agent: splor' \
-d 'sAnoSelecao=2025' \
-d 'sTabelaSelec=1' \
-d 'CmNomePlanilha=BASE_ORCAM_DESPESA_ITEM_FISCAL.xls' \
-d 'selecaoAno=2025' \
-d 'sBaseSelec=1'

Os erros 403 Forbidden estão acontecendo porque está havendo um bloqueio de IPs internacionais. A documentação dos IPs utilizados pelo Github Actions estão em https://docs.github.com/en/actions/using-github-hosted-runners/about-github-hosted-runners/about-github-hosted-runners#ip-addresses.

Pra chegar a essa conclusão fiz a mesma requisição usando uma VPN com o IP dos EUA (1) e uma com o meu IP normal (2) (Somente a com o meu IP normal funcionou):

image

Estou pensando se vale a pena entrar em contato com a PRODEMGE pra entender a motivação dessa alteração nas regras de segurança de rede.

fjuniorr commented 1 month ago

Pensando que recentemente tivemos o problema de https://github.com/splor-mg/painel-admin-obz-2025/issues/6 e o agendador de tarefas do windows tem se mostrado problemático talvez o caminho aqui seja encontrar alguma ferramenta que possamos usar para agendar a execução em nossos computadores da CAMG no estilo de https://schedule.readthedocs.io/en/stable/