search

parlametria / leggo-geral

GNU Affero General Public License v3.0
2 stars 1 forks source link

Erros que estão ocorrendo ao executar as Dags pelo airflow #81

Open fabio1079 opened 2 years ago

fabio1079 commented 2 years ago

Ao executar os comandos dos arquivo "update_leggo_data.sh" porem convertidos para o airflow, alguns erros estão ocorrendo, percebi que esses erros também ocorrem ao executar o update_leggo_data.sh. Da forma que ta o airflow, ele interrompe a execução quando há algum erro, então esses erros listados abaixo acabam por parar a execução das Dags no airflow.

process-pressao

Baixando dados de Twitter por proposição e semana... INFO [2021-12-22 17:29:25] Baixando dados de tweets sobre proposições entre 2021-09-22 e 2021-12-22 Error: lexical error: invalid char in json text. <!DOCTYPE html> (right here) ------^ Execution halted ERROR # 1 : Não foi possível baixar dados de pressão pelo Twitter.

update-pautas

Obtendo pautas para a semana: 06/12/2021 - 10/12/2021 Error : lexical error: invalid char in json text. Novo endereço >> agenda de reu (right here) ------^

process-leggo-twitter development

Iniciando processamento de parlamentares... Baixando dados... Error in function (type, msg, asError = TRUE) : Failed to connect to api.leggo.org.br port 443: Connection refused Calls: source ... eval -> -> curlPerform -> -> fun Execution halted

run-basic-pipeline

[1] "Baixando proposições mais comentadas da agenda direitos-humanos..." Error: lexical error: invalid char in json text. <!DOCTYPE html> (right here) ------^ In addition: Warning message: In max(popularity) : no non-missing arguments to max; returning -Inf Execution halted ERROR # 1 : Não foi possível processar os dados de criterios de destaque

run-pipeline-twitter development

Iniciando processamento de parlamentares... Baixando dados... Error in function (type, msg, asError = TRUE) : Failed to connect to api.leggo.org.br port 443: Connection refused Calls: source ... eval -> -> curlPerform -> -> fun Execution halted

danielhmarinho commented 2 years ago

@fabio1079 como comentei contigo, só pra gente deixar fixado. Da uma olhada novamente nos procedimentos do repositório leggo-geral pra confirmar os passos. Você também pode olhar a estrutura atual de prod com o acesso que te dei (cuidado para não mexer em nada dos diretórios). Lembra de rodar o pipeline no forma atual para comparar se os erros são do pipe ou de alguma alteração que você fez para adaptar ao airflow.