MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Problema na visualização de passos de coleta dinâmica #3676

Closed isabel-elise closed 2 years ago

isabel-elise commented 2 years ago

Comportamento Esperado

Visualizar os parâmetros inseridos nos passos de coleta dinâmica assim como especificado no arquivo de configuração da coleta.

Comportamento Atual

Alguns passos não exibem os parâmetros inseridos previamente, como se não estivessem especificados no arquivo de configuração. No entanto, a coleta ainda é executada como o esperado, mesmo que os parâmetros não apareçam na aba de edição.

Passos para reproduzir o erro

  1. Importar o arquivo de configuração abaixo
  2. Acessar a aba "Processamento dinâmico"
  3. Verirficar que alguns passos não exibem os parâmetros

Especificações da Coleta

{ "source_name": "[Realiza\u00e7\u00e3o-F01] Coleta de Servidores P\u00fablicos - Servidores Ativos de Itapeva", "base_url": "https://e-gov.betha.com.br/transparencia/01037-108/recursos.faces?mun=5QecS5u6hOnx7T0IfpzfTXDJDYqFSDUS", "obey_robots": false, "data_path": "home/isabel/itapeva/servidores_empregados_ativos", "request_type": "GET", "form_request_type": "POST", "antiblock_download_delay": 2, "antiblock_autothrottle_enabled": false, "antiblock_autothrottle_start_delay": 2, "antiblock_autothrottle_max_delay": 10, "antiblock_ip_rotation_enabled": false, "antiblock_ip_rotation_type": "tor", "antiblock_max_reqs_per_ip": 10, "antiblock_max_reuse_rounds": 10, "antiblock_proxy_list": "", "antiblock_user_agent_rotation_enabled": false, "antiblock_reqs_per_user_agent": 100, "antiblock_user_agents_list": "", "antiblock_insert_cookies_enabled": false, "antiblock_cookies_list": "", "captcha": "none", "has_webdriver": false, "webdriver_path": "", "img_xpath": "", "sound_xpath": "", "dynamic_processing": true, "skip_iter_errors": false, "explore_links": false, "link_extractor_max_depth": null, "link_extractor_allow_url": "", "link_extractor_allow_domains": "", "link_extractor_tags": "", "link_extractor_attrs": "", "link_extractor_check_type": false, "link_extractor_process_value": "", "download_files": false, "download_files_allow_url": "", "download_files_allow_extensions": "", "download_files_allow_domains": "", "download_files_tags": "", "download_files_attrs": "", "download_files_process_value": "", "download_files_check_large_content": true, "download_imgs": false, "steps": "{\"step\":\"root\",\"depth\":0,\"children\":[{\"step\":\"espere\",\"depth\":1,\"arguments\":{\"segundos\":\"4\"}},{\"step\":\"screenshot\",\"depth\":1,\"arguments\":{}},{\"step\":\"clique\",\"depth\":1,\"arguments\":{\"elemento\":\"\\\"//a[text()='Servidores/empregados ativos']\\\"\"}},{\"step\":\"espere\",\"depth\":1,\"arguments\":{\"segundos\":\"2\"}},{\"step\":\"screenshot\",\"depth\":1,\"arguments\":{}},{\"step\":\"para_cada\",\"depth\":1,\"iterator\":\"ano\",\"children\":[{\"step\":\"selecione\",\"depth\":2,\"arguments\":{\"xpath\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[1]/div[1]/span/div/span/div[1]/div[1]/label/span/select\\\"\",\"opcao\":\"ano\"}},{\"step\":\"espere\",\"depth\":2,\"arguments\":{\"segundos\":\"1\"}},{\"step\":\"se\",\"depth\":2,\"children\":[{\"step\":\"para_cada\",\"depth\":3,\"iterator\":\"mes\",\"children\":[{\"step\":\"selecione\",\"depth\":4,\"arguments\":{\"xpath\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[1]/div[1]/span/div/span/div[1]/div[2]/label/span/select\\\"\",\"opcao\":\"mes\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"1\"}},{\"step\":\"imprime\",\"depth\":4,\"arguments\":{\"texto\":\"f\\\"Coletando dados de {mes} de {ano}\\\"\"}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@id='mainForm:consultar']\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"6\"}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@id='btExpandirTodos']\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"1\"}},{\"step\":\"salva_pagina\",\"depth\":4,\"arguments\":{}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@id='btn_export_0']\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"2\"}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@id='mainForm:exportType:3']\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"1\"}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@title='Exportar consulta para o tipo de arquivo selecionado']\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"20\"}},{\"step\":\"screenshot\",\"depth\":4,\"arguments\":{}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[4]/div/div/div/div/div/div/span[3]/span/a\\\"\"}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"4\"}},{\"step\":\"para_cada\",\"depth\":4,\"iterator\":\"dado_servidor\",\"children\":[{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"dado_servidor\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"4\"}},{\"step\":\"screenshot\",\"depth\":5,\"arguments\":{}},{\"step\":\"executar_em_iframe\",\"depth\":5,\"arguments\":{\"xpath\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[4]/div/div/div/div/iframe\\\"\"}},{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[3]/div/div/div/form/div[1]/div/span[1]/div[2]/span[2]/input\\\"\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"2\"}},{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[3]/div/div/div/form/div[4]/div/div/div/div/div/table/tbody/tr[4]/td/input\\\"\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"1\"}},{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[3]/div/div/div/form/div[4]/div/div/div/div/div/div/span[1]/span/input\\\"\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"4\"}},{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[3]/div/div/div/form/div[4]/div/div/div/div/div/div/span[3]/span/a\\\"\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"2\"}},{\"step\":\"screenshot\",\"depth\":5,\"arguments\":{}},{\"step\":\"sair_de_iframe\",\"depth\":5,\"arguments\":{}},{\"step\":\"clique\",\"depth\":5,\"arguments\":{\"elemento\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[4]/div/div/a\\\"\"}},{\"step\":\"espere\",\"depth\":5,\"arguments\":{\"segundos\":\"2\"}}],\"iterable\":{\"call\":{\"step\":\"localiza_elementos\",\"arguments\":{\"xpath\":\"\\\"//tbody[*]//img\\\"\"}}}},{\"step\":\"clique\",\"depth\":4,\"arguments\":{\"elemento\":\"\\\"//input[@id='mainForm:novaConsulta']\\\"\"}},{\"step\":\"screenshot\",\"depth\":4,\"arguments\":{}},{\"step\":\"espere\",\"depth\":4,\"arguments\":{\"segundos\":\"4\"}}],\"iterable\":{\"call\":{\"step\":\"opcoes\",\"arguments\":{\"xpath\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[1]/div[1]/span/div/span/div[1]/div[2]/label/span/select\\\"\"}}}}],\"condition\":{\"call\":{\"step\":\"objeto\",\"arguments\":{\"objeto\":\"int(ano) >= 2021\"}}}}],\"iterable\":{\"call\":{\"step\":\"opcoes\",\"arguments\":{\"xpath\":\"\\\"/html/body/div[1]/div[1]/div/div/div/form/div[1]/div[1]/span/div/span/div[1]/div[1]/label/span/select\\\"\"}}}}]}", "encoding_detection_method": 1, "expected_runtime_category": "fast", "templated_url_parameter_handlers": [], "static_form_parameter_handlers": [], "templated_url_response_handlers": [], "static_form_response_handlers": [], "crawler_id": 310, "instance_id": "165512008958773" }

Screenshots

Exemplo de passos que não apresentam os elementos especificados: image

louisaturn commented 2 years ago

Após a entrada da PR https://github.com/MPMG-DCC-UFMG/C01/pull/5281 na branch dev, o erro relatado parou de ocorrer nos nossos testes. Por isso, estou fechando a issue :)