MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Ajustar quantidade de requisições paralelas na execução dinâmica e timeout #608

Open lucasaug opened 3 years ago

lucasaug commented 3 years ago

Comportamento Esperado

É esperado que a quantidade de requisições paralelas disparadas pelo Pyppeteer esteja otimizada para equilibrar o nível de paralelismo com o overhead gerado. Além disso, é importante que a execução de passos não interfira no tempo de timeout esperado pelo comando page.goto (issue principal sobre esse ponto: https://github.com/MPMG-DCC-UFMG/C01/issues/609). Para isso é interessante que o usuário possa passar o tempo de timeout por um atributo, ou que esse valor seja calculado automaticamente considerando a quantidade de requisições paralelas no sistema.

Comportamento Atual

Atualmente o timeout padrão de 30 segundos é utilizado no comando page.goto, e o Pyppeteer faz 16 requisições simultâneas, também o valor padrão.

Passos para reproduzir o erro

Não aplicável

Especificações da Coleta

Não aplicável

rennancl commented 2 years ago

Hey team! Please add your planning poker estimate with ZenHub @louisaturn @matheusfebarbosa