MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Filtrar e redefinir campos da aba Spider durante criação de coleta #995

Open lucasaug opened 2 years ago

lucasaug commented 2 years ago

Comportamento Esperado

Os campos da aba "Spider" na interface devem conter apenas configurações cuja edição pelo usuário seja segura, por exemplo: opções que alterarem funcionalidades globais do sistema não devem estar acessíveis por essa tela. Além disso, deve estar claro pela interface o que cada propriedade altera no sistema. Por fim, caso existam configurações que conflitem com possiveis valores de outros campos da interface, deve ser definida alguma forma de resolver esse conflito.

Comportamento Atual

Muitas das opções disponíveis no Scrapy Cluster estão acessíveis para os usuários através da aba "Spider" na configuração de um coletor. Campos como sc_global_page_per_domain_limit_timeout são globais para o cluster, e portanto não faz sentido permitir modificar o valor deles para cada coletor. Não sabemos se o campo sc_scheduler_ip_refresh pode interagir de maneiras não previstas com o rotacionador de IP do próprio sistema. Além disso, não temos certeza se existem outros campos dessa aba com problemas semelhantes.

Passos para reproduzir o erro

Não aplicável.

Especificações da Coleta

Não aplicável.

Sistema

Branch distributed-system.

lucasaug commented 2 years ago

Hey team! Please add your planning poker estimate with ZenHub @elvesrodrigues @rennancordeiro