Os campos da aba "Spider" na interface devem conter apenas configurações cuja edição pelo usuário seja segura, por exemplo: opções que alterarem funcionalidades globais do sistema não devem estar acessíveis por essa tela. Além disso, deve estar claro pela interface o que cada propriedade altera no sistema. Por fim, caso existam configurações que conflitem com possiveis valores de outros campos da interface, deve ser definida alguma forma de resolver esse conflito.
Comportamento Atual
Muitas das opções disponíveis no Scrapy Cluster estão acessíveis para os usuários através da aba "Spider" na configuração de um coletor. Campos como sc_global_page_per_domain_limit_timeout são globais para o cluster, e portanto não faz sentido permitir modificar o valor deles para cada coletor. Não sabemos se o campo sc_scheduler_ip_refresh pode interagir de maneiras não previstas com o rotacionador de IP do próprio sistema. Além disso, não temos certeza se existem outros campos dessa aba com problemas semelhantes.
Comportamento Esperado
Os campos da aba "Spider" na interface devem conter apenas configurações cuja edição pelo usuário seja segura, por exemplo: opções que alterarem funcionalidades globais do sistema não devem estar acessíveis por essa tela. Além disso, deve estar claro pela interface o que cada propriedade altera no sistema. Por fim, caso existam configurações que conflitem com possiveis valores de outros campos da interface, deve ser definida alguma forma de resolver esse conflito.
Comportamento Atual
Muitas das opções disponíveis no Scrapy Cluster estão acessíveis para os usuários através da aba "Spider" na configuração de um coletor. Campos como
sc_global_page_per_domain_limit_timeout
são globais para o cluster, e portanto não faz sentido permitir modificar o valor deles para cada coletor. Não sabemos se o camposc_scheduler_ip_refresh
pode interagir de maneiras não previstas com o rotacionador de IP do próprio sistema. Além disso, não temos certeza se existem outros campos dessa aba com problemas semelhantes.Passos para reproduzir o erro
Não aplicável.
Especificações da Coleta
Não aplicável.
Sistema
Branch
distributed-system
.