Com o #919, passamos também a adotar a criação automática de spiders a partir dos achados do mapeamento.
Visto que novas rodadas de mapeamento e a consequente re-criação automática de raspadores a partir dele serão feitas periodicamente, facilita o achado de diferenças (diff) se todos os códigos já integrados no repositório seguirem o padrão.
A mais recente rodada reorganizou os raspadores integrados sem mudar suas informações (mesmo territory_id, start_date, base_url ou start_urls, etc). Alguns mudaram suas informações, seja de algum campo específico do raspador, seja ele inteiro.
Esta tarefa registra o progresso das etapas de padronização. Tendo 3 subtarefas:
[x] 1. Atualizar os raspadores sem mudar seus campos:
1157
[ ] 2. Atualizar e revisar todos os raspadores que tiveram metadados alterados:
1158
[x] 3. Atualizar e revisar raspadores 'individuais' que migraram para raspadores padronizados:
Com o #919, passamos também a adotar a criação automática de spiders a partir dos achados do mapeamento.
Visto que novas rodadas de mapeamento e a consequente re-criação automática de raspadores a partir dele serão feitas periodicamente, facilita o achado de diferenças (diff) se todos os códigos já integrados no repositório seguirem o padrão.
A mais recente rodada reorganizou os raspadores integrados sem mudar suas informações (mesmo
territory_id,start_date,base_urloustart_urls, etc). Alguns mudaram suas informações, seja de algum campo específico do raspador, seja ele inteiro.Esta tarefa registra o progresso das etapas de padronização. Tendo 3 subtarefas:
1157
1158
1159