Adiciona mapeador ATENDE

[AlexJBSilva]

Implementa a sugestão apresentada em 919 (comment)

NOTA: Link para a página de cada município: https://{city}.atende.net

Por não ser um domínio governamental (diferente de .{uf}.gov.br), apresenta o problema conhecido: encontra URLs de interesse, mas vincula na cidade errada.

Considerações sobre desempenho:

1. Ao retirar o http dos protocolos de mapeamento e não tentar mapear o link 'base' para a página de cada município {protocol}://{city}.atende.net, o tempo para mapear 500 cidades (tempo entre backups parciais) foi reduzido de 2h40min para 25 minutos.

AO ABRIR um Pull Request de um novo raspador (spider), marque com um X cada um dos items do checklist abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.

Checklist - Novo Mapeador

• [x] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
• [ ] Você verificou que não existe nenhum erro nos logs (log_count/ERROR igual a zero). [ N.A.: Não se aplica, pois ALGUNS erros são esperados no processo de mapeamento. ]

Descrição

Adiciona mapeador ATENDE Amplia solução para #919

[trevineju]

@AlexJBSilva, será que ao invés de enviar uma PR pra main, você não conseguiria enviar pra branch class-mapeador?

[trevineju]

Aliás, não tem problema o mapeador não estar excelente. Você tem o arquivo de mapeamento que ele gerou? Das cidades contempladas?

[AlexJBSilva]

@AlexJBSilva, será que ao invés de enviar uma PR pra main, você não conseguiria enviar pra branch class-mapeador?

@trevineju, eu abri o PR para a branch class-mapeador. Está aparecendo para você algo diferente do que está aqui (print abaixo)?

---

Aliás, não tem problema o mapeador não estar excelente. Você tem o arquivo de mapeamento que ele gerou? Das cidades contempladas?

Tenho o arquivo de mapeamento sim. :) dados_mapeamento_20231123.csv Aviso: o csv.DictWriter() salvou o arquivo com ANSI aqui no Windows, ao invés de UTF-8.

[AlexJBSilva]

Atualiza o mapeador para 'mitigar' o problema de vincular a URL na cidade errada:

1. Aproveitando a informação de email .gov.br encontrada em algumas páginas, extrai o nome da cidade e a sigla do estado e insere como lista logo após a URL de origem da informação.
2. Como teste, também extrai o nome da cidade e a sigla do estado do bloco de mapa/endereço (tem pelo menos mais uma variante de modelo de classe nas páginas que não está sendo extraída).

Extrai todos os links para 'diario' e insere logo após a URL da página de origem da informação. Assim fica mais fácil identificar os links válidos para o D.O. da cidade.

---

Destaques

• Muitas páginas possuem carregamento dinâmico de componentes (via javascripit) e isso afeta a precisão do validador.
• Tem pelo menos dois exemplos de layout:
  1. Campo Mourão /?pg=diariooficial, Gravataí /diariooficial/edicao

2. Camaquã: /cidadao/pagina/diario-oficial

---

Arquivos

• .csv com o resultado: dados_mapeamento_20231124_atende.csv

• .xlsx incluindo a validação manual se o estado / cidade onde as urls foram vinculadas estão corretos: dados_mapeamento_20231124_atende.xlsx

[trevineju]

Obrigada pela PR, @AlexJBSilva!