AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.
[x] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
[x] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
[x] Explicitar o atributo de classe end_date não se fez necessário.
[x] Não utilizo custom_settings em meu raspador.
Testes
[x] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
[x] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
[x] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.
Verificações
[x] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
[x] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
[x] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Este Pull Request resolve a issue #1296, que abordava a necessidade de ajustar o raspador para o site da Associação de Municípios do Amazonas. Devido a mudanças no layout e no padrão de URL do site, foi necessário adaptar o código e criar um novo spider.
Embora o layout do site não siga mais os padrões anteriores, as URLs dos PDFs mantêm uma estrutura previsível que permite a criação de um loop para geração das URLs. A abordagem escolhida foi similar à utilizada para corrigir o spider rj_niteroi, mas adaptada ao novo padrão de data da URL do site atual, no formato YYYYMMDD.
Essas alterações garantem que o raspador identifique corretamente os arquivos PDFs diários, mantendo a robustez do sistema para futuras atualizações de layout.
O intervalo arbitrário do teste 2 foi entre as datas 1-12-2023 ~ 31-10-2024.
Embora a issue esteja concluída, identifiquei pontos que ainda podem ser melhorados. Por exemplo, em alguns dias há duas publicações distintas (um diário e um extraordinário), como observado no dia 29-10-2024: publicação do diário e publicação extraordinária. O raspador atualmente não consegue distinguir entre esses tipos de publicações, resultando em dias tratados como vazios.
Além disso, ao acessar dias sem publicações válidas, o raspador retorna pastas com arquivos contendo o HTML da página. Seria ideal que ele ignorasse essas páginas vazias, assegurando que apenas arquivos PDF funcionais sejam coletados. Embora eu não tenha tido tempo suficiente para explorar cada um desses problemas, encorajo outros colaboradores focarem nessa issue.
EDIT: O commit que atualiza o rj_niteroi (issue designada a outra pessoa, mas eu decidi brincar com isso) está vazio. Transferi essas alterações para uma branch minha, mas o commit permaneceu. ^^
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
Xcada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
custom_settingsem meu raspador.Testes
.logdeste teste está anexado na PR..loge.csvdeste teste estão anexados na PR..loge.csvdeste teste estão anexados na PR.Verificações
.csvgerados pela minha coleta conforme a documentação não encontrando problemas..loggerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
Este Pull Request resolve a issue #1296, que abordava a necessidade de ajustar o raspador para o site da Associação de Municípios do Amazonas. Devido a mudanças no layout e no padrão de URL do site, foi necessário adaptar o código e criar um novo spider.
Embora o layout do site não siga mais os padrões anteriores, as URLs dos PDFs mantêm uma estrutura previsível que permite a criação de um loop para geração das URLs. A abordagem escolhida foi similar à utilizada para corrigir o spider rj_niteroi, mas adaptada ao novo padrão de data da URL do site atual, no formato YYYYMMDD.
Essas alterações garantem que o raspador identifique corretamente os arquivos PDFs diários, mantendo a robustez do sistema para futuras atualizações de layout.
Além disso, pude encontrar o start_date correto (no caso, a data é 2009-10-19: https://diariomunicipalaam.org.br/visualizar-publicacao/20091019).
O intervalo arbitrário do teste 2 foi entre as datas 1-12-2023 ~ 31-10-2024.
Embora a issue esteja concluída, identifiquei pontos que ainda podem ser melhorados. Por exemplo, em alguns dias há duas publicações distintas (um diário e um extraordinário), como observado no dia 29-10-2024: publicação do diário e publicação extraordinária. O raspador atualmente não consegue distinguir entre esses tipos de publicações, resultando em dias tratados como vazios.
Além disso, ao acessar dias sem publicações válidas, o raspador retorna pastas com arquivos contendo o HTML da página. Seria ideal que ele ignorasse essas páginas vazias, assegurando que apenas arquivos PDF funcionais sejam coletados. Embora eu não tenha tido tempo suficiente para explorar cada um desses problemas, encorajo outros colaboradores focarem nessa issue.
Abraços!
teste3_am_associacao_mun.csv teste1_am_associacao_mun.log teste1_am_associacao_mun.csv teste2_am_ssociacao_mun.csv teste_2_am_associacao_mun.log teste3_am_associacao_mun.log
EDIT: O commit que atualiza o rj_niteroi (issue designada a outra pessoa, mas eu decidi brincar com isso) está vazio. Transferi essas alterações para uma branch minha, mas o commit permaneceu. ^^