[Manutenção] Novo raspador para Coruripe-AL

[LucasAlvws]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• [ ] O layout não se parece com nenhum caso da lista de layouts padrão
• [ ] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• [x] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• [x] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• [x] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• [x] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• [x] Explicitar o atributo de classe end_date não se fez necessário.
• [x] Não utilizo custom_settings em meu raspador.

Testes

• [x] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• [x] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• [x] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• [x] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Closes #1238

[LucasAlvws]

Uma coleta-teste por intervalo arbitrário al_coruripe_outubro2024.csv log_al_coruripe_outubro2024.log

[LucasAlvws]

Uma coleta-teste da última edição log_al_coruripe_last_edition.log al_coruripe_last_edition.csv

[LucasAlvws]

Rodei a consulta completa e houve alguns erros, mas não consegui entender exatamente o que são. Precisaria de uma ajuda para saber se posso resolve-los. al_coruripe.csv log_al_coruripe.log

[trevineju]

Boa, Lucas

Rodei a consulta completa e houve alguns erros, mas não consegui entender exatamente o que são. Precisaria de uma ajuda para saber se posso resolve-los.

Conferiu essa seção da documentação? https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#explorando-o-log

[LucasAlvws]

Olá, após verificar a documetação e fiz mais alguns testes e modificações, mas não consigo fazer o download dessas duas edições 2024-11-03 22:26:48 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://diario.coruripe.al.gov.br/diarios/732/download> (failed 3 times): 500 Internal Server Error 2024-11-03 22:26:48 [scrapy.core.engine] DEBUG: Crawled (500) <GET https://diario.coruripe.al.gov.br/diarios/732/download> (referer: None) 2024-11-03 22:26:48 [scrapy.pipelines.files] WARNING: File (code: 500): Error downloading file from <GET https://diario.coruripe.al.gov.br/diarios/732/download> referred in 2024-11-03 22:26:48 [scrapy.core.scraper] WARNING: Dropped: Validation failed! {'_validation': defaultdict(<class 'list'>, {'files': ['Field too short']}), 'date': '2024-07-04', 'edition_number': '727', 'file_urls': ['https://diario.coruripe.al.gov.br/diarios/732/download'], 'files': [], 'is_extra_edition': False, 'power': 'executive', 'scraped_at': '2024-11-04T01:22:19.541734Z', 'territory_id': ''}

2024-11-03 22:35:46 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://diario.coruripe.al.gov.br/diarios/128/download> (failed 3 times): 500 Internal Server Error 2024-11-03 22:35:46 [scrapy.core.engine] DEBUG: Crawled (500) <GET https://diario.coruripe.al.gov.br/diarios/128/download> (referer: None) 2024-11-03 22:35:46 [scrapy.pipelines.files] WARNING: File (code: 500): Error downloading file from <GET https://diario.coruripe.al.gov.br/diarios/128/download> referred in 2024-11-03 22:35:46 [scrapy.core.scraper] WARNING: Dropped: Validation failed! {'_validation': defaultdict(<class 'list'>, {'files': ['Field too short']}), 'date': '2022-05-02', 'edition_number': '124', 'file_urls': ['https://diario.coruripe.al.gov.br/diarios/128/download'], 'files': [], 'is_extra_edition': False, 'power': 'executive', 'scraped_at': '2024-11-04T01:29:37.820665Z', 'territory_id': ''}

mesmo tentando fazer o download na mão eu não estou conseguindo. Vocês conseguiriam testar os links para mim?

edição 124

edição 727