Adiciona 6 raspadores de #1090

[jreagle]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• [ ] O layout não se parece com nenhum caso da lista de layouts padrão
• [ ] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• [x] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• [x] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• [ ] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• [x] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• [x] Explicitar o atributo de classe end_date não se fez necessário. (Obs.: Apenas to_itapiratins.py fugiu a esse padrão)
• [x] Não utilizo custom_settings em meu raspador.

Testes

• [x] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• [x] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• [x] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• [x] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona 6 raspadores de municípios replicados a partir do padrão BaseDOBR mencionado na https://github.com/okfn-brasil/querido-diario/issues/1090#issuecomment-2372690577:

Code	City
1703909	Caseara - TO
1710904	Itapiratins - TO
1713205	Miracema - TO
1713957	Muricilândia - TO
1718865	Santa Fé do Araguaia - TO
1720978	Talismã - TO

[jreagle]

Resultado dos Testes

1703909 | Caseara - TO

between_collecttest_to_caseara_20240101_20240131.csv between_collecttest_to_caseara_20240101_20240131.log full_collecttest_to_caseara_20240927.csv full_collecttest_to_caseara_20240927.log last_collecttest_to_caseara_20240926.csv last_collecttest_to_caseara_20240926.log

1710904 | Itapiratins - TO (Última Edição: 10/01/2024 => "end_date")

between_collecttest_to_itapiratins_20230101_20230131.csv between_collecttest_to_itapiratins_20230101_20230131.log full_collecttest_to_itapiratins_20240927.csv full_collecttest_to_itapiratins_20240927.log last_collecttest_to_itapiratins_20240110.csv last_collecttest_to_itapiratins_20240110.log

1713205 | Miracema - TO

between_collecttest_to_miracema_20240101_20240131.log between_collecttest_to_muricilandia_20240101_20240131.csv full_collecttest_to_miracema_20240927.csv full_collecttest_to_miracema_20240927.log last_collecttest_to_miracema_20240926.csv last_collecttest_to_miracema_20240926.log

1713957 | Muricilândia - TO

between_collecttest_to_muricilandia_20240101_20240131.csv between_collecttest_to_muricilandia_20240101_20240131.log full_collecttest_to_muricilandia_20240927.csv full_collecttest_to_muricilandia_20240927.log last_collecttest_to_muricilandia_20240924.csv last_collecttest_to_muricilandia_20240924.log

1718865 | Santa Fé do Araguaia - TO

between_collecttest_to_santa_fe_do_araguaia_20240101_20240131.csv between_collecttest_to_santa_fe_do_araguaia_20240101_20240131.log full_collecttest_to_santa_fe_do_araguaia_20240927.csv full_collecttest_to_santa_fe_do_araguaia_20240927.log last_collecttest_to_santa_fe_do_araguaia_20240924.csv last_collecttest_to_santa_fe_do_araguaia_20240924.log

1720978 | Talismã - TO

between_collecttest_to_talisma_20240101_20240131.csv between_collecttest_to_talisma_20240101_20240131.log full_collecttest_to_talisma_20240927.csv full_collecttest_to_talisma_20240927.log last_collecttest_to_talisma_20240912.csv last_collecttest_to_talisma_20240912.log

Visão Geral

• Nenhum dos logs capturou erro apenas, "warnings" (ScrapyDeprecationWarning)
• Os registros em CSV não apresentam discrepância e conferem com arquivos efetivamente salvos em /data
• Amostra de PDFs abertos não apresentou problemas e nem corrupção de arquivos.

Esqueci de alguma coisa @trevineju ???

[ddevdan]

Vou revisar esse

[trevineju]

show, @jreagle! Parabéns pela PR! 🎈

Tá com @ddevdan revisar, mas vou deixar só um item de atenção...

1710904 | Itapiratins - TO (Última Edição: 10/01/2024 => "end_date")

Isso aponta que o município parou de usar esse site. Coincidentemente, atualizei a docs oficial com orientações sobre isso ontem mesmo: diários oficiais em diferentes lugares

Basicamente, não poderemos colocar esse raspador em produção enquanto não tivermos o do site atual também. Mas não é um problema o código existir no repositório, só a coleta não vai ser agendada por enquanto.

Deixo a critério de vocês o que decidir, em particular de @ddevdan como revisor. Algumas possibilidades são:

• Seguir com a PR incluindo o municipio, só atualizando pra indicar que é um raspador de site descontinuado. As modificações necessárias estão na docs.
• Remover o raspador da PR e seguir em frente sem esse caso.
• Tentar achar o site novo de Itapiratins - TO, analisar a situação dele e decidir o que fazer depois disso.
• alguma outra ideia que vocês tenham, rs

[trevineju]

Gente, como que pra dar merge iria precisar atualizar essa PR com a main de qualquer forma, meu pre-commit já vai arrumar o erro de lint. Então, como @ddevdan aprovou, já vou ajustar por aqui, tudo bem? (eu já tava colocando novos raspadores no ar e era mais prático pra mim colocar estes juntos tudo de uma vez, :3 )

Acho que não vai prejudicar o aprendizado de @jreagle visto que erros de lint vão aparecer sempre (heheh), então vai ter mais oportunidades pra treinar.

Deixo o print abaixo para mostrar o arquivo que o linter tava reclamando

[ddevdan]

Gente, como que pra dar merge iria precisar atualizar essa PR com a main de qualquer forma, meu pre-commit já vai arrumar o erro de lint. Então, como @ddevdan aprovou, já vou ajustar por aqui, tudo bem? (eu já tava colocando novos raspadores no ar e era mais prático pra mim colocar estes juntos tudo de uma vez, :3 )

Acho que não vai prejudicar o aprendizado de @jreagle visto que erros de lint vão aparecer sempre (heheh), então vai ter mais oportunidades pra treinar.

Deixo o print abaixo para mostrar o arquivo que o linter tava reclamando

okay. valeu ju

[trevineju]

Parabéns pela contribuição, @jreagle! ❤️ E pela primeira revisão, @ddevdan! ❤️❤️

Vocês foram perfeitos ❤️

[ddevdan]

Parabéns pela contribuição, @jreagle! ❤️ E pela primeira revisão, @ddevdan! ❤️❤️

Vocês foram perfeitos ❤️

<3<3 obggg

[jreagle]

Parabéns pela contribuição, @jreagle! ❤️ E pela primeira revisão, @ddevdan! ❤️❤️

Vocês foram perfeitos ❤️

Pessoal! Desculpa o sumiço, mas tô na área novamente! Aproveitando o feriadão prolongado pra tirar o atraso das contribuições !

Que bom que deu tudo certo por aqui! @ddevdan obrigado p/ disponibilidade e cuidado na revisão dessa minha primeira PR pro QD! A primeira vez a gente nunca esquece, né! 😂

@trevineju gratidão pelos aprendizados e paciência de sempre! 💜

Bora pra próxima! 🚀