Novo raspador para Axixa_do_Tocantins-TO

FabioCalabrio commented 1 month ago

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

[ ] O layout não se parece com nenhum caso da lista de layouts padrão
[ ] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
[X] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

[ ] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
[ ] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
[ ] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
[ ] Explicitar o atributo de classe end_date não se fez necessário.
[X] Não utilizo custom_settings em meu raspador.

Testes

[ ] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
[ ] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
[X] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

log_to_axixa_do_tocantins.txt to_axixa_do_tocantins.csv

Verificações

[X] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
[X] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
[X] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

FabioCalabrio commented 4 weeks ago

Olá @trevineju poderia verificar tudo foi corrigido com sucesso, e também se os arquivos que eu inseri ao PR estão corretos. Agradeço a paciência, sou novato.

trevineju commented 4 weeks ago

Tá show, @FabioCalabrio! A PR tá perfeita e os testes estão sem erros tb!

Sem problema você ser novato! Tamo aí pra te ajudar (:

A única coisa que temos que arrumar agora é o histórico de commits.

Vc pode ver que sua PR começa na 93322 e mistura commits do repositório e seus. Teoricamente é pra aparecer assim (só tem uma linha horizontal, grudada à esquerda; no caso da sua tem duas linhas paralelas):

O que causou isso foi o commit ddc8, o de merge. Precisamos tirar ele daqui....

Testa aí no seu terminal: git rebase main git log --graph --oneline

A expectativa é o primeiro comando reorganizar a sua main (torcer se dá certo hehe) e o segundo mostra o histórico de commits em forma de grafo alinhado (foi o que usei pra fazer esses prints)

A dica pro futuro é não usar sua branch main para fazer commits.

Deixa sempre a main intocada para equivaler a main oficial, e aí fica mais fácil de corrigir essas coisas. Por exemplo, uma outra PR qualquer:

Outra vantagem é que vc pode trabalhar em coisas separadamente tipo uma branch "to_axixa" que criaria esta PR, e uma outra branch "uf_municipio", e outra "fix_bug_tal", etc, sem cada coisa dar problema entre si.

trevineju commented 4 weeks ago

tenta aí e manda um print!

trevineju commented 4 weeks ago

aaah @FabioCalabrio! Consegui arrumar aqui! (do jeito que te falei mesmo)

Repensei um pouco e achei que era mais fácil eu arrumar aqui rapidinho e já colocar a cidade no ar!

Esse tipo de coisa vai aparecer aos poucos, então vai ter chance de aprender também. Basta começar do jeito que falei, não usando a sua main, contribuindo a partir de branchs.

(pra criar branch: git checkout -b nome-da-branch

trevineju commented 4 weeks ago

Parabéns pelo primeiro passo!

FabioCalabrio commented 3 weeks ago

Obrigado pelas dicas @trevineju, me atentarei a estas questões em próximos PR's. =)

okfn-brasil / querido-diario