[Manutenção] Corrigir raspador para Niterói-RJ

okfn-brasil / querido-diario

📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.

https://queridodiario.ok.org.br/

MIT License

1.11k stars 411 forks source link

[Manutenção] Corrigir raspador para Niterói-RJ #1301

Closed ogecece closed 1 week ago

ogecece commented 1 month ago

O raspador para Niterói-RJ não coleta diários em produção desde 2024-09-06.

O site que funcionava em https://www.niteroi.rj.gov.br/do.html mudou para https://diariooficial.niteroi.rj.gov.br/ e as URLs de documento que atendiam o formato http://www.niteroi.rj.gov.br/wp-content/uploads/do/{%Y}/{%m}_{%b}/{%d}.pdf também mudaram.

Por isso, é necessário:

[x] Reescrever o arquivo do raspador para atualizar seu código para coletar diários oficiais do novo site.

Missões secundárias (se der pra fazer também):

[x] Método .parse() está fazendo o papel de .start_requests(). Poderíamos fazer o uso mais apropriado dos dois métodos e também remover o .start_urls que não está sendo usado.
[x] Lógica de iteração por datas no método .parse() poderia fazer uso de dateutil.rrule assim como é feito em Rondonópolis-MT

luandadantas commented 1 month ago

Olá @ogecece! Você já está trabalhando nessa issue? Caso não esteja, tenho interesse em contribuir

trevineju commented 1 month ago

oi, @luandadantas, pode fazer! vou te atribuir

samueldsiqueira commented 1 month ago

Bom dia, @luandadantas, tudo bem? Gostaria de contribuir com projeto, sou iniciante!

luandadantas commented 1 month ago

Olá @samueldsiqueira! Tudo bem e você? Também sou nova por aqui 😄
Vou deixar aqui algumas sugestões que você pode seguir pra te ajudar a fazer sua primeira contribuição:

Sugiro que faça o fork do projeto na sua máquina
Siga as instruções que estão no readme
Configure o projeto na sua máquina, e tente executar
Feito isso, dá uma olhada nas issues do projeto e vê alguma que você tenha vontade ou curiosidade de fazer. (Importante validar se já não tem alguém trabalhando na issue que você escolher, qualquer coisa manda mensagem como fez aqui, mas na sua issue de interesse)
E qualquer dúvida, fala com o @ogecece ou a @trevineju acredito que eles conseguem te orientar melhor 😄

trevineju commented 4 weeks ago

@luandadantas perfeitaaaa

TLaidler commented 3 weeks ago

Olá @ogecece , tudo bem? Não entendi, essa issue ainda está aberta? Cabe mais de um PR consertando o mesmo problema com finalidade de aprendizado?

Abraços!

trevineju commented 3 weeks ago

essa issue ainda está aberta?

@TLaidler como você já fechou a PR e já comentou outra issue para fazer, entendo que já seguiu em frente, mas pra te responder...

A issue fica aberta enquanto a PR não for aprovada (aliás, @luandadantas coloquei na fila de revisão e vou pegar para revisar nos próximos dias!). Então o ideal é ver se tem alguém atribuido e ler o histórico da conversa para entender se tá disponível ou não.

Se você ver uma issue em que alguém avisou que ia fazer ou já até tem uma PR vinculada, não vale a pena fazer retrabalho. Pode aprender fazendo alguma outra issue, visto que temos várias.

TLaidler commented 3 weeks ago

essa issue ainda está aberta?

@TLaidler como você já fechou a PR e já comentou outra issue para fazer, entendo que já seguiu em frente, mas pra te responder...

A issue fica aberta enquanto a PR não for aprovada (aliás, @luandadantas coloquei na fila de revisão e vou pegar para revisar nos próximos dias!). Então o ideal é ver se tem alguém atribuido e ler o histórico da conversa para entender se tá disponível ou não.

Se você ver uma issue em que alguém avisou que ia fazer ou já até tem uma PR vinculada, não vale a pena fazer retrabalho. Pode aprender fazendo alguma outra issue, visto que temos várias.

Entendido, muito obrigado pela atenção!