ogecece
commented
2 years ago Português
@lcsvillela acredito que seriam interessantes duas coisas:
- uma documentação no repositório para facilitar futuras manutenções
- a possibilidade de escrever um texto em formato de blog para contar como foi a experiência e o passo-a-passo
A 1. poderia ser obrigatória nesse repositório para adicionar novos raspadores. Poderíamos criar um template markdown com algo do tipo para colocar numa pasta junto com o raspador (?):
# Nome do raspador
- Data da última atualização dessa documentação: <>
- URL para acesso de usuário do sistema: <>
## Descrição da raspagem
Descreva aqui como é feita a raspagem do site.
Tente ter objetividade mas também não deixe de fora detalhes importantes que possam ser utilizados em futuras manutenções como:
- requisições não-triviais
- campos essenciais de formdata/querystring
- tratamentos especiais de elementos na resposta
- casos fora do padrão
- etc.
## Imagens
Se for o caso, adicione imagens das telas importantes do sistema. A referência visual torna mais fácil identificar possíveis mudanças drásticas.A 2. pra mim faria sentido para algumas pessoas que queiram divulgar o trabalho feito e apresentar para outras pessoas como pode ser feito futuramente. Nem todo mundo tem vontade de fazer isso, mas acredito que ter uma seção no site do QD demonstrando como alguns raspadores foram criados anteriormente pode ser interessante. Também poderia ser apenas uma lista de referência ou aqui nesse repo ou no site do QD aos materiais escritos em outras plataformas. Não tenho certeza qual formato seria mais interessante, mas acho que o primeiro daria mais visibilidade para a maioria das pessoas.
O que acha?
English
Sorry, sadly can't translate right now :( A free translation service should do the trick.
Estávamos conversando sobre a documentação do projeto e dei a ideia de que seria muito legal ter os textos das pessoas que criaram as spiders, relatando sobre sua criação. Uma das spiders que me fez pensar sobre isso, foi a de São Luís, que tem uma complexidade razoavelmente interessante para ser feita. Acredito que isso poderia ser documentado e ao mesmo tempo, servir para criar conteúdo técnico para o QD de alguma forma.
Alguns deram a ideia de colocar um espaço no site do QD, ter um site específico para isso e outras possibilidades. Quais sugestões vocês têm?
We were talking about the project documentation and I got an ideia! It will be too cool to have a documentation about spiders and we have some texts about that, but it's all disorganized at many websites. For example, the spider to monitoring São Luís is too interesting and would be amazing a text about how it was created.
Somebody gave the ideia to create a space at QD website, build a specific blog to this and another things. What do you think about?