search

okfn-brasil / queriDO

nosso Querido Diário Oficial
https://okfn-brasil.github.io/queriDO/site
MIT License
18 stars 5 forks source link

Criar guia de como instalar e rodar o codigo localmente #3

Open JaTvoiRabotnik opened 7 years ago

JaTvoiRabotnik commented 7 years ago

Para facilitar a colaboracao, aconselho que seja criado um guia de como rodar o codigo localmente. Que scripts rodar, em que ordem, quais ferramentas sao necessarias, versao de Python, etc.

Idealmente, poderiamos ate providenciar uma imagem no Docker para que nao haja conflitos de environment.

ppKrauss commented 7 years ago

Além dessa documentação básica, sugiro (talvez outra issue) descrever "em alto nível" os algoritmos e a metodologia. Também podemos usar a Wiki: tem rascunho com detalhes metodologicos, para buscar consensos e alinhamentos.

... Agora temos originais com UTF8 confiável para aplicar reconhecimento de estrutura e filtragem. Usei clean2.php para limpar, o algortimo pode ser facilmente portado para Python.

Ver por exemplo a matéria 117148 com https://okfn-brasil.github.io/queriDO/ em modo "filtrado" e "original": a primeira dúvida é quanto aos metadados de identificação da matéria, falta recuperar "Data de publicação" e "Matéria nº" ou esse dado já confiável pelo filename? Como usar os metadados listados no CSV correspodente?

JaTvoiRabotnik commented 7 years ago

Com relação ao seu segundo e terceiro parágrafo acima, tem como criar um novo issue pra isso?