Closed JaTvoiRabotnik closed 7 years ago
Ugh... o HTML que a gente pega deles e nojento... Ele tem mais de uma tag de <head>
, e diversas outras anormalidades. O parser ta tendo um trabalhao pra entender o que ta acontecendo, e vou ter que dar uma ajuda pra ele.
OK, os ultimos pull requests acho que resolvem esse issue. Vou considera-lo fechado agora. getMateria e getHtm podem ser chamados como funcoes ou como scripts stand-alone.
O script getMateria.py precisa ser consertado e expandido. Ele faz uso dos metadados que foram gerados pelo getHtm.py para saber o link das materias que tem que ser coletadas.
Eu sugiro que a gente faca uma compartimentalização melhor dos scripts, e que tanto o getHtm.py quanto o getMateria.py aceitem parametros que digam quais edicoes e materias exatamente queremos extrair. Isso por que no momento ta tudo hardcoded.
Infelizmente nao existe um relacionamento logico entre o numero da edicao e a data. Entao eu vou sugerir um outro script, que seria o ponto incial da automacao que, sabendo qual e a ultima edicao a ser extraida, tenta numeros subsequentes ate receber alguma informacao, e entao segue a fazer uma verificacao se a data de fato bate com o esperado. Uma vez sabido qual e a edicao, o getHtm.py pode ser chamado, passando essa edicao como parametro. Ai, o getMateria.py e chamado, passando os metadados como parametros. A partir dai a gente pode comecar a colocar as materias numa estrutura XML ou uma base de dados (ou ambos).