Verificar importação incremental de cdep

[leonardofl]

Para podermos fazer um processo de importação periódica de cada casa, é importante antes verificar se cada importador possui as seguintes propriedades:

• um importador nunca insere na base de dados um dado já inserido.
• um importador insere na base novas votações que não estavam disponíveis no momento de sua última execução.

Nessa tarefa vamos fazer essa verificação para o importador da Câmara dos Deputados (camara.py).

[Eduduarduo]

Olá Leonardo, Estavamos olhando o código de camera.py e percebemos que o código já está verificando quando uma casa existe no banco de dados, segundo a Linha 305

    if (models.CasaLegislativa.objects.filter(nome_curto='cdep').count() == 0):

essa mesma verificação ocorre para os outros itens. Você se refere a isso no primeiro item? Obrigado

[leonardofl]

Yeah! Posso fechar a tarefa então?

[davidCarlos]

Acho que pelo que a gente analisou do código, o segundo item dessa issue merece um pouco mais de atenção,

ainda mais porque a gente não avaliou se esse segundo item é ou não implementado dentro do importador.

Att.

2014-04-24 16:42 GMT-03:00 Leonardo Leite notifications@github.com:

Yeah! Posso fechar a tarefa então?

— Reply to this email directly or view it on GitHubhttps://github.com/leonardofl/radar_parlamentar/issues/212#issuecomment-41322984 .

David Carlos Graduando em Engenharia de Software Universidade de Brasilia

[leonardofl]

Ah sim, blz!

[leonardofl]

Opa, ontem tava fazendo a importação da cdep e eu esqueci de fazer no tmux... aí como tava demorando e eu tinha q sair tive q interromper e começar de novo... aí depois q acabou verifiquei q não havia votações com repetidas com:

In [9]: votacoes = Votacao.objects.filter(proposicao__casa_legislativa__id=2)

In [10]: len(votacoes)
Out[10]: 2369

In [11]: votacoes_distintas = Votacao.objects.filter(proposicao__casa_legislativa__id=2).distinct()

In [12]: len(votacoes_distintas)
Out[12]: 2369

E no total fiquei só com 1 votação a menos doq tem no radar em produção hj... como a 2a importação demorou mt mais pra terminar doq o tempo q deixei rodando a 1a, isso qr dizer q ele insere sim as novas votações q não tinha achado antes (item 2).

Então acho q essa issue tá sussa...

PS: na VM da USP levou umas 11h pra importar a cdep oO"

[diraol]

Sobre a CDEP, pode ser um problema de desempenho no webservice deles....

Nossa importação está "paralelizada"? Se não, pode ser um bom caminho pra melhorar isso hein.....

---

Diego Rabatone Oliveira diraol(arroba)diraol(ponto)eng(ponto)br Identica: (@diraol) http://identi.ca/diraol Twitter: @diraol

2014-09-28 10:45 GMT-03:00 Leonardo Leite notifications@github.com:

Closed #212 https://github.com/leonardofl/radar_parlamentar/issues/212.

— Reply to this email directly or view it on GitHub https://github.com/leonardofl/radar_parlamentar/issues/212#event-171178962 .

[leonardofl]

ela tá um pouco paralelizada... não lembro quantas threads em paralelo... mas acho q não eram muitas. Mas embora essa 1a importação demore bastante, as outras incrementais acho q ficam bem mais rápidas..

ah, a rigor a verificação q eu fiz com o sql usando o distinct tá errada, mas comparando com os números atuais em produção, dá pra ver q deu certo tb.