estadaoDados / basometro

Coloca os votos dos políticos em perspectiva e determina o quanto eles estão com o governo
estadaodados.com/basometro
GNU Affero General Public License v3.0
30 stars 7 forks source link

Documentar como é calculado o histórico de governismo #8

Open vitorbaptista opened 9 years ago

vitorbaptista commented 9 years ago

Estou tentando recriar o histórico da taxa de governismo do PTC, mas não consigo chegar nos mesmos valores em https://github.com/estadaoDados/basometro/blob/master/dados/hist_lula_camara_2.json. O que encontrei nesse arquivo é:

governismo data
81 2007-02-01
88 2007-03-01
90 2007-04-01
88 2007-05-01
89 2007-06-01
... ...

(Gerei essa lista usando: jq -r '.["PTC"][] | [.valor, .date] | @csv' hist_lula_camara_2.json)

Como só existe um valor por mês, isso me fez pensar que o cálculo seria a média das taxas de governismo daquele mês. Mas daí extraí os dados das votações e votos individuais de https://github.com/estadaoDados/basometro/tree/master/dados/bases/Lula_02_camara e obtive para, por exemplo, 2007-02:

data votacao governismo
2007-02-06 17:30:00 2650 0.6666666666666666
2007-02-12 16:31:00 2654 0.3333333333333333
2007-02-12 19:42:00 2659 0.6666666666666666
2007-02-13 14:40:00 2665 0.3333333333333333
2007-02-14 19:07:00 2671 0.6666666666666666
2007-02-14 21:22:00 2673 1.0
2007-02-26 17:41:00 2677 0.3333333333333333
2007-02-27 19:02:00 2680 0.6666666666666666
2007-02-28 17:05:00 2681 0.3333333333333333
2007-02-28 20:39:00 2684 0.3333333333333333

Isso dá uma taxa de governismo média de ~0.533, bem distante da taxa de governismo 81 no hist_lula_camara_2.json. Como ela é calculada?

P.S.: @diraol preferi mandar essa dúvida aqui ao invés de te enviar um e-mail para que outras pessoas pudessem encontrar nossa conversa, caso mais alguém tivesse o mesmo questionamento :+1:

diraol commented 9 years ago

@vitorbaptista o valor que estamos utilizando é uma "média móvel". Mas não me recordo com certeza quantos meses usamos para calcular cada ponto. Não sei se foram 6 meses.

Acabei não subindo no repositório o código que utilizei para gerar esses valores, e eles estão no computador do trabalho. Assim que eu tiver acesso eu te passo isso (ou você precisa mais rápido? Se precisar avisa que eu dou um jeito!).

Ah, e acho ótimo colocar isso por aqui, até porque me deixa essa lembrança de que preciso subir por aqui o código que gera a média.

vitorbaptista commented 9 years ago

@diraol Como quase tudo, quanto antes você puder me explicar, melhor. Mas por enquanto estou usando diretamente os dados das votações, então não é tão urgente.

Me avisa quando pegar o código no PC do trabalho :)

diraol commented 9 years ago

@vitorbaptista , bora lá então!

Subi algumas coisas que estavam pendentes no meu repositório local.

O código que faz as contas em si não estava nele, estava num outro repositório que o @rodrigoburg (que trabalha no estadão comigo) criou há um tempo atrás. Para evitar duplicações desnecessárias, adicionei o repositório dele como submódulo no repositório do basômetro (pasta "util").

Todas as funções que você precisa estão por lá, no arquivo "calcula_base.py".

Acho que está razoavelmente bem documentado... (melhor que o basômetro em si para ser sincero). Se tiver dúvidas me avise!