search

centraldedados / parlamento-deputados

Deputados da Assembleia da República
6 stars 3 forks source link

Faltam deputados #1

Open heldergg opened 7 years ago

heldergg commented 7 years ago

Desejo retirar o número de deputados por partido que estão a receber, ou já receberam, subvenções mensais vitalícias. Encontrei nomes que faltam nesta lista, por exemplo o Bagão Félix.

Notar que nem todos os nomes da lista têm de pertencer a deputados, dado que as subvenções podiam ser atribuídas por vários motivos.

Penso que não vale a pena inserir manualmente casos individuais. Importa encontrar uma fonte completa.

rlafuente commented 7 years ago

Numa pesquisa a correr no Parlamento.pt, não encontrei a página do Bagão Félix; embora a Wikipedia inglesa mencione que ele foi deputado, a página portuguesa apenas menciona funções de Governo. Podes confirmar-ḿe em que altura ele foi deputado para poder conferir?

E já agora, há outros nomes que deviam aparecer mas não estão no dataset?

heldergg commented 7 years ago

On 15-08-2016 12:12, Ricardo Lafuente wrote:

Numa pesquisa a correr no Parlamento.pt, não encontrei a página do Bagão Félix; embora a Wikipedia inglesa mencione que ele foi deputado, a página portuguesa apenas menciona funções de Governo. Podes confirmar-ḿe em que altura ele foi deputado para poder conferir?

Na página da wikipédia em português dizem:

"Foi também deputado à Assembleia da República, eleito pelo Círculo de Aveiro"

Nota que na página de pesquisa avançada de deputados do parlamento.pt apenas permitem escolher da VI legislatura à XIII (a actual). Será que não têm os deputados das legislaturas anteriores?

E já agora, há outros nomes que deviam aparecer mas não estão no dataset?

Parece que há. Se fores à procura dos "mapas oficiais" com os resultados das eleições legislativas encontram-se facilmente. Por exemplo:

https://dre.tretas.org/dre/2484454/

Onde encontra nomes que não estão no dataset:

António Frederico Vieira de Moura Alberto Rodrigues Ferreira Camboa José de Almeida Valente etc...

Neste mapa tb está o Bagão Félix.

Penso que para termos o dataset completo temos de fazer o levantamento do "mapas oficiais" todos.

rlafuente commented 7 years ago

Tens toda a razão, escapou-me completamente!

Estive a rever as versões deste dataset e não encontro o nome do Bagão Félix em nenhuma...

É verdade que o Parlamento.pt não está a deixar ver as bios antes da VI legislatura. Eu estou 90% convencido que essa info já lá esteve e que foi retirada algo recentemente. E isto é bem problemático porque o scraper que temos parte da informação do Parlamento.pt.

Adorava conseguir encontrar uma solução que não nos obrigasse a melgar os serviços da AR, mas caso não haja alternativa vai ter de ser.

heldergg commented 7 years ago

Bom, vamos ver o que temos. Em tempos fiz uma recolha de informação para conseguir representar o parlamento em svg. Dai facilmente se encontra o seguinte:

Assumo que para as eleições seguintes já temos os dados do parlamento.pt. Nos mapas anteriores temos os nomes de todos os eleitos.

Isto é um começo mas fica a faltar toda a outra informação.

Edição: i. Tirando a constituinte é relativamente fácil de tirar os nomes. Valerá a pena? ii. Que fazemos às eleições intercalares?

rlafuente commented 7 years ago

Experimentei a Wayback Machine e a página do Bagão Félix não ficou lá arquivada...

Por isso sim, acho que a única forma de obter esses nomes é ir a essas listas. Se conseguires fazer sair um CSV com legislatura,partido,nome, posso tratar de integrar isso neste dataset.

heldergg commented 7 years ago

Sim, tirando da constituinte, os outros fazem-se bem.

Como lidas com as coligações? Como lidas com o pessoal que mudou de partido?

heldergg commented 7 years ago

Cá vai a primeira legislatura:

No formato:

legislatura,cidade,partido,nome

Edição: pequenas correcções

rlafuente commented 7 years ago

Então, o deputados.csv não tem esse grau de informação (mudanças de partido, etc.).

Mas o deputados.json tem um campo mandates que foi feito especialmente para registar todos os mandatos e acomodar deputados que mudaram de partido ou que entraram como parte de coligações.

Já tinha pensado em fazer outro CSV com essa lista de mandatos para complementar o deputados.csv, mas como o ficheiro JSON já tem isso tudo, nunca aconteceu...

De qualquer maneira, mal tenha tempo para me sentar e olhar de perto pra isto, trato de integrar o teu CSV no scraper, para que o dataset final ao menos tenha estas entradas.

heldergg commented 7 years ago

Aqui estão os CSV até à V Legislatura:

Notas:

legislatura,código circulo eleitoral, círculo eleitoral,partido,nome

Devido ao anterior, não sei se valerá a pena continuar a extrair os dados dos mapas (até à presente legislatura).

Podes considerar usar um ficheiro JSON para a lista de deputados? Ficava mais fácil de lidar com coisas como os mandates, ter mandatos parciais, etc.

Edição: Esqueci-me da V Legislatura.

rlafuente commented 7 years ago

Boa, posso juntar estas entradas ao JSON que é gerado. Podes só indicar-me onde encontro as datas da parte intercalar da I legislatura?

heldergg commented 7 years ago

Vê aqui.

rlafuente commented 7 years ago

Ainda estou a partir pedra nisto: passei os teus CSV para um único ficheiro, e estou agora a tratar de integrar essas entradas no scraper, para que todos os outputs futuros tenham estas novas entradas. Mais um serão livre e devo conseguir arrumar isto. Obrigado pela paciência (-;

rlafuente commented 6 years ago

Ufa, isto tinha ficado esquecido.

Com a nova área de dados abertos do Parlamento, ressurgiram também os deputados antes da VI legislatura (aqui está o Bagão Félix).

Acabei de fazer push de uma nova versão do scraper e dos dados (deputados.csv) que já contém os deputados desde a 2ª legislatura. A 1ª ainda não deu porque não existe versão JSON no site do Parlamento.

Mais à frente vou também refrescar o deputados.json incluindo também os mandatos.