search

openstate / Politix

Repository for the Politix.nl project
http://www.politix.nl
2 stars 0 forks source link

Voting Information scaper #6

Open stefvangrieken opened 13 years ago

stefvangrieken commented 13 years ago

Adding a scraper that:

  1. looks for proceedings and votes in the UVA database.
  2. adds the information to the database
  3. sends a notification to the admins
  4. publishes a list of proceedings that need a summary
  5. admins can now open this vote and add a summary and publish the vote
stefvangrieken commented 13 years ago

@ivo, zou jij dit op willen pakken?

Confusion commented 13 years ago

Ja, ik ga dit oppakken.

Ik heb vorige week met Josta overlegd welke informatie er allemaal automatisch aangeleverd kan worden. Mijn eerste stap wordt nu het verzamelen van deze informatie en het dumpen in een formaat naar wens, bijvoorbeeld csv. Vervolgens moet er een script komen om de csv in een tabel in de database om te zetten en een toevoeging aan de 'nieuw wetsvoorstel' pagina om na het invullen van het betreffende kamerstuknummer de bijbehorende content automatisch in het formulier in te vullen.

Ik heb nog geen toegang tot de UVA database: kan ik die al krijgen? Ik kan wel even voort op basis van officielebekendmakingen.nl, dus het blokkeert me niet.

Aangezien mijn PHP niet heel goed is, is het misschien handig de andere twee stappen bij iemand anders neer te leggen, hoewel ik er best een eerste schot op wil wagen. Eventueel kan ik het csv -> database script alvast in Python schrijven: ik neem aan dat dat op de machines beschikbaar is? Als er een fatsoenlijk javascript framework beschikbaar is (jQuery?) en Apache zo is ingericht dat Python scripts in de Politix boom ook goed worden uitgevoerd, dan kan ik eventueel met een Javascript callback naar een Python script de pagina updaten met deze informatie. Maar ik weet niet hoe wenselijk jullie het vinden om talen te gaan mengen.

stefvangrieken commented 13 years ago

Top! @anne kun je Ivo toegang geven tot de UVA database. Op dit moment hebben we de servers als volgt geconfigureerd: host32 is php bak host62 is de python bak

in principe kun je via ssh get apt doen om zaken in te stellen. migratie wordt komende week rond gemaakt.

Mijn voorkeur zou zijn om talen zo min mogelijk te mengen ;)