mysociety / SeePoliticiansTweet

0 stars 0 forks source link

`strip` area names #30

Closed tmtmtmtm closed 9 years ago

tmtmtmtm commented 9 years ago

Estonia has ended up with multiple versions of many of its areas:

screen shot 2015-08-27 at 13 24 42

This seems to because the source data has trailing spaces sometimes:

q -d, -H 'SELECT area, count(*) as howmany FROM term-13.csv GROUP by area'
Harju- ja Raplamaa,15
"Hiiu-, Lääne- ja Saaremaa",1
"Hiiu-, Lääne- ja Saaremaa ",7
Ida-Virumaa,6
Järva- ja Viljandimaa,10
Jõgeva- ja Tartumaa,8
Lääne-Virumaa,5
Pärnumaa,6
"Tallinna Haabersti, Põhja-Tallinna ja Kristiine linnaosa",3
"Tallinna Haabersti, Põhja-Tallinna ja Kristiine linnaosa ",11
"Tallinna Kesklinna, Lasnamäe ja Pirita linnaosa",2
"Tallinna Kesklinna, Lasnamäe ja Pirita linnaosa ",11
Tallinna Mustamäe ja Nõmme linnaosa,10
Tartu linn,9
"Võru-, Valga- ja Põlvamaa",1
"Võru-, Valga- ja Põlvamaa ",11

We should probably fix that in EveryPolitician, but a quick workaround would be to call .strip on the incoming areas before generating.