Sweden 2007-2013 `member_state_amount` contains 3 pieces of information

[cyberbikepunk]

@michaeljokf Check this out. Sometimes, there's one, sometimes, two, sometimes three amounts in the same column. Can you find out what they are so I can split them correctly?

Sample values =
[
    "Regionförbundet Jämtlands län = 169 288",
    "Regionförbundet Jämtlands län = 266 703",
    "Almi företagspartner Västernorrland AB = 100 000 || Härnösands kommun = 24 000 || Länsstyrelsen i Västernorrlands län = 400 000 || Mittuniversitetet = 50 000 || Norrlandsfonden = 100 000 || Näringslivsbolaget i Sundsvall AB  = 30 000 || Sundsvalls kommun = 100 000 || Ånge kommun = 20 000 || Örnsköldsviks kommun = 30 000",
    "Regionförbundet Jämtlands län = 413 978",
    "Regionförbundet Jämtlands län = 365 000",
    "Länsstyrelsen i Västernorrlands län = 127 450 || Timrå kommun = 127 450",
    "Härnösands kommun = 225 000 || Västernorrlands läns landsting = 25 000",
    "Regionförbundet Jämtlands län = 417 134",
    "Mittuniversitetet = 183 000",
    "Mittuniversitetet = 150 000",
    "Länsstyrelsen i Västernorrlands län = 75 000 || Mittuniversitetet = 200 000 || Regionförbundet Jämtlands län = 75 000",
    "Regionförbundet Jämtlands län = 248 000",
    "Länsstyrelsen i Västernorrlands län = 500 000",
    "Fiber Optic Valley AB  = 200 000 || Mittuniversitetet = 250 000",
    "Mittuniversitetet = 300 000",
    "Länsstyrelsen i Västernorrlands län = 306 875",
    "Regionförbundet Jämtlands län = 220 000",
    "Regionförbundet Jämtlands län = 169 765",
    "Mittuniversitetet = 94 701",
    "Mittuniversitetet = 250 000",
    "Länsstyrelsen i Västernorrlands län = 300 000 || Mittuniversitetet = 90 457 || Riksarkivet = 140 043",
    "Mittuniversitetet = 220 000",
    "Mittuniversitetet = 50 000 || Sundsvalls kommun = 50 000",
    "Regionförbundet Jämtlands län = 163 000",
    "Länsstyrelsen i Västernorrlands län = 75 257 || Mittuniversitetet = 100 363 || Vinnova = 125 409",
    "Regionförbundet Jämtlands län = 183 125",
    "Mittuniversitetet = 365 000",
    "Regionförbundet Jämtlands län = 125 000 || Åre kommun = 125 000",
    "Regionförbundet Jämtlands län = 229 650",
    "Mittuniversitetet = 241 136",
    "Regionförbundet Jämtlands län = 169 288",
    "Mittuniversitetet = 381 545",
    "Regionförbundet Jämtlands län = 100 000 || Stiftelsen Tännäs Fritidsanläggningar = 100 000",
    "Regionförbundet Jämtlands län = 100 736",
    "Almi företagspartner Mitt AB = 110 000 || Länsstyrelsen i Västernorrlands län = 110 000 || Regionförbundet Jämtlands län = 110 000",
    "Länsstyrelsen i Västernorrlands län = 300 000 || Ånge kommun = 100 000",
    "Regionförbundet Jämtlands län = 100 328",
    "Ragunda kommun = 125 000 || Regionförbundet Jämtlands län = 125 000",
    "Härjedalens kommun = 75 000 || Regionförbundet Jämtlands län = 75 000",
    "Östersunds kommun = 311 553",
    "Coompanion Kooperativ Utveckling i Jämtlands län = 59 416 || Coompanion Västernorrland = 109 146 || Länsstyrelsen i Västernorrlands län = 109 147 || Regionförbundet Jämtlands län = 59 416",
    "Regionförbundet Jämtlands län = 405 350",
    "Länsstyrelsen i Västernorrlands län = 200 000 || Scenkonst Västernorrland AB = 210 560 || Stadsbacken AB = 50 000 || Västernorrlands läns landsting = 100 000",
    "Närpes stad = 15 244 || Västerbottens läns landsting = 15 244",
    "Länsstyrelsen i Norrbottens län = 350 000 || Swedavia AB = 840 000",
    "Kommunförbundet Stockholms län = 150 000 || Länsstyrelsen i Stockholms län = 75 000 || Stockholms läns landsting = 75 000",
    "Almi företagspartner Stockholm AB = 1 050 000 || Regionförbundet Västerbottens län = 499 860 || Umeå kommun = 525 000 || Umeå universitet = 525 000 || Uminova innovation = 110 400 || Västerbottens läns landsting = 525 000",
    "Kista Science City AB = 300 000",
    "Härnösands kommun = 64 500 || Länsstyrelsen i Västernorrlands län = 64 500",
    "Sollentuna kommun = 50 400 || Stockholm Business Region Development = 51 300",
    "Stockholms kommun = 299 780",
    "Stiftelsen Flemingsberg Science = 300 000",
    "Mittuniversitetet = 160 000",
    "Stockholms kommun = 300 000",
    "Södertälje kommun = 310 297",
    "Kommunförbundet Stockholms län = 100 000 || Stockholms kommun = 100 000 || Stockholms läns landsting = 100 000",
    "Länsstyrelsen i Stockholms län = 100 000 || Stockholm Business Region Development = 50 826 || Stockholms kommun = 149 174",
    "Kista Science City AB = 300 000",
    "Karolinska institutet = 103 623 || Länsstyrelsen i Stockholms län = 150 000 || Stockholms läns landsting = 50 000",
    "Nacka kommun = 300 000",
    "Kungliga tekniska högskolan = 300 000",
    "Haninge kommun = 35 000 || Stockholms kommun = 35 000 || Stockholms läns landsting = 195 000 || Täby kommun = 35 000",
    "Botkyrka kommun = 25 100 || Kungliga tekniska högskolan = 150 000 || Stockholms kommun = 25 100 || Telge Hovsjö AB = 25 100",
    "Stockholm Business Region Development = 300 000",
    "Skärgårdsstiftelsen i sthlms län = 29 387 || Stockholms läns landsting = 175 820",
    "Länsstyrelsen i Stockholms län = 129 698",
    "Kommunförbundet Stockholms län = 20 000 || Länsstyrelsen i Stockholms län = 134 000 || Stockholms läns landsting = 20 000",
    "Stiftelsen Vetenskapsstaden = 303 034",
    "Stockholm Business Region Development = 300 000",
    "Eskilstuna kommun = 40 000 || Flens kommun = 5 000 || Gnesta kommun = 5 000 || Nyköpings kommun = 20 000 || Regionförbundet Östsam = 65 000 || Trosa kommun = 5 000 || Vingåkers kommun = 5 000 || Örebro kommun = 120 000",
    "Föreningen blå vägen = 10 000 || Kvarkenrådet = 15 000 || Mittskandia = 5 000",
    "Länsstyrelsen i Västmanlands län = 50 000 || Mälarens Vattenvårdsförbund = 20 000 || Stiftelsen skog & trä = 25 000 || Sveriges lantbruksuniversitet = 150 000",
    "Intresseföreningen bergslaget = 75 000 || Länsstyrelsen i Västmanlands län = 75 000 || Sala lokaler AB = 73 100 || Västmanlands kommunförbund = 26 900",
    "Länsstyrelsen i Västmanlands län = 250 000",
    "Regionförbundet Örebro län = 162 450",
    "Västerås Science Park AB = 500 000",
    "Länsstyrelsen i Västmanlands län = 250 000",
    "Eskilstuna kommun = 40 000 || Länsstyrelsen i Västmanlands län = 40 000 || Nyköpings kommun = 40 000 || Regionförbundet Sörmland = 40 000 || Västerås kommun = 40 000",
    "Eskilstuna kommun = 250 000",
    "Länsstyrelsen i Västmanlands län = 300 000 || Vinnova = 300 000 || Västerås kommun = 100 000 || Västmanlands läns landsting = 100 000",
    "Arbetsförmedlingen = 200 000",
    "Västerporten Fastigheter i Örebro AB = 67 950 || Örebro kommun = 121 025",
    "Länsstyrelsen i Östergötlands län = 125 000 || Regionförbundet Östsam = 29 375",
    "Regionförbundet Västerbottens län = 15 540 || Storumans kommun = 7 728",
    "Länsstyrelsen i Västernorrlands län = 175 000 || Sundsvalls kommun = 75 000",
    "Regionförbundet Västerbottens län = 15 306 || Sveriges lantbruksuniversitet = 306 || Teknologicentret KETEK AB = 3 903 || Yrkeshögskolan Novia = 3 903 || Österbottens förbund = 7 806",
    "Regionförbundet Västerbottens län = 8 128 || Sveriges lantbruksuniversitet = 8 128 || Yrkeshögskolan Novia = 7 484 || Österbottens förbund = 7 484",
    "Halmstads kommun = 16 500 || Högskolan i Halmstad = 2 500",
    "Umeå universitet = 10 390 || Yrkeshögskolan Novia = 4 223 || Åbo akademi = 11 381",
    "Regionförbundet Västerbottens län = 1 273 111 || Skellefteå kommun = 620 819 || Umeå kommun = 804 070",
    "Högskolan i gävle = 1 250 || Regionförbundet Gävleborg = 15 000 || Åbo akademi = 5 750 || Österbottens förbund = 10 500",
    "Högskolan Väst = 16 995 || University College Nordjylland = 27 135",
    "Danmarks tekniske universitet - DTU = 3 264 || Region Jönköpings län  = 4 200 || Västra Götalandsregionen = 6 000",
    "Frederikshavn Erhvervsråd = 26 810 || Region Nordjylland = 6 032 || Vaeksthus Nordjylland = 7 372",
    "Aalborg Universitet Aalborg = 27 653 || Kommunalförbundet Skaraborg = 6 164 || Sveriges lantbruksuniversitet = 10 191 || Västra Götalandsregionen = 14 084",
    "Härnösands kommun = 100 000 || Kramfors kommun = 100 000 || Västernorrlands läns landsting = 196 530",
    "ABF Malmö = 2 000 || Föreningen Norden = 41 765",
    "Bornholms regionskommune = 15 000 || Ystads kommun = 15 000",
    "Gate 21 = 27 910 || Hållbar utveckling Skåne = 10 920 || Region Skåne = 10 755",
    "Köbenhavns universitet = 27 500 || Sveriges lantbruksuniversitet = 72 500"
]

[michaeljokf]

@cyberbikepunk okay so what we are talking about is the offentlig_finansiär column - which means public spending. The column does not just include an amount (which is what we usually have), but also the source of the amount. So "university xy paid 15000" and additionally "County xy paid 20000" ... This is quite a pain and there is no hierarchy so that it does not make sense to group these amounts.

What I would suggest (if this is practical for you): could you write a line of code that simply adds the amounts if there is multiple and just leaves out the text? So then we would have one aggregated number depicting the public amount! I find this to be the kind of case where there is simply too much detail in the data. We could just additionally link to our more detailed file / make a comment about this.

[cyberbikepunk]

@michaeljokf i didnt know your swedish was so impeccable. so that's the amount that various country institutions chip in to add to the EU-funding, right? I will starting grouping such hidden data extraction tasks under a specific label.

[michaeljokf]

yes exactly: member_state_amount it is! yeah do that - I am sure there are still a bunch of these "hiccups" ...

[cyberbikepunk]

@michaeljokf sorry i feel like an old man repeating myself. It's written in the title by... me.

[michaeljokf]

@cyberbikepunk ok? yeah didnt see the title before - not really sure what you are getting at though...?

[annafralberts]

@ffalt here the previous issue on the new ingestions for Sweden

[ffalt]

the field "offentlig_finansiär" seems to be the detail info for the aggregated beviljat_belopp_-_sek field. if you add all detail values it's often the sum, but not always. other times beviljat_belopp_-__eur is used instead, while offentlig_finansiär seems to be always in swedish krona. anyhow, I aggregated the split values into one sum.

[michaeljokf]

ok this is take care of now - going to close the issue!