lepsipraha7 / usneseni

Exporty usnesení rady a zastupitelstva
0 stars 0 forks source link

Čištění dat na webu Prahy 7 #1

Open kubicek opened 5 years ago

kubicek commented 5 years ago

Kontrola dat usnesení rady a zastupitelstva

Na základě zpřístupnění API jsem stáhl JSON data o všech usnesení a zpracoval je jako nové archivní datové sady po jednotlivých letech

Porovnáním čísel usnesení, získaných přes API s původními daty a předpokládanými ucelenými číselnými řadami jsem zjistil následující:

Zavlečené chyby z původního webu

Některá usnesení původním webu chyběla, některá byla vložena duplicitně (nejčastěji se jednalo o opravu, která ale byla uložena jako nový záznam). Chyby byly importovány i do nového webu.

orgán rok duplicitní chybí
rada 1999 0 : 3 : (1..391),546,566,971
rada 2000 1 : 941 7 : 25,158,213,214,363,723,739
rada 2001 2 : 7,9 13 : 207,226,270,314,610,650,653,785,901,918,1097,1320,1336
rada 2002 3 : 4,643,812 9 : 76,165,167,282,405,461,558,961,1073
rada 2003 2 : 682,1249 0 :
rada 2004 0 : 3 : 394,1103,1403
rada 2005 5 : 4,8,198,671,823 1 : 672
rada 2006 0 : 1 : 2062
rada 2007 0 : 3 : 371..373
rada 2009 1 : 953 0 :
rada 2010 0 : 1 : 1049
rada 2015 0 : 1 : 369
rada 2016 0 : 1 : 835
zastupitelstvo 1999 0 : 1 : (1..49),62
zastupitelstvo 2000 0 : 1 : 83
zastupitelstvo 2001 0 : 5 : 38,39,93..95
zastupitelstvo 2005 1 : 134 0 :
zastupitelstvo 2006 2 : 220,221 2 : 71,219
zastupitelstvo 2007 1 : 262 0 :
zastupitelstvo 2011 0 : 1 : 142
zastupitelstvo 2013 0 : 1 : 123
zastupitelstvo 2014 0 : 2 : 185,187
zastupitelstvo 2015 0 : 1 : 189

Chyby zavlečené při importu ze starého webu nebo následném provozu

Porovnáním s mým JSON archivem zjištěny následující chyby v datech. Vznikly buď špatným importem nebo nesprávnou následnou administrací webu.

orgán rok duplicitních chybí
rada 2016 17 : 383,799..812,814,815 189 : 1..73,78..96,98..167,201,202,213,231,232,242,246,304,345,415,422,527,715,738,856,869,877,885,887,897,971,985,1065,1100,1226,1267,1313
rada 2017 0 : 27 : 20,66,75,95,249,259,262,265,268,299,372,373,404,515,561,568,579,635,693,696,750,823,879,965,1096,1105,1143
zastupitelstvo 2014 0 : 184 : 1..184
zastupitelstvo 2016 6 : 10,11,28..31 48 : 1,14,15,17,19,20,23..26,33..37,39,53,55,57,75,78..80,92..96,112..114,116,117,145,148,149,162,164..166,186,187,189,202,205..208
zastupitelstvo 2017 0 : 35 : 12,15..17,20,22,33,34,44,45,63,67,68,82,86,87,90,108,109,111,112,136..138,145,156..158,172..174,187,195..197

Chyby zavlečené při následném provozu

Data nově vkládaná data do webu ale vykazují opravdu velkou chybovost:

orgán rok duplicitních chybí v řadě
rada 2018 0 : 23 : 11,14,22,62,89,93,173,186,194,226,230,269,303,420,470,546,611,651,652,665,749,750,871
rada 2019 0 : 10 : 32,58,63,103,105,130,157,173,176,199
zastupitelstvo 2018 26 : 24..28,33,34,37..42,44..47,67,68,73..76,82..84 19 : 13..15,18,64..66,93..99,113,129..132
zastupitelstvo 2019 0 : 19 : 1,7..10,12,14,23,25..29,40..45

Návrh oprav

Kontrola číselných řad

Prosím o kontrolu čísel posledního usnesení v roce v dostupných letech

orgán rok nejvyšší číslo
rada 1999 990
rada 2000 1357
rada 2001 1406
rada 2002 1301
rada 2003 1481
rada 2004 1445
rada 2005 1603
rada 2006 2220
rada 2007 1542
rada 2008 1360
rada 2009 1264
rada 2010 1161
rada 2011 935
rada 2012 996
rada 2013 1036
rada 2014 992
rada 2015 1254
rada 2016 1315
rada 2017 1176
rada 2018 911
zastupitelstvo 1999 71
zastupitelstvo 2000 115
zastupitelstvo 2001 123
zastupitelstvo 2002 151
zastupitelstvo 2003 132
zastupitelstvo 2004 229
zastupitelstvo 2005 395
zastupitelstvo 2006 1090
zastupitelstvo 2007 663
zastupitelstvo 2008 522
zastupitelstvo 2009 377
zastupitelstvo 2010 337
zastupitelstvo 2011 179
zastupitelstvo 2012 169
zastupitelstvo 2013 156
zastupitelstvo 2014 194
zastupitelstvo 2015 215
zastupitelstvo 2016 208
zastupitelstvo 2017 199
zastupitelstvo 2018 135

Odstranění duplicit

Duplicitní usnesení rady 2016 a zastupitelstva 2016 a 2018 mají stejný obsah, lze je odstranit plošně. Duplicitních usnesení rady a zastupitelstva z let 1999-2016 je jen 18. Moc prosím o jejich ruční kontrolu a odstranění.

Doplnění chybějících dat

Radu 2016,2017 a zastupitelstvo 2014, 2016, 2017 lze opravit importem z mých JSONů. U nových dat je nutné zkontrolovat stávající procesy, zabránit vzniku duplicit a zamezit nevkládání usnesení a nově vložit chybějící usnesení z roku 2018 a 2019. V záznamech ze starého webu z let 1999-2016 chybí celkem 57 usnesení, pokud jsou nějak snadno dostupná, bylo by luxusní je na web doplnit. Měli bychom hezkou datovou sadu 20 let zpátky.

kubicek commented 5 years ago

Nalezeno 5 dokumentů, které nemají uvedeno číslo usnesení a datum zasedání

https://www.praha7.cz/usneseni/?id=29846&type=mainRes https://www.praha7.cz/usneseni/?id=29847&type=mainRes https://www.praha7.cz/usneseni/?id=29848&type=mainRes https://www.praha7.cz/usneseni/?id=30016&type=mainRes https://www.praha7.cz/usneseni/?id=30570&type=mainRes