search

vmiklos / osm-gimmisn

Finds objects missing from the OpenStreetMap DB
https://osm-gimmisn.vmiklos.hu/
MIT License
9 stars 16 forks source link

stat városonként hol tart a készültség #490

Closed vasony closed 4 years ago

vasony commented 4 years ago

489 2. fele

Egy táblázat ami rendezhető, mutatja, hogy hogy áll a házszámozás a referenciához képest. Teendők 1) data: referencia count városonként, első körben filterek nélkül 2) python: beépíteni 3) data: referencia count fiterek figyelembe vétele és levonása a referenciából

további nehézségek eldönteni, hogy mit számolunk 1 db házszámnak: housenumber-letters yes vagy no teszt terület bp12. pl: 15, 15/a 15/a/2, 15/anyam

@vmiklos addig álíltsd át légy szíves, hogy hagyja meg a csv-ket a workdirben, amíg eldöntjük mit is akarunk.

vmiklos commented 4 years ago

A .citycount tartalmazza napi szinten a nyers varosonkenti OSM hazszamokat, az nem elég?

vasony commented 4 years ago

Elég a tört (százalék) számlálójához, a nevezőt nekem kell megcsinálni a referenciából. küldöm kisbetűsítve, akkor csak össze kell joinolni és elosztani a számokat. A 3. pont meg majd később.

vasony commented 4 years ago

varosok_count_20200717.tsv a referencia könyvtárban kicsit szarakodtam az > 500 házszámokkal (Bécsi út, Üllői és társai), így a szumma is nőtt ebből kellene felszummázni a továbbiakban a ref.count fájlba hogy konzisztens legyen, ennyinek kell kijönnie: 3263711 ha a filterezést majd belerakom, ez fog majd frissülni. úgy kellene kezelni mit a többi referencia fájlt

vmiklos commented 4 years ago

Oké, akkor ez innentől már nem adat feladat.

vasony commented 4 years ago

a hármas pontot felveszem külön, mert majd egyszer

vmiklos commented 4 years ago

Ilyen lett:

https://osm-gimmisn.vmiklos.hu/osm/housenumber-stats/hungary/cityprogress

Lehet tesztelni. A 100% feletti lefedettséget maxoltam 100%-ban, hogy ne nézzen ki bután. Az alján van egy disclaimer, hogy világos legyen: ebben nincsenek filterek. Saját instance-en a wsgi.inibe vedd fel az új kulcsot, a sablont frissítettem.

vasony commented 4 years ago

Lehetne kérni azt a 2 oszlopot a táblázatba, ami alapján a % képződik, még maxolás előtt? Lehet valami hidden paraméter is. Akarom debuggolni a 100+%-osakat, és van 1-2 gyanús.

vmiklos commented 4 years ago

Persze.

vasony commented 4 years ago

minta a ref.count nem frissült volna

vmiklos commented 4 years ago

Magától nem frissül. :) Hogy legyen számolva, egy sum() a 2. oszlopra elég? Bár talán ennek mehetne külön issue, hogy ne kavarodjanak a dolgok.

vmiklos commented 4 years ago

https://osm-gimmisn.vmiklos.hu/osm/housenumber-stats/hungary/cityprogress lehet tesztelni.

vasony commented 4 years ago

Teszt budapest_07,

Három dolog derült ki Kellene egy unique szűrés, ezzel egyel közelebb kerülünk a valóshoz a sok dupla házszám miatt. (python) ref count-ból lemaradt a govcenter (db) osm-ben többlet van #546-ban kezelendő

osm count: 2099 unique count: 1604 ref count: 1490

546-hoz:

De sosem fog egyezni, a megoldás az lesz, hogy ref count-ba belveszem a csak osm-ben szereplő számokat is, akkor nem lehet több mint 100%. De mivel itt nem végzünk felbontást, az egyik oldal: 16,18 másik oldal: 16-18-at kérdéskörre nincs megoldásom. Hacsak nem konvertálom át a ref-et osm formára a count kedvéért, szép munka lesz.

pl: osm

Dohány utca 12
Dohány utca 14
Dohány utca 16
Dohány utca 16-18

REF

Dohány utca  10
Dohány utca  16-18
vasony commented 4 years ago

TL;DR Kellene egy unique szűrés a countokba, a db részt megcsináltam frissítsd be a refet.

vmiklos commented 4 years ago

Az osm-es .citycount file-okban szereplő számokra gondolsz, ugye?

vasony commented 4 years ago

Igen, azokra.

vmiklos commented 4 years ago

Ez mondjuk az utolsó havi diffet el fogja torzítani, de ez 30 nap alatt megoldódik, kisebb probléma, mint hogy eddig nem voltak szűrve a duplikátumok.

vmiklos commented 4 years ago

b391b89f40725abe548f3bd633f2d277cfacec87

Lehet tesztelni.

vasony commented 4 years ago

Nem írtad át a configot, csak a template-et, nem tudom mi a folyamat nálad. Ezt dobja: FileNotFoundError: [Errno 2] No such file or directory: '/home/osm-gimmisn/git/osm-gimmisn/refdir/varosok_count_20200717.tsv'

És ha már átírod, akkor a többit is frissítsd meg. #405

vasony commented 4 years ago

Nálam automata a config:

HAZSZAMOK=$(basename $(ls -1 $BASEDIR/refdir/hazszamok_20*.tsv | sort -rn | head -1))
HAZSZAMOK_KIEG=$(basename $(ls -1 $BASEDIR/refdir/hazszamok_kieg_20*.tsv | sort -rn | head -1))
UTCAK=$(basename $(ls -1 $BASEDIR/refdir/utcak_20*.tsv | sort -rn | head -1))
CITYCNT=$(basename $(ls -1 $BASEDIR/refdir/varosok_count_20*.tsv | sort -rn | head -1))
vmiklos commented 4 years ago

Átírtam. Nem kéne késő este ilyeneket csinálni. :)

A másikat frissítem ha az is meglesz.

vasony commented 4 years ago

Nem jók a számok, budapest_07-ben 246 jött ki, 1604 helyett. Esetleg ha az utcát is belerakod a kulcsba, nem csak a házszámot, az segít :)

vmiklos commented 4 years ago

Ja, most jöttem rá u.erre én is. ;)

vasony commented 4 years ago

2:4 ? a user nem kell, akkor nem lesz jó.

vmiklos commented 4 years ago

Általában igyekszem nem vakon javítani dolgokat, most is kipróbáltam. :)

>>> cells = ["1078", "Budapest", "Nefelejcs utca", "9"]
>>> "\t".join(cells[2:4])
'Nefelejcs utca\t9'
vasony commented 4 years ago

Leszögezem, hogy nem értek hozzá, csak okoskodom :)

Nekem csak fura a szintaxis. a 2:4 azt jelenti hogy a 2-es és 3-as elem? A commentben ott volt a user is, itt meg a tömbödben nincs. Holnap ránézek ha frissült.

vasony commented 4 years ago

Na pipa

vmiklos commented 4 years ago

Nekem csak fura a szintaxis. a 2:4 azt jelenti hogy a 2-es és 3-as elem?

Igen:

https://stackoverflow.com/questions/509211/understanding-slice-notation