Wijk/Buurten CBS ook maar gewoon bij adressen laden?

skinkie commented 11 years ago

Voor het geocoden is het wel handig om de wijk/buurt kaart ook gewoon op de adressen te hebben. Het is een kleine moeite om dit in te laden en toe te voegen.

http://www.cbs.nl/nl-NL/menu/themas/dossiers/nederland-regionaal/publicaties/geografische-data/archief/2012/2012-wijk-en-buurtkaart-2011-art.htm

skinkie commented 11 years ago

shp2pgsql -d -W LATIN1 -s 28992 wijk_2011_gn1.shp shp2pgsql -d -W LATIN1 -s 28992 brt_2011_gn1.shp shp2pgsql -d -W LATIN1 -s 28992 gem_2011_gn1.shp

CREATE INDEX wijk_2011_gn1_idx ON wijk_2011_gn1 USING gist (geom); CREATE INDEX brt_2011_gn1_idx ON brt_2011_gn1 USING gist (geom); CREATE INDEX gem_2011_gn1_idx ON gem_2011_gn1 USING gist (geom);

Even aan het kijken of ik adres-tabel.sql ook van wat wijzigingen kan voorzien.

skinkie commented 11 years ago

Just, zou jij een join willen op een gm_code, of een (nette center) met een within op de buurt tabel?

justb4 commented 11 years ago

ja, mooi wijken en buurten erbij, ook in adres-tabel.sql ! ik begrijp je laatste comment niet goed. we hebben nu hierarchie: provincie->gemeente->woonplaats. vallen wijken/buurten niet binnen woonplaats? jij zit hier wat meer in. doe wat je het beste lijkt. als het voor gebruikers van NLExtract maar duidelijk blijft.

skinkie commented 11 years ago

alter table adres add wijknaam varchar(60); alter table adres add buurtnaam varchar(60);

update adres set buurtnaam = brt_2011_gn1.bu_naam, wijknaam = wijk_2011_gn1.wk_naam FROM brt_2011_gn1, wijk_2011_gn1 WHERE st_within(geopunt, brt_2011_gn1.geom) and brt_2011_gn1.wk_code = wijk_2011_gn1.wk_code;

Ik denk dat het bovenstaande het snelste is, ten opzichte van het direct doen bij tabel maken. Want op dit moment staat er al een index op de geopunt, en hoef je geen vlak naar punt die binnen het vlak ligt, te converteren.

...en snel is hier relatief, postgresql is altijd traag.

skinkie commented 11 years ago

bag-2012-juli=# select count(*) from adres where wijknaam is null or buurtnaam is null;

count

2318 (1 row)

Van 8492281 totaal vrij acceptabel :)

skinkie commented 11 years ago

Ik zou dan ook maar zeggen... laadt Provincie2003 er dan ook maar netjes bij.

shp2pgsql -d -W LATIN1 -s 28992 provinciesnl2003

(Ik ben alleen benieuwd in welke characterset Frysl?n wel goed komt... UTF-8, ISO-8859-1 of LATIN1 allen niet, ik heb het idee dat het er echt als '?' in staat.)

justb4 commented 11 years ago

Meerdere malen heb ik "iconv -f CP1252 -t UTF-8" moeten toepassen op NL bron bestanden. m.i. geeft ogr2ogr meer controle dan shp2pgsql, zie bijv http://code.google.com/p/inspire-foss/source/browse/trunk/etl/NL.Kadaster/bin/to-gml.sh

Ik zie net in BAG 8 aug dat de gemeente/woonplaats koppeling nu meegeleverd wordt: http://kademo.nl/public/DNLDLXAE02-0000673060-0096000265-08082012.zip

skinkie commented 11 years ago

Dank voor je antwoord, op dit moment ben ik bezig om BAG42 opnieuw van data te voorzien. Ik had juli al te pakken, maar augustus is natuurlijk nog recenter. Ik walg echter van de nogsteeds super grote hoeveelheid postcode fouten die met super simpele visualisatie zo te ontdekken zijn.

Voor BAG42 willen we de complete stack dus gedocumenteerd hebben zodat deze te reproduceren valt. Dus wijken/buurten + provincies en openkvk. Ik neem aan dat dit breed wordt gedragen om meer mensen toegang te geven tot hun eigen geocoder.

justb4 commented 11 years ago

Wat is de status, heb je een patch o.i.d ? Ik zou wijken/buurten graag meenemen in 1.1.2 ...

skinkie commented 11 years ago

Als je wilt dat ik een patch maak, in een los SQL bestand dan?

emacgillavry commented 11 years ago

Nog even in reactie op Just's eerdere vraag https://github.com/opengeogroep/NLExtract/issues/64#issuecomment-7784817 Wijk- en buurtgrenzen vallen niet noodzakelijkwijs binnen 1 woonplaats. Navraag bij CBS of dit in de toekomst wordt rechtgetrokken leverde enkele maanden geleden het volgende antwoord op:

De wijk en buurtgrenzen worden door de gemeenten aan ons geleverd. Tegenwoordig meestal digitaal, maar in het verleden ook analoog. Die analoge grenzen zijn door ons gedigitaliseerd en zitten er dus nog steeds in. Die zullen dus niet precies aansluiten op de woonplaatsgrenzen. Wij compileren alle aangeleverde grenzen tot 1 bestand. Volgens een collega van mij is er wel een recent onderzoek geweest naar de vraag of gemeenten met de wijkgrenzen wilden aansluiten op de woonplaatsindeling van de BAG, maar daar was niet echt behoefte aan.

Hoewel de grenzen dus op een authentieke manier (lees: "handmatig") worden ingewonnen, is het gelukkig nog geen authentieke registratie en valt het dus niet netjes in te passen. Ook vraag ik me af, wat je hebt aan een aanduiding als "Verspreide huizen in het noorden" of "Corpus Den Hoorn-Noord".

skinkie commented 11 years ago

Omdat als je in een geocoder op wijk "Rietvink" zoekt je wel uitkomt op de viewport van onze wijk. Maar er geen straat is die zo heet.

emacgillavry commented 11 years ago

Daar is zeker geen speld tussen te krijgen, natuurlijk. Sommige buurtnamen zijn nu eenmaal gangbaarder in het gewone spraakgebruik, dan andere. Zeker voor dichter-bewoonde gebieden is het inderdaad heel handig!

justb4 commented 9 years ago

Dit issue is weer relevant geworden, sowieso voor de adres tabel/CSV. Ik denk dat we als bron CBS 'Wijk- en Buurtkaart 2014' http://www.cbs.nl/nl-NL/menu/themas/dossiers/nederland-regionaal/publicaties/geografische-data/archief/2015/wijk-en-buurtkaart-2014-art.htm moeten gebruiken.

holtkamp commented 7 years ago

Mogelijk nuttig:

https://www.cbs.nl/nl-nl/dossier/nederland-regionaal/geografische%20data/wijk-en-buurtkaart-2016

justb4 commented 7 years ago

@holtkamp bedankt! Lijkt mij goed om wijken/buurten door te zetten. Ontwerp hier te bespreken. Is wat lastiger dan gemeente en provincie, die konden via woonplaats,gemeente, provincies codes gekoppeld worden. Bij wijken/buurten is dat m.i. anders, staan lager in administratieve hierarchie:

om te bepalen in welke wijk/buurt een BAG adres ligt moet mogelijk een geometrische operatie (PostGIS evt WFS) gedaan worden
ligt elk adres in een wijk en/of buurt?

@skinkie heeft hier vast wel ideeen over ! ok, zie nu ook zijn bovenstaande commentaren...

Ik wil graag eerst issue #218 (extra velden BAG adres) integreren en daarna wijken/buurten.

emacgillavry commented 7 years ago

Oh mensen, we zweten regelmatig op de combi buurten en BAG-woonplaatsen. Sommige buurten beslaan meerdere woonplaatsen en de grenzen van de buurten vallen niet samen met de grenzen van de woonplaatsen... Ik hoopte, dat Kadaster dit zou rechttrekken met de slag om de buurten op te nemen in Top10NL, maar dat is slechts voor de grote steden ingevuld begreep ik. Hier mogen MinEZ/CBS en MinI&M/Kadaster nog eens een ei over gaan leggen in het belang van Geo-Nederland ;-)

2017-06-14 12:12 GMT+02:00 Just van den Broecke notifications@github.com:

@holtkamp https://github.com/holtkamp bedankt! Lijkt mij goed om wijken/buurten door te zetten. Ontwerp hier te bespreken. Is wat lastiger dan gemeente en provincie, die konden via woonplaats,gemeente, provincies codes gekoppeld worden. Bij wijken/buurten is dat m.i. anders, staan lager in administratieve hierarchie:

om te bepalen in welke wijk/buurt een BAG adres ligt moet mogelijk een geometrische operatie (PostGIS evt WFS) gedaan worden

ligt elk adres in een wijk en/of buurt?

@skinkie https://github.com/skinkie heeft hier vast wel ideeen over !

Ik wil graag eerst issue #218 https://github.com/nlextract/NLExtract/issues/218 (extra velden BAG adres) integreren en daarna wijken/buurten.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/nlextract/NLExtract/issues/64#issuecomment-308387670, or mute the thread https://github.com/notifications/unsubscribe-auth/ABe9AGps8p7BD3WmnetzKY5rupzyCOq4ks5sD7IYgaJpZM4AHJWQ .

mprins commented 7 years ago

wijken/buurten zitten in de BGT (maar incompleet - ondanks de blije kaartjes op https://www.pdok.nl/nl/bgt-vulling ) oa. GML light die we in de BRMO gebruiken heeft dat

Jeroen-GroeneBij commented 6 years ago

Op CBS vond ik een link naar een koppelbestand dat alle adressen (PC6+huisnummer), voorziet van buurt-, wijk- en gemeentecode: https://www.cbs.nl/nl-nl/maatwerk/2017/38/buurt-wijk-en-gemeente-2017-voor-postcode-huisnummer Dat zijn dus meer dan 7,5 miljoen regels. Dat kan ik helaas in mij excel niet meer openen.

Kan iemand hiermee een koppeling maken waardoor PC6 gekoppeld is aan buurtnaam?

XtheOne commented 6 years ago

Kun je niet beter de CVS importeren in postgresql ? Anders de 64 bit versie van office gebruiken.

Jeroen-GroeneBij commented 6 years ago

Heb de csv kunnen openen in Qgis, dan een gemeente selecteren, en die knippen en plakken in excel. Dan heb ik kleinere hoeveelheden regels. Excel 64bit heeft helaas ook een limiet van rond de 1,5 mln regels

holtkamp commented 4 years ago

FYI, nieuwe files beschikbaar voor

Off-topic In navolging van https://github.com/nlextract/NLExtract/issues/220#issuecomment-563277830 ben ik momenteel bezig om een Docker container de volgende datasets in een MySQL 8.0.18 database te laten importeren:

Zijn er plannen om dergelijke "standaard" pijplijnen ook in dit project op te nemen?

nlextract / NLExtract

Wijk/Buurten CBS ook maar gewoon bij adressen laden? #64

count