De core data moet nog worden geimporteerd in api.erfgeo.nl

[phpetra]

@bertspaan of @wires Willen jullie dit afstemmen? Ik bedoel de data in https://github.com/histograph/data

Als dat er is kunnen Menno of ik de importer gebruiken om de overige datasets erin te zetten

[wires]

Need some missing config to be able to do this, see https://github.com/histograph/config/issues/1

btw, Bert = @bertspaan not @Bert (I changed your issue)

[bertspaan]

Closed by https://github.com/histograph/config/commit/67c3555fea826feb6156fcb5e967be64c3565f01

[phpetra]

Het kan aan mij liggen maar ik zie nog niet heel veel sources? http://api.erfgeo.nl/sources

[wires]

0! dat zijn er niet zo veel :-) issue moet inderdaad open blijven, @w0ps gaat zich hier morgen over buigen.

Ik heb net data gerunt, gaat niet goed voor geonames. BAG heb ik niet in SQL zitten, dat duurt heeeeeel lang. We kunnen wel evt. de .ndjson bestanden van de oude server overhalen.

histograph@vps862:~/data$ node index.js
Processing source geonames:
  Executing step download...
    Done!
  Executing step convert...
    Error: {}
Error: TypeError: Cannot read property 'geonameid' of undefined
Processing source tgn:
  Executing step download...
    Done!
  Executing step convert...
    Done!
  Executing step done...
    Done!
Processing source bag:
  Executing step convert...
    Error: {"name":"error","length":97,"severity":"FATAL","code":"28P01","file":"auth.c","line":"302","routine":"auth_failed"}
Error: error: password authentication failed for user "postgres"
Processing source nwb:
  Executing step download...

dus nwb (straks) en tgn zitten er in, rest nog niet...

[bertspaan]

Ja, data-scripts moeten nog verbeterd en goed gedocumenteerd.. BAG-ding werkt alleen als je BAG in postgres hebt... NLextract downloaden, en 8 uur je laptop laten blazen. Op 9 jun. 2015 18:38 schreef "Jelle Herold" notifications@github.com:

0! dat zijn er niet zo veel :-) issue moet inderdaad open blijven, @w0ps https://github.com/w0ps gaat zich hier morgen over buigen.

Ik heb net data gerunt, gaat niet helemaal lekker. We kunnen evt. de .ndjson bestanden van de oude server overhalen.

histograph@vps862:~/data$ node index.js Processing source geonames: Executing step download... Done! Executing step convert... Error: {} Error: TypeError: Cannot read property 'geonameid' of undefined Processing source tgn: Executing step download... Done! Executing step convert... Done! Executing step done... Done! Processing source bag: Executing step convert... Error: {"name":"error","length":97,"severity":"FATAL","code":"28P01","file":"auth.c","line":"302","routine":"auth_failed"} Error: error: password authentication failed for user "postgres" Processing source nwb: Executing step download...

dus nwb (straks) en tgn zitten er in, rest nog niet...

— Reply to this email directly or view it on GitHub https://github.com/erfgoed-en-locatie/erfgoed-en-locatie.github.io/issues/2#issuecomment-110524593 .

[wires]

ja geen probleem, @w0ps vond ’t leuk om er in te duiken.

Ivo, dit waren de instructies die Bert me destijds mailde,

Download BAG-bestand:

wget http://geodata.nationaalgeoregister.nl/inspireadressen/extract/inspireadressen.zip

Download NLExtract

https://github.com/opengeogroep/NLExtract

Lees de docs:

http://nlextract.readthedocs.org/en/latest/bagextract.html

Doe het script:

Zet PostgreSQL-configuratie in extract.conf. Dan:

python bagextract.py -c 
python bagextract.py -e ~/Downloads/inspireadressen.zip 

Dan gaat python 10 uur lang XML-bestandjes lopen parsen en uiteindelijk heb je ’n gevulde database.

[wires]

OK, data is aan het importen. ik sluit dit issue, als er verdere problemen zijn graag nieuwe issue openen.

http://api.erfgeo.nl/status/queue

[
{
redisName: "histograph-queue",
queue: "histograph",
length: 0
},
{
redisName: "histograph-graph-queue",
queue: "graph",
length: 271935
},
{
redisName: "histograph-es-queue",
queue: "es",
length: 266353
},
{
redisName: "histograph-pg-queue",
queue: "pg",
length: 3584
}
]