search

hbz / nwbib

Die Nordrhein-Westfälische Bibliographie
http://nwbib.de
3 stars 2 forks source link

Raumsystematik neu aufbauen #542

Closed acka47 closed 1 year ago

acka47 commented 4 years ago

Es ist mal wieder Zeit, https://nwbib.de/spatial auf basis der config-Datei und Wikidata neu zu bauen.

Anleitung für den Neuaufbau der Systematik

acka47 commented 2 years ago

Please deploy to prod, @fsteeg .

fsteeg commented 2 years ago

Deployed: https://nwbib.de/spatial#Q1817623

acka47 commented 2 years ago

Mail versendet. Closing.

acka47 commented 2 years ago

On 18.11.22 16:17, D., R.-W. wrote:

heute habe ich in die Test-Version

LießemQ18608587

eingebracht. Bitte die NWBib aktualisieren.

acka47 commented 1 year ago

Wurde von @fsteeg im Kontext von #593 ergänzt. Mail ist raus. Closing.

acka47 commented 1 year ago

Am 08.12.22 um 12:46 schrieb C.T.:

ich habe den Ortsteil Roder hinzugefügt (Ortsteil von Kall)

Roder$$0https://nwbib.de/spatial#Q114559747

acka47 commented 1 year ago

Please deploy, @fsteeg

fsteeg commented 1 year ago

Deployed: https://nwbib.de/spatial#Q114559747

acka47 commented 1 year ago

Mail ist raus. Closing.

acka47 commented 1 year ago

On 20.01.23 14:04, S. K.-L. wrote:

ich habe den Ortsteil Wallen in die Raumsystematik eingebracht.

acka47 commented 1 year ago

This time, the generation of the rpb-spatial.ttl does not work, although I didn't change anything in my local setup. Here is the out put of $ rm -rf ./data ; rm conf/wikidata.json ; sbt "runMain SpatialToSkos" ; cp conf/nwbib-spatial.ttl ../lobid-vocabs/nwbib/

downloading sbt launcher 1.8.2
[info] Loading project definition from /home/acka47/git/nwbib/project
[info] Set current project to nwbib (in build file:/home/acka47/git/nwbib/)
[info] Compiling 1 Scala source and 1 Java source to /home/acka47/git/nwbib/target/scala-2.11/classes...
[info] Running SpatialToSkos 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/acka47/.ivy2/cache/ch.qos.logback/logback-classic/jars/logback-classic-1.1.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/acka47/.ivy2/cache/org.slf4j/slf4j-log4j12/jars/slf4j-log4j12-1.7.12.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [ch.qos.logback.classic.util.ContextSelectorStaticBinder]
log4j:WARN No appenders could be found for logger (org.elasticsearch.node).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
org.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:3333
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:147)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:144)
    at scala.Option.map(Option.scala:146)
    at play.core.server.NettyServer.<init>(NettyServer.scala:144)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:215)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:214)
    at play.core.server.ServerProvider$class.createServer(ServerProvider.scala:24)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:214)
    at play.api.test.TestServer$.start(TestServer.scala:80)
    at play.api.test.TestServer.start(TestServer.scala:42)
    at play.test.Helpers.start(Helpers.java:507)
    at play.test.Helpers.running(Helpers.java:523)
    at SpatialToSkos.main(SpatialToSkos.java:122)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at sbt.Run.invokeMain(Run.scala:67)
    at sbt.Run.run0(Run.scala:61)
    at sbt.Run.sbt$Run$$execute$1(Run.scala:51)
    at sbt.Run.directExecute$1(Run.scala:53)
    at sbt.Run.run(Run.scala:55)
    at sbt.Defaults$$anonfun$runMainTask$1$$anonfun$apply$44$$anonfun$apply$45.apply(Defaults.scala:793)
    at sbt.Defaults$$anonfun$runMainTask$1$$anonfun$apply$44$$anonfun$apply$45.apply(Defaults.scala:791)
    at scala.Function1$$anonfun$compose$1.apply(Function1.scala:47)
    at sbt.$tilde$greater$$anonfun$$u2219$1.apply(TypeFunctions.scala:40)
    at sbt.std.Transform$$anon$4.work(System.scala:63)
    at sbt.Execute$$anonfun$submit$1$$anonfun$apply$1.apply(Execute.scala:228)
    at sbt.Execute$$anonfun$submit$1$$anonfun$apply$1.apply(Execute.scala:228)
    at sbt.ErrorHandling$.wideConvert(ErrorHandling.scala:17)
    at sbt.Execute.work(Execute.scala:237)
    at sbt.Execute$$anonfun$submit$1.apply(Execute.scala:228)
    at sbt.Execute$$anonfun$submit$1.apply(Execute.scala:228)
    at sbt.ConcurrentRestrictions$$anon$4$$anonfun$1.apply(ConcurrentRestrictions.scala:159)
    at sbt.CompletionService$$anon$2.call(CompletionService.scala:28)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
Caused by: java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:461)
    at sun.nio.ch.Net.bind(Net.java:453)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:222)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:85)
    at org.jboss.netty.channel.socket.nio.NioServerBoss$RegisterTask.run(NioServerBoss.java:193)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.processTaskQueue(AbstractNioSelector.java:391)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:315)
    at org.jboss.netty.channel.socket.nio.NioServerBoss.run(NioServerBoss.java:42)
    at org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108)
    at org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42)
    ... 3 more
java.lang.RuntimeException: org.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:3333
    at play.api.test.TestServer.start(TestServer.scala:46)
    at play.test.Helpers.start(Helpers.java:507)
    at play.test.Helpers.running(Helpers.java:523)
    at SpatialToSkos.main(SpatialToSkos.java:122)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:3333
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:147)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:144)
    at scala.Option.map(Option.scala:146)
    at play.core.server.NettyServer.<init>(NettyServer.scala:144)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:215)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:214)
    at play.core.server.ServerProvider$class.createServer(ServerProvider.scala:24)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:214)
    at play.api.test.TestServer$.start(TestServer.scala:80)
    at play.api.test.TestServer.start(TestServer.scala:42)
    at play.test.Helpers.start(Helpers.java:507)
    at play.test.Helpers.running(Helpers.java:523)
    at SpatialToSkos.main(SpatialToSkos.java:122)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
Caused by: java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:461)
    at sun.nio.ch.Net.bind(Net.java:453)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:222)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:85)
    at org.jboss.netty.channel.socket.nio.NioServerBoss$RegisterTask.run(NioServerBoss.java:193)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.processTaskQueue(AbstractNioSelector.java:391)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:315)
    at org.jboss.netty.channel.socket.nio.NioServerBoss.run(NioServerBoss.java:42)
    at org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108)
    at org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
[trace] Stack trace suppressed: run last compile:runMain for the full output.
java.lang.RuntimeException: java.lang.RuntimeException: org.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:3333
    at scala.sys.package$.error(package.scala:27)
[trace] Stack trace suppressed: run last compile:runMain for the full output.
[error] (compile:runMain) java.lang.RuntimeException: org.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:3333
[error] Total time: 15 s, completed 20-Jan-2023 14:14:59
dr0i commented 1 year ago

Failed to bind to: /0.0.0.0:3333

This usually means that there is already some daemon running at your localhost at port 3333. Check this with "$ lsof -i 3333" and kill it, if you dare, before starting sbt again.

acka47 commented 1 year ago

Ah, thanks. OpenRefine was the culprit.

acka47 commented 1 year ago

Ok, pushed changes to lobid-vocabs and deployed it by myself for the first time. \o/ Closing

acka47 commented 1 year ago

Reopening because of today's email by U.P. with subject "neuer Ortsteil Scheuren in der Gemeinde Odenthal im Rheinisch-Bergischen Kreis im Regierungsbezirk Köln" -> https://test.nwbib.de/spatial#Q59594697

acka47 commented 1 year ago

Erledigt

acka47 commented 1 year ago

Reopening. Es gab einige Anpassungen in Wikdiata, die nachgezogen werden müssen. Zum Kontext hier meine E-Mail an C.T.:

Am 26.04.23 um 15:47 schrieb Adrian Pohl:

Ich habe mir gerade mal die Geschichte des Eintrags Q1978684 angeschaut.

Als wir die NWBib-ID ergänzt haben, war der Eintrag bereits problematisch. Die meisten Aussagen bezogen sich auf den Ortsteil, allerdings verwiesen der Link auf Wikipedia und Wikimedia Commons auf Einträge zu der Kirche:

https://www.wikidata.org/w/index.php?title=Q1978684&oldid=1010927391

Der Nutzer Chri06 hat dann am 19. September 2021 den Eintrag aufgeräumt zugunsten der Kirche, siehe https://www.wikidata.org/w/index.php?title=Q1978684&action=history

Erst anderthalb Jahre später ist Ihnen das nun aufgefallen. Ich gebe Ihrer Analyse recht, dass wir nun nicht die Änderungen an Q1978684 rückgängig machen sollten, weil es dann den Ortsteil zweimal gibt. Ihre vorgeschlagene Lösung scheint mir die einzig sinnvolle:

On 26.04.23 14:07, Tetzlaff, Cordula wrote:

Ich lösche die NWBib-ID aus dem Satz 1. Damit müsste die Verknüpfung mit der Raumsystematik gelöst werden?

Ich verknüpfe die 17 Sätze unter 2. Mit der richtigen NW-Bib-ID?

Ja, genau. Und wie ich sehe haben Sie die NWBib-ID beim zweiten Satz (Q59168726) bereits ergänzt, so dass er in der NWbib nutzbar wird.

Eigentlich hatten wir gedacht, dass die von uns genutzten Wikidata-Sätze irgendwie vor Fremdeingriff geschützt würden, was aber in diesem Fall wohl nicht funktioniert hat. Aber es ist auch der erste Fall, den wir bemerkt haben in dieser Art.

Schützen können wir das nicht. Wir können nur aufpassen, dass wir unerwünschte Änderungen nicht in die – von Wikidata als "Puffer" entkoppelte – NWBib Raumsystematik übernehmen. Das hat wohl auch eine Weile geklappt, die Änderung ist erst am 22.11. 2022 in die NWBib gerutscht: https://github.com/hbz/lobid-vocabs/commit/3ffff2ad24e0074b8f432ff32d5ace5a14aa4330

Ich nehme an, dass ich manuell die Anpassung bis dahin nicht übernommen habe, Herr Steeg das dann aber getan hat. Ich hätte mich wohl besser vorher um eine langfristige Lösung kümmern müssen – so wie Sie es gerade vorgeschlagen haben. Das werde ich mir für die Zukunft merken.

acka47 commented 1 year ago

Erledigt.

acka47 commented 1 year ago

On 04.05.23 12:53, C.T. wrote:

ich habe den Ortsteil: Floßdorf$$0https://nwbib.de/spatial#Q1430425> von Linnich neu eingebracht.

acka47 commented 1 year ago

Mail ist geschrieben. Closing

acka47 commented 1 year ago

Am 24.05.23 um 11:23 schrieb D.F:

Bitte neuen Ortsteil ins Produktiv-System übernehmen:

Nierentrop $$0https://nwbib.de/spatial#Q1524435

acka47 commented 1 year ago

@fsteeg Der hier dokumentierte Update-Prozess funktioniert nicht mehr wie gewohnt, vermutlich als FOlge des Switches von Aleph zu Alma.

Ich habe den resultierenden Commit in den Branch wrongSpatialUpdate gepusht, siehe https://github.com/hbz/lobid-vocabs/commit/75a8328c5493253c67070f307414920edd363b55 .Fast alle Änderungen sind inkorrekt. Erst hatte ich befürchtet, dass sich tatsächlich so viel in Wikidata geändert hat, die Einträge, die ich mir angeschaut habe, waren aber ok. Beispiele:

Kannst du bei Gelegenheit mal schauen, was da schiefläuft?

fsteeg commented 1 year ago

Hm, wenn ich das mache sieht es so aus: https://github.com/hbz/lobid-vocabs/commit/0cf0ae5c6818d581d2be06bbe7ba6809c71ba9a0.

Klappt vielleicht das Löschen der Daten irgendwie nicht (rm -rf ./data ; rm conf/wikidata.json)?

acka47 commented 1 year ago

Ja, bei dir sieht es gut aus. Habe es mal in den master gemergt.

Klappt vielleicht das Löschen der Daten irgendwie nicht (rm -rf ./data ; rm conf/wikidata.json)?

Ja, genau. Ich bekomme das am Anfang gemeldet:

rm: das Entfernen von 'conf/wikidata.json' ist nicht möglich: Datei oder Verzeichnis nicht gefunden

Die Datei gibt es tatsächlich nicht.

acka47 commented 1 year ago

Die beiden Orte sind nun produktiv, Mail ist geschrieben:

Am 31.05.23 um 09:38 schrieb Adrian Pohl:

Lieber Herr F.,

die beiden Orte sind nun in der Produktiv-NWBib:

https://nwbib.de/spatial#Q1524435 https://nwbib.de/spatial#Q908119

Viele Grüße Adrian Pohl

Ich lasse das Ticket nochmal offen, bis das Problem auf meiner Seite behoben ist.

fsteeg commented 1 year ago

Die Datei gibt es tatsächlich nicht.

Hm, dann verwendet er zumindest keine alten Daten, aber dann klappt ev. was anderes nicht, bei der Wikidata-SPARQL-Abfrage vielleicht? Da wird die wikidata.json erzeugt. Oder du bist im falschen Ordner oder sowas? Lokale Änderungen im Repo wären auch noch eine mögliche Fehlerquelle.

acka47 commented 1 year ago

Ich war auf Java 11, mit 8 geht es wieder. Danke fürs Zuhören, @fsteeg . ;-) Closing.

acka47 commented 1 year ago

On 06.06.23 12:09, I.N. wrote:

ich habe einen neuen Ortsteil im Testsystem ergänzt:

https://test.nwbib.de/spatial#Q818997

Könnten Sie bitte die NWBib-Raumsystematik aktualisieren. Vielen Dank im Voraus.

acka47 commented 1 year ago

Erledigt: https://nwbib.de/spatial#Q818997 Mail ist abgeschickt. Closing.

acka47 commented 1 year ago

Am 06.07.23 um 11:38 schrieb D R.-W.:

Lieber Herr Pohl, heute habe ich in die Test-Version

Grötzenberg Q1551698

eingebracht. Bitte die NWBib aktualisieren.

Am 06.07.23 um 12:55 schrieb C.T.:

Hallo Herr Pohl,

ich habe den Ortsteil Ohmbach (von Windeck) neu eingebracht, kann ihn allerdings noch nicht in der NW-Bib-Systematik finden.

acka47 commented 1 year ago

On 03.11.23 14:58, U.P. wrote:

der Stadtteil Rosellerheide ist neu angelegt im Testsystem und kann übernommen werden. Dabei ist mir aufgefallen, dass der Stadtteil Röckrath von Neuss auch noch nicht an der richtigen Stelle im Alphabet der Stadtteile steht.

&

On 08.11.23 12:55, C.T. wrote:

ich habe [Ortsteil Büsch von Eitorf] aus wikidata in die NWBib-Systematik

acka47 commented 1 year ago

Dabei ist mir aufgefallen, dass der Stadtteil Röckrath von Neuss auch noch nicht an der richtigen Stelle im Alphabet der Stadtteile steht.

Sieht für mich gerade gut aus: image

acka47 commented 1 year ago

Erledigt, siehe https://nwbib.de/spatial#Q2166852 & https://nwbib.de/spatial#Q1021743 Closing