zdavatz / oddb2xml

oddb2xml, create xml files using refdata, swissmedic and bag xml files
http://www.ywesee.com/Oddb2xml/Index
GNU General Public License v3.0
8 stars 5 forks source link

Pharmacode nicht mehr vorhanden bei Refdata. #46

Closed zdavatz closed 3 years ago

zdavatz commented 3 years ago

Ich lade alle zwei Monate die oddb_product.xml und oddb_article.xml in meine Datenbank. Nun ist mir aufgefallen, dass seit meinem letzten Import die xml-Struktur leicht geändert wurde bei product.xml.

In der heutigen Ausgabe von product.xml (02.02.2021) fehlt die Entität , wie Sie aus der Abbildung sehen können. Das ist bei früheren xml und auch in der aktuellen article.xml nicht der Fall. Die Entität enthält die Anzahl Records >NBR_RECORD>, die ich als Kontrolle verwende.

feeback_fabio_valeri

Ich kann damit leben, aber ich wollte sie einfach darüber informieren, dass doch eine wichtige Kontrolle nicht mehr vorhanden ist. Ich weiss nicht, seit wann das der Fall ist, aber ich könnte es herausfinden, falls erwünscht. Wenn Sie es so belassen wollen, wie es nun ist, wäre ich Ihnen dankbar, wenn Sie mich informieren. Dann passe ich mein Import-Skript entsprechend an, damit keine Fehlermeldung stattfindet.

Seit 06.01.2021 wird kein NBR_RECORD geliefert. Bis 05.01.2021 wurde NBR_RECORD geliefert.

ihmz-fabio commented 3 years ago

Die Pharmacodes werden (in article.xml) immer noch geliefert, jedoch nicht mehr alle: grafik Die Anzahl Pharmacodes nimmt seit 2021 drastisch ab. Vor 2019 entsprach die Anzahl Records der Anzahl Pharmacodes. Der Grund liegt wohl darin, dass der Pharmacode kontinuierlich abgeschafft wird und durch den GTIN ersetzt wird. Daher denke ich nicht, dass der Pharmacode etwas mit dem fehlenden Eleent zu tun hat.

zdavatz commented 3 years ago

ok, Danke @ihmz-fabio. Mal schauen was @ngiger dazu sagt.

ngiger commented 3 years ago

Es gibt spec-Tests, welche testen ob das NBR_RECORD in diversen (aber nicht allen) *.xml vorhanden sind. Darf ich wissen, wie genau der Aufruf von oddb2xml war? Dann gehe ich dem Problem nach.

ihmz-fabio commented 3 years ago

Ist das eine Anfrage an mich? Wenn ja, verstehe ich es nicht.

ngiger commented 3 years ago

@ihmz-fabio: Ich möchte wissen, wie genau sie auf der Shell den Befehlt oddb2xml aufgerufen haben. Ohne Parameter oder mit welchen Parametern, z.B. bundle exec ruby bin/oddb2xml --help.

Falls Sie nur das Gem installiert haben, geben Sie bitte die Version an.

Falls Sie ein git clone gemacht haben, bitte angeben, auf welchem commit sie stehen.

zdavatz commented 3 years ago

@ngiger die Daten werden von hier runtergeladen. Der Aufruf ist der normale Aufruf.

ngiger commented 3 years ago

@ihmz-fabio: Okay. Da muss bei HIN beim Erstellen was schief gelaufen sein.oddb_article.xml enhält die NBR_RECORD-Entität, nicht jedoch die oddb_product.xml

Beide XML-Dateien wurden mit oddb2xml 2.7.0 vom 5.11.2020 erstellt.

Ich lasse den Build lokal bei mir laufen, um zu sehen, was passiert ist, z.B. ob die bei refdata fehlenden Pharmacodes zu einem Abbruch führen, der nicht als Fehler erkannt wird. Das wird allerdings ein, zwei Stunden dauern.

zdavatz commented 3 years ago

@ihmz-fabio brauchst Du den Pharmacode noch?

ihmz-fabio commented 3 years ago

Im Prinzip nein. Aber es werden bei uns immer noch medis geliefert ohne GTIN aber mit Pharmacode. Deshalb denke ich, dass ich es immer noch benötige.

zdavatz commented 3 years ago

Im Prinzip nein. Aber es werden bei uns immer noch medis geliefert ohne GTIN aber mit Pharmacode. Deshalb denke ich, dass ich es immer noch benötige.

Ok, dann werden wir den Pharmacode soweit wie möglich belassen.

ngiger commented 3 years ago

Getting pharmacode from transfer.dat was easy. The missing RESULT entity stems probably from the fact that I have some invalid entries, eg. element DSCRD: Schemas validity error : Element '{http://wiki.oddb.org/wiki.php?pagename=Swissmedic.Datendeklaration}DSCRD': [facet 'maxLength'] The value has a length of '128'; this exceeds the allowed maximum length of '120'.

ngiger commented 3 years ago

Using the nokogiri option huge as suggested in nokogiri bug 2187 solved the problem. Released oddb2xml gem 2.7.1. I hope that tomorrow the HIN will produce a correct oddb_product.xml, 13489 articles should have a pharmacode from Zur Rose. Aufwand war 3.5h

zdavatz commented 3 years ago

@ihmz-fabio Bist Du zufrieden so?

ihmz-fabio commented 3 years ago

Perfekt! Besten Dank.