search

zdavatz / oddb.org

Open Drug Database for Switzerland
https://ch.oddb.org
GNU General Public License v3.0
10 stars 8 forks source link

bei Swisssrugupdate fehlen Produkte #146

Closed zdavatz closed 3 years ago

zdavatz commented 3 years ago

Mit fällt auf, dass du uns weder im Mai noch jetzt im Juni irgend eine Neueinführung lieferst. Kann dies wirklich sein? Ohnehin sind die Listen sehr kurz.

ngiger commented 3 years ago

Ich liefere nie eine Neueinführung. Höchstens der Code, den ich geschrieben habe. Habe gesehen, dass z.B aus der Datei refdata_Pharma.xml aus den Zeilen

juni/refdata_Pharma.xml-      
juni/refdata_Pharma.xml-        PHARMA
juni/refdata_Pharma.xml:        7680681620020
juni/refdata_Pharma.xml-        68162002
juni/refdata_Pharma.xml-        ROSUVASTATIN Xiromed Filmtabl 5 mg 100 Stk
juni/refdata_Pharma.xml-        ROSUVASTATIN Xiromed cpr pell 5 mg 100 pce
juni/refdata_Pharma.xml-        Xiromed SA
juni/refdata_Pharma.xml-        7601001411364
juni/refdata_Pharma.xml-

Nichts unter ch.oddb.org zu finden ist. Werde dem morgen nachgehen.

zdavatz commented 3 years ago
  1. Code 1 sind Neuregistrierungen
  2. diese kommen rein via Swissmedic-Diff, siehe: https://dev.ywesee.com/Oddb/MedDrugsUpdate
  3. Mit Refdata hat das meiner Meinung nach nichts zu tun.
  4. Die Datei vom Juni hat 83 Zeilen
  5. med-drugs-20210601.xls
  6. Die Datei von Mai hat 46 Zeilen
  7. med-drugs-20210501.xls
  8. Die Datei von April hat 1086 Zeilen
  9. med-drugs-20210401.xls
  10. Die Datei vom März hat 1047 Zeilen
  11. med-drugs-20210316.xls
  12. Etwas läuft schief.
ngiger commented 3 years ago

Nach langem Suchen, habe ich gefunden, dass die @app.log_group(:swiss_medic) https://github.com/zdavatz/oddb.org/blob/e09059f72e4cd3bc3ce0ac8684c5e1d3f328add1/src/plugin/ouwerkerk.rb#L91 leer ist, während dem 

> puts @app.log_group(:bsv_sl).latest.report
Created SL-Entries                                           67
Updated SL-Entries                                         9319
Deleted SL-Entries                                           18
Created Limitation-Texts                                     15
Updated Limitation-Texts                                   2516
Deleted Limitation-Texts                                      0
Duplicate Registrations in SL 01.04.2021                      0
Package-Data was completed from SL                           11
SMeX/SL-Differences (Registrations) 01.04.2021                3
Missing Swissmedic-Codes in SL 01.04.2021                     0
Missing Swissmedic-Codes in SL (out of trade) 01.04.2021      0
Unknown Packages in SL 01.04.2021                           449
Unknown Packages in SL (out of trade) 01.04.2021              0
Packungen in der ODDB Total: 19824
- ausser Handel: 19821
- inaktive Registration: 0
- noch nicht auf MedWin: 3

Alle benötigten Informationen erhält.

Schlussfolgerung. Beim swissmedic plugin wird die loggroup nicht richtig gesetzt.

ngiger commented 3 years ago

Habe auf thinpower sudo -u apache bundle-300 exec ruby-300 jobs/export_swissdrug-update laufen lassen. Jetzt enthält /var/www/oddb.org/data/xls/med-drugs-20210604.xls wieder 90 Einträge mit der Kategorie 1.

Ich vermute, dass die Fehler daher stammen, dass der swissmedic-import mehrmals lief und keine Neueinträge mehr lieferte. Da gestern aber ein neues Packungen.xlsx erstellt wurde, hatte er heute die benötigten Einträge.

Falls das nächsten Monat wieder nicht klappt, wäre noch die Frage, ob die logs erst ganz am Ende (also nach den followers) in die DB geschrieben werden.

Aufwand bis jetzt: 2.5h

zdavatz commented 3 years ago

Wieviele Zeilen hat das neue File?

ngiger commented 3 years ago

1086 Zeilen

zdavatz commented 3 years ago

Perfekt, Danke!

zdavatz commented 3 years ago

Gleiches Problem wieder passiert im September 2021. Swissmedic hat nochmals ein neues File publiziert, das hat alle Logs wieder auf 0 gesetzt. Eigentlich müssten immer zwei Files gedifft werden.