bzkf / onco-analytics-on-fhir

Onco Analytics on FHIR
GNU Affero General Public License v3.0
6 stars 3 forks source link

check discrepancy between XML and CSV (is it decompose or is it obds-to-fhir) #183

Open jasminziegler opened 3 months ago

jasminziegler commented 3 months ago

Wir haben immer noch kleinere Diffs zwischen dem XML und dem CSV. Dazwischen könnte es also entweder am decompose Teil oder am obds-to-fhir Teil liegen. Wir könnten also in einem nächsten Schritt diese zwei Module überprüfen:

  1. Den decompose-xml Part könnten wir evtl. mit grep-Zählweise wie Peter überprüfen.

Wir könnten die Einzelmeldungen Speichern, und zwar so:

Im compose.decompose-xmls.yaml file gibt es das Flag „SAVE_AS_FILE_ENABLED“. Da es hier zu Berechtigungsproblemen kommen könnte, folgt ein Lösungsvorschlag, der bei mir funktioniert hat:

  1. SAVE_AS_FILES_ENABLED: "true" , damit ihr die einzelnen XMLS auch ansehen könnt, dann bitte ich euch folgendes zu tun: (bitte als quickfix betrachten, das werde ich auf jeden Fall noch ändern):
  2. Ordner diz-in-a-box/docker-compose/output-obds-reports/output-xmls manuell anlegen
  3. Permissions setzen – ich habe es jetzt so getestet, geht aber vermutlich auch anders/restriktiver sudo chmod 777 output-obds-reports/output-xmls/ sudo chmod 777 output-obds-reports/
  4. Damit müsste der decompose job dann durchlaufen – im akhq seht ihr im Topic onkostar.MELDUNG_EXPORT eure oBDS Einzelmeldungen (mit unseren Testdaten im Repo seht ihr an dieser Stelle 4 Nachrichten)

Auf den Output-xmls Ordner könnte man dann nochmal wie Peter auszählen. So könnten wir sehen ob die Einzelmeldungen korrekt aufgetrennt werden oder ob es bereits hier zu Problemen kommt.

  1. Den obds-to-fhir Part könnten wir mithilfe des mit ausgelieferten FHIR-Servers überprüfen, indem wir diesen ebenfalls starten und dann mittels einem to-server Job alle Resourcen in diesen FHIR-Server laden. Mittels FHIR-Search könnten wir dann einzelne Entitäten überprüfen.