Fehler bei der Ausführung des DB2Frontend-Skriptes (Schritt 5 und 6) - Githubissues

medizininformatik-initiative / INTERPOLAR

CDS Tool Chain Repository

https://medizininformatik-initiative.github.io/INTERPOLAR/

4 stars 0 forks source link

Fehler bei der Ausführung des DB2Frontend-Skriptes (Schritt 5 und 6) #346

Open bejoe1 opened 1 month ago

bejoe1 commented 1 month ago

Bei Ausführung des D2Frontend-Skriptes (docker compose run --rm --no-deps r-env Rscript R-db2frontend/StartDB2Frontend.R) kommt folgender Fehler:

Try to connect with: 
   dbname=cds_hub_db
   host=cds_hub
   port=5432
   user=db2frontend_user
   password=db2frontend
   schema=db2frontend_out
importRecords will change how it validates data in version 3.0.0.
We recommend preparing your data for import using castForImport .
Error in copyDB2Redcap() : 1 assertions failed:
 * The variable(s) record_id, patient_fe_id, pat_id, pat_cis_pid,
 * pat_name, pat_vorname, pat_gebdat, pat_aktuell_alter,
 * pat_geschlecht, patient_complete are not found in the project and/or
 * cannot be imported.
Calls: copyDB2Redcap ... <Anonymous> -> importRecords.redcapApiConnection -> <Anonymous>
Execution halted

Zur Info: ich habe heute den release-Branch getestet und alles nach Installationsanleitung neu aufgesetzt, inkl. der Datenbank.

mayadogh commented 1 month ago

@bejoe1 : es klingt nach einem Problem beim REDCap-Projekt. Folgendes kann ich mir als Problem vorstellen:

das Projekt ist nicht richtig in REDCap implementiert
API ist im Projekt nicht freigegeben / bzw. ist das Token oder die URL falsch in der .toml Datei

mayadogh commented 1 month ago

@bejoe1 : auch Issue #334 anschauen, vielleicht gibt es Gemeinsamkeinten.

bejoe1 commented 1 month ago

Guten Morgen @mayadogh, vielen Dank für die Tipps, ich habe folgedes geprüft, danach aber leider die selbe Fehlermeldung erhalten:

Importiert habe ich das aktuelle Projekt aus dem Sharepoint (INTERPOLARDev_2024-06-12_1131.REDCap) --> ist dies denn das aktuelle richtige Projekt?
Den API Token habe ich kontrolliert, es ist der aus dem REDCap Projekt
Die REDCap URL habe ich in der .toml-Datei nicht angepasst, da REDCap in der Standardeinstellung mit hochgefahren wird, das ist richtig so, oder?
In der db_log sind auf jeden fall Daten in der fall_fe und patient_fe zu finden, es sind lediglich ein paar Spalten nicht befüllt (null), aber das sollte vermutlich kein Problem darstellen oder?
Ich habe die finale Lösung aus dem Ticket nicht komplett nachvollziehen können, was genau wurde durch welchen REST-Request ersetzt?

Gibt es noch etwas, was ich überprüfen könnte?

mayadogh commented 1 month ago

@bejoe1

Das ist das richtige Projekt, ich würde nochmal trotzdem die URL kontrollieren falls der Port doch anderes ist oder sowas.
Sind Daten im Schema DB_out zu finden? Null Spalten sind kein Problem außer bei record_id, repeat_instrument_name & id.
Im anderen Ticket hat man statt das API-Paket vom REDCap in R über httr & JSON Daten einlesen können. Warum das andere nicht funktioniert wissen wir immer noch nicht. Ob es Proxies seien oder sowas kann ich nicht sagen.

bejoe1 commented 1 month ago

@mayadogh

Ich habe die URL mal mit einer anderren URL ausgetauscht, da habe ich eine Fehlermeldung bekommen, dass keine Verbindung hergestellt werden kann. Also ist die Standard-URL http://redcap/redcap/api/ die richtige
Ist hier das Schema "cds2db_out" gemeint? Dieses Schema und auch "db2dataprocessor_out" und "db2frontend_out" sind bei mir tatsächlich leer (keine Tabellen vorhanden).
auch nach erneutem Aufsetzen des aktuellen release-Branches mit letztem Commit vom 2.8. haben die out-Schemas keine Tabellen. Habe ich evtl. beim Aufsetzen etwas falsch gemacht?
- ich füge hier mal die Log-Dateien der cds2db und dataprocessors an, gibt es hier ggf. schon ein Problem?
- cds2db_log_2024-08-05.txt
- dataprocessor_log_2024-08-05.txt
- bei der Ausführung des db2frontend-Skriptes habe ich nun eine etwas abweichende Fehlermeldung:
```
$ docker compose run --rm --no-deps r-env Rscript R-db2frontend/StartDB2Frontend.R
Try to connect with: 
dbname=cds_hub_db
host=cds_hub
port=5432
user=db2frontend_user
password=db2frontend
schema=db2frontend_out
importRecords will change how it validates data in version 3.0.0.
We recommend preparing your data for import using castForImport .
Error in copyDB2Redcap() : 1 assertions failed:
```
- The variable(s) pat_cis_pid are not found in the project and/or
- cannot be imported. Calls: copyDB2Redcap ...
  -> importRecords.redcapApiConnection ->
  Execution halted

mayadogh commented 1 month ago

@bejoe1 Danke für das ausprobieren. REDCap war richtig verbunden, das ist gut. Das _out Schema was ich meinte war für das Frontend: db2frontend_out aber zuerst müssen die Schemata vorher auch Daten haben, dieses ist das letzte. Daher werde ich meine Kollegen zum Ticket assignen, damit sie schauen können was los ist. Ich glaube keine passenden Daten sind eingelesen.

bejoe1 commented 1 month ago

Hallo zusammen, gibt es hierzu etwas neues? Kann ich noch etwas ausprobieren, oder liegt es an einem Bug im Skript, dass demnächst behoben wird? Vielen Dank im Voraus und Viele Grüße aus Gießen

mayadogh commented 1 month ago

@bejoe1 : es wird in den nächsten Tagen einen neuen Release geben. Es wird in der DIZ-Runde dazu weiteres gesagt.

SebStaeubert commented 2 weeks ago

@bejoe1 Hast dich das Problem mit Release v0.2.3 bei euch gelöst? Kann das Ticket geschlossen werden?

bejoe1 commented 2 weeks ago

@SebStaeubert Ich kam noch nicht dazu, dass neue Release zu testen. Ich würde mich bis spätestens nächste Woche hierzu noch mal zurück melden.

bejoe1 commented 2 days ago

Nachdem #382 behoben werden konnte, tritt nun beim db2frontend ein ähnlicher Fehler wie oben auf:

[TIME] 1726213646 2024-09-13 09:47:26 
Run Import from Database to Frontend: RUNNING ...
Try to connect with: 
   dbname=cds_hub_db
   host=cds_hub
   port=5432
   user=db2frontend_user
   password=db2frontend
   schema=db2frontend_out
SELECT record_id, patient_fe_id, pat_id, pat_cis_pid, pat_name, pat_vorname, pat_gebdat, pat_aktuell_alter, pat_geschlecht, patient_complete FROM v_patient 
importRecords will change how it validates data in version 3.0.0.
We recommend preparing your data for import using castForImport .
Run Import from Database to Frontend: Error in db2frontend::importDB2Redcap() : 1 assertions failed:
 * The variable(s) record_id, patient_fe_id, pat_id, pat_cis_pid,
 * pat_name, pat_vorname, pat_gebdat, pat_aktuell_alter,
 * pat_geschlecht, patient_complete are not found in the project and/or
 * cannot be imported.
Error in checkError(potencial_error = process_result, expr_ok = { : 
  Error in db2frontend::importDB2Redcap() : 1 assertions failed:
 * The variable(s) record_id, patient_fe_id, pat_id, pat_cis_pid,
 * pat_name, pat_vorname, pat_gebdat, pat_aktuell_alter,
 * pat_geschlecht, patient_complete are not found in the project and/or
 * cannot be imported.