Case / Person Anonymization

[maennchen]

Is your feature request related to a problem? Please describe.

• Data needs to be pruned/anonymized after 2 years according to data protection laws

Describe the solution you'd like

• [x] Add a redacted boolean to the person model
• [x] Add a redaction date to the person model
• [x] Add a reidentification date to the person model
• [x] Add a redacted boolean to the case model
• [x] Add a redaction date to the case model
• [x] Add a reidentification date to the case model
• [x] When a person is redacted
  • do no longer allow edits on person / case / etc.
  • Person Overview
  • Hide Links to the view
  • Yield a good error for anyone attempting to use the view
  • Person Header (also displayed in case views)
  • Show redaction state / date
  • Case Header
  • Show redaction state / date
• [x] Cleanup Job Periodically
  • Redact cases that
  • are older than 2 years
  • Reidentification date is older than 2 years
  • Redact people that
  • are older than 2 years
  • Reidentification date is older than 2 years
  • Redact Person
  • Set redacted flag/date
  • Null Base data
  • Null Address
  • Null Contact Methods
  • Delete Employers
  • Redact Case
  • Set redacted flag/date
  • Delete Notes
  • Delete Emails
  • Delete SMS
  • Null Test / Probeentnahme / Labor
  • Delete Visits
  • Delete Auto Tracing
  • Null Transmission Notes / Infection Place Name / Infection Place Address
• [x] Manual Person reidentification
  • Provide First / Lastname
  • Unset redacted flag
  • Set the reidentification date to now
• [x] Manual Person Redaction
  • Set redacted flag
  • Set redaction date
  • Apply Redaction from Cleanup Job
• [x] Manual Case reidentification
  • When the person is redacted as well, also do the Person reidentification
  • Unset redacted flag
  • Set the reidentification date to now
• [x] Manual Case Redaction
  • Set redacted flag
  • Set redaction date
  • Apply Redaction from Cleanup Job
• [x] Inbox Import
  • If an existing redacted person is detected by patient id, add a step to reidentificate the person given the ISM information
• [x] Hide redacted cases / people in BAG Exports
• [x] Fix statistics where neccesary

Describe alternatives you've considered

Additional context

References

• Depends on #1416
• https://app.forecast.it/project/P-205/scoping/T4393

[maennchen]

@rebecca-br Bereit zum testen.

Da das ganze relativ gross ist, würde ich hierzu einen Call vorschlagen. Wäre das gut für dich?

[rebecca-br]

@maennchen wir können das gerne besprechen. Evlt. wäre Toni gerne dabei wenn wir das besprechen. Diese Woche kann ich es mir einrichten ausser Dienstag morgen. Machst du Terminvorschläge?

[maennchen]

Testing Results

• [x] monitoring address case anonymize
• [x] test sponsor anonymize
• [x] do not show person login for anonymized, show error

[rebecca-br]

@maennchen Ich habe heute mal einiges im Testsystem angeschaut... Jetzt habe ich allerdings noch ein paar Fragen. Wenn ich einen Fall und die Person anonymisiere sind die Kontaktpersonen immer noch ersichtlich.

Beim Test wird das Probeentnahme Datum entfernt sowie auch die Meldeeinheit. Der Auftraggeber ist aber immer noch ersichtlich.

Zudem ist mir aufgefallen, das die Impfdaten entfernt werden. Sprich da können wir dann keine Liste der Durchbruchinfektionen mehr aus dem System ziehen. Sehe ich das richtig?

[maennchen]

@rebecca-br

Fall und die Person anonymisiere sind die Kontaktpersonen immer noch ersichtlich

Ja, die sind noch ersichtlich. Die werden aber auch einzeln nach 2 Jahren anonymisiert.

Der Auftraggeber ist aber immer noch ersichtlich.

Das wird auch noch entfernt. (Sind wir noch drann.)

das die Impfdaten entfernt werden

Das ist korrekt.

[rebecca-br]

@maennchen alles klar. Danke für die Infos... ich werde weiter testen.

[janmrnak]

@rebecca-br Hallo Rebecca, kleine Nachbesserungen sind bereit zum testen.

• Monitoring Adresse
• Test Auftraggeber, Meldeeinheit Adressen
• Anonymisierte Person kann sich nicht einloggen.

[rebecca-br]

@janmrnak Vielen Dank ich werde das heute und Morgen noch testen.

[rebecca-br]

@maennchen @janmrnak

• Monitoring Adresse
• Test Auftraggeber, Meldeeinheit Adressen
• Anonymisierte Person kann sich nicht einloggen.

Diese Sachen funktionieren.

Wenn ich einen Fall anonymisiere bleiben die Daten vom Krankenhausaufenthalt bestehen. Ist das so korrekt?

[rebecca-br]

@maennchen könnten wir bezüglich der Inbox noch telefonieren? Wann hättest du Zeit?

[rebecca-br]

@maennchen bei der Inbox habe ich eine Liste importiert und dann die Daten anonymisiert. Dann habe ich nur die Testdaten geändert und die selbe Liste nochmals importiert. Die Inbox schlägt dann einen Fall vor, weil die Personen ID dieselbe ist. Das ist aber in der Inbox nicht ersichtlich und ich kann den Fall in der Inbox nicht anwählen, um ihn zu öffnen.

Der Fall der vorgeschlagen wird, ist korrekt aber in der Inbox kann man es nicht überprüfen.

https://staging.covid19-tracing.ch/people/77ad0a0b-1a79-461b-b995-3f7d6a3afb65

Wenn wir die Applikation in Zukunft nochmals benötigen, könnte man also nicht überprüfen, ob es dieselbe Patienten ID ist.

[janmrnak]

@rebecca-br Hallo Rebecca, entschuldige bitte die späte Antwort. Jony ist erst nächste Woche Donnerstag erreichbar.

Zu deinen Fragen:

• Wenn ich einen Fall anonymisiere bleiben die Daten vom Krankenhausaufenthalt bestehen. Ist das so korrekt? Ja, das ist korrekt.

• Inbox Zu finden eines Falls werden Fall ID, Meldung ID und Patienten ID benutzt. Wenn die Fall und/oder Meldung IDs fälschlicherweise gleich sind wie bei einem alten Fall, kannst du es nur anhand vom Datum erkennen. Wenn diese IDs neu sind, wird anhand von Patienten ID nur dann ein Fall erkannt und vorselektiert, wenn dieser nicht älter als 10 Tage ist.

• Wenn wir die Applikation in Zukunft nochmals benötigen, könnte man also nicht überprüfen, ob es dieselbe Patienten ID ist. Du kannst die Person anklicken und dort Patienten ID überprüfen.

[rebecca-br]

@janmrnak zum letzten Punkt: Der Fall wurde anonymisiert. ISM Fall 1767058 https://staging.covid19-tracing.ch/cases/543aeb5c-b77e-4540-93d8-45ace0975248 dann habe ich eine Liste importiert mit den selben Daten, nur ein neues Testdatum verwendet. Es wird der richtige Fall in der Inbox angezeigt aber man kann den Fall in der Inbox nicht anwählen um diesen zu überprüfen. Anbei der Link zur Inbox: https://staging.covid19-tracing.ch/inbox/rows/3f5c5e10-e5f1-4b92-ae05-d6e95f5fda02/apply

[janmrnak]

@rebecca-br Jetzt habe ich es verstanden und gefunden. Es ist ein älteres Problem und unabhängig von Anonymisierung. Wir werden es beheben.

[rebecca-br]

@janmrnak perfekt vielen Dank. Sobald dies behoben ist, werde ich gerne nochmals testen.

[maennchen]

@rebecca-br An dem einen Problem sind wir drann. Für einen Call hätte ich Heute Nachmitag, Montag Nachmittag, Dienstag ab 15:30, Donnerstag 13:00 - 15:00 Zeit.

[rebecca-br]

@maennchen Ich wollte wegen dem Problem mit der Inbox einen Call. Ich denke, es hat sich nun aber erübrigt, da ihr an dem Problem dran seid. Ich werde es dann erst nochmals testen. Evlt. können wir dann am Schluss bevor wir das ganze Umsetzten nochmals einen kurzen Call machen.

[maennchen]

@rebecca-br Die Anpassungen sind nun auf Staging deployed.

[rebecca-br]

@maennchen Danke, dann werde ich nochmals testen.

[rebecca-br]

@maennchen obwohl die ISM Meldung und der ISM Fall übereinstimmen, kann man den Fall nicht zuordnen. https://staging.covid19-tracing.ch/inbox/rows/3f5c5e10-e5f1-4b92-ae05-d6e95f5fda02/apply

Personenreidentifikation nicht möglich, da der ausgewählte Fall anonymisiert ist. In diesem Fall müsse es doch möglich sein, das die neuen Daten mit dem alten anonymisierten Fall verknüpft werden? Oder sehe ich das falsch?

[maennchen]

@rebecca-br Hier haben wir den Fall, welchen wir am letzten Call besprochen haben:

Wir gehen nicht davon aus, dass wir nach 2 Jahren noch Updates zum selben Fall bekommen. Sehr wohl aber neue Fälle für eine Person welche bereits anonymisiert wurde.

Die Inbox verhält sich aktuell wie gefolgt:

• Falls die selbe Person aber nicht der selbe Fall identifiziert wird, so reidentifieziert die Inbox die Person und erstellt einen neuen Fall.
• Falls die selbe Person und Fall identifiziert wird (sollte in Relität nicht auftreten), dann blockiert die Inbox.
  • Sollte dies doch mal als Spezielfall auftreten, dann kann man dem Link in den Fall folgen und manuell reidentifizieren. Danach kann die Row ganz normal angewendet werden.

Ist das so ok, oder müssen wir die reidentifizierung von beidem auch automatisch unterstützen?

[rebecca-br]

@maennchen Falls die selbe Person aber nicht der selbe Fall identifiziert wird, so reidentifieziert die Inbox die Person und erstellt einen neuen Fall. Anhand von welchen Daten wird die Person reidentifiziert? Schaut die Inbox da auf die Personen ID? Die ISM Meldung und der ISM Fall müssten ja in diesem Beispiel unterschiedlich zum anonymisierten Fall sein, oder?

[maennchen]

@rebecca-br Ja, das geht vorallem dank der Patienten ID.

Die Meldung / Fall ID müssen unterschiedlich sein, ansonsten wird es als der selbe Fall erkannt.

Wenn ich mich richtig erinnere, dann schaut die Inbox auch auf die Daten des Falls. Es könnte also sein, dass der Fall erkannt wird obwohl die ID anders ist falls beide sehr neu erstelle wurden.

Ich würde es somit mal mit einem alten test-Fall im System testen.

[rebecca-br]

@maennchen jetzt funktioniert es. Wenn die vorhanden Daten anonymisiert sind, kann der Fall aufgrund der Patienten ID überprüft werden und reidentifiziert werden. Es wurde alles korrekt angezeigt. Ich habe es dann nochmals ausprobiert und die Patienten ID geändert. Der anonymisierte Fall wird vorgeschlagen, aber es wird in der Inbox rot angezeigt.

[maennchen]

@rebecca-br Super :)

Ist nun alles so wie du möchtest und wir können einen Release planen oder möchtest du noch etwas besprechen?

[rebecca-br]

@maennchen wenn es für euch in Ordnung ist, würde ich morgen nochmals mit neuen Fällen testen und alles nochmals anschauen. Nur um sicherzugehen, dass ich nichts übersehen haben. Danach können wir dann gerne einen Release planen. Ich würde vor dem Release einfach noch Toni und AI und AR informieren, dass sie auch auf dem neusten Stand sind.

[rebecca-br]

@maennchen ich habe heute nochmals einiges getestet... Ich habe nichts mehr gefunden... Es hat soweit alles funktioniert. Gerne können wir nun den Release planen. Ich habe mit dem KAA gesprochen und der Release kann ab nächste Woche umgesetzt werden. Passt das so für euch?

[maennchen]

@rebecca-br Dann mache ich den Release nächste Woche am Montag Nachmittag. Ist das ok?

[rebecca-br]

@maennchen ja gerne das ist perfekt. Vielen Dank

[maennchen]

@rebecca-br Der Release ist gemacht.

[rebecca-br]

@maennchen perfekt. Vielen Dank für die Info.