search

hitobito / hitobito_cevi

A hitobito wagon defining the organization hierarchy and additional features for Cevi
Other
6 stars 3 forks source link

NDS: Import TN-Liste #108

Closed tschuepbach closed 1 year ago

tschuepbach commented 1 year ago

Beim Import auf der NDS eines CSV-Exports von der CeviDB erscheint folgende Fehlermeldung:

image

Kurs Testumgebung: https://cevi.puzzle.ch/groups/6/events/1184 Exportiertes CSV: event_participation_export.csv

Auf der Produktivumgebung dasselbe Problem.

Hängt zusammen mit:

carlobeltrame commented 1 year ago

Wie du schreibst, könnten wir das via eine 1-Zeilen-Änderung lösen, welche von der PBS in hitobito/hitobito#1993 vorbereitet wurde. Dabei werden aber sämtliche CSV-Exports auf ganz hitobito von ISO-8859-1 auf UTF-8 umgestellt. Das könnte Auswirkungen haben, falls ihr irgendwelche Anbindungen habt, welche sich auf das alte Format von CSV-Exporten verlässt. Aus diesem Grund haben wir das nicht einfach schon mal bei allen Hitobito-Instanzen geändert. Wir brauchen euren Input bzw. euer grünes Licht dazu, ob diese hitobito-weite Änderung für euch okay ist, oder ob wir für euch einen spezifischeren Fix für nur einzelne CSV-Exports implementieren sollen.

nchiapol commented 1 year ago

Das OK habe ich in meinem Mail vom 2023-02-20 an @thomasEllenberger gegeben.

Unglücklich, dass diese Info nicht bis zu euch gekommen ist.

carlobeltrame commented 1 year ago

Das müsste jetzt auf db.cevi.ch behoben sein. Auf der Integrationsumgebung dann ab morgen.

nchiapol commented 1 year ago

Kleiner Nachtrag und als Erinnerung für die Zukunft: Ich habe eben die TN für das Hela meiner Abteilung importiert und bin dabei auch wieder über dieses Problem gestolpert, das hatte aber nichts mit der DB zu tun:

Da ich Helferinnen und Jung-Leiter als TN anmelden wollte, habe ich den "Gesamt"-Export verwendet und dort dann mit LibreOffice die Zeilen der Leiter gelöscht. Beim Speichern hat LibreOffice dann das BOM (nicht druckbares Zeichen zu beginn der Datei <feff> , https://en.wikipedia.org/wiki/Byte_order_mark) entfernt und danach weigert sich die NDS die Datei zu akzeptieren. Ich habe dann den BOM mit wieder manuell eingefügt...

carlobeltrame commented 1 year ago

In https://github.com/hitobito/hitobito_pbs/commit/6ae6fae9ce6beca444d64154dc921390e73bafbd habe ich am Hackathon im Frühling genau dieses Problem im PBS-Wagon gefixt... Ich hatte irgendwie im Kopf dass von Cevi und/oder Jubla Skepsis gegenüber diesem Change vorhanden war, darum nur im PBS Wagon. Ich finde aber auf GitHub schriftlich nirgends mehr Belege für diese Skepsis, vielleicht war sie auch nur mündlich. Meine Lösung ist, nur für die NDS-Exports die UI-Filter zu ignorieren und immer einfach alle TN zu exportieren. Die anderen Event-Exports sind unberührt.

nchiapol commented 1 year ago

Ich bin jetzt nicht sicher was "einfach alle TN zu exportieren" heisst. Immer alle Leiter und Teilnehmer? Das war auf jeden Fall was ich benötigt hatte. Mein eigentliches Problem war aber sowieso unabhängig von Hitobito - das Problem war LibreOffice das das BOM entfernt hat. Mein Comment war deshalb vor allem auch für ähnliche Fälle in der Zukunft gedacht.

Ich nehme deinen Hinweis aber gerne auf, dann können wir evtl. diesen Change bei uns auch noch übernehmen. Ich sehe nicht, was dagegen sprechen würde.

carlobeltrame commented 1 year ago

Ich bin jetzt nicht sicher was "einfach alle TN zu exportieren" heisst. Immer alle Leiter und Teilnehmer?

Nein, immer nur alle Teilnehmer. Leiter importiert man ja normalerweise nicht via CSV in die NDS, oder habe ich da ein Feature übersehen? Bisher habe ich die Leiter immer einzeln manuell erfasst. Wenn ihr immer alle Leiter und Teilnehmer exportieren wollt, wäre das aber vermutlich anzupassen in meinem Commit, einfach participants_scope durch etwas anderes passenderes ersetzen.

nchiapol commented 1 year ago

Leiter importiert man ja normalerweise nicht via CSV in die NDS, oder habe ich da ein Feature übersehen?

Kein Feature aber bei meinem Lager sind die Hälfte der Personen mit Rolle "Leitung" in der DB, jünger als 17 und deshalb im Sinne von J+S Teilnehmerinnen und nicht Leiterinnen für das Lager - auch wenn sie Verantwortung für andere übernehmen.

Als Leiter in der NDS erfasse ich primär Personen, die bereits J+S-Leiter, nicht mehr im J+S-Alter oder in der Küche sind.

carlobeltrame commented 1 year ago

Das habe ich früher auch so gemacht, aber dann wurde es mir irgendwann während der Datenqualitäts-Phase gegen Ende der alten NDS irgendwo klar gemacht dass das eigentlich nicht erlaubt ist. Leider finde ich im J+S-Dokumentations- und Mail-Dschungel keine explizite schriftliche Referenz dazu. Aber die Logik ist ungefähr folgende: Das Ziel von J+S ist die sportliche Förderung von schweizer Kindern und Jugendlichen. J+S-Subventionen bekommt man für die geförderten Kinder, nicht für die Leitpersonen, und nur wenn es genügend Teilnehmende im Lager hat. Die Teilnehmenden werden in LS/T-Lagern unter anderem in den Lagersportblöcken und Lageraktivitäten gefördert. Eine explizite Anforderung an LA-Blöcke ist: "setzen eine aktive Beteiligung aller Teilnehmenden voraus". Wenn ich Leitpersonen als Teilnehmende anmelde und für sie Subventionen bekomme, dann müssten diese Personen auch via die LS- und LA-Blöcke im Lager gefördert werden, indem sie aktiv beteiligt sind. In der Praxis ist nicht immer das ganze Leitungsteam an allen Blöcken anwesend und beteiligt, folglich können die Leitpersonen nicht als Teilnehmende zählen.

In der Pfadi ist es daher meiner Auffassung nach nicht (mehr) good practice, die anerkennungslosen Leitenden (oder auch alle anerkannten Leitenden welche für die reine Anzahl Teilnehmende nicht benötigt werden) als Teilnehmende anzumelden. Teilnehmende sind nicht durch ihr Alter und ihre Anerkennungen definiert, sondern durch ihre Rolle (oder Nicht-Rolle) im Lagerprogramm und in der Planung. Dieses Mindset habe ich in diesem Export abgebildet. Wenn jemand tricksen will, muss hitobito das nicht extra unterstützen.

nchiapol commented 1 year ago

Meine Erwartung als Coach ist ganz klar, dass auch die Leiter an den LA- und LS-Blöcken mit machen. Für die Verantwortlichen des nächsten Blockes oder für jemand der gemeinsam mit einem J+S Leiter eine Wanderung reckt, finde ich eine Ausnahme ok. Alle anderen sind im Lager mit dabei um mitzumachen und sollen ebenfalls gefördert werden - zusätzlich zu den "normalen" Teilnehmer einfach noch mit dem Übertragen von Verantwortung.

Dass Leiter, die nicht aktiv am Programm teilnehmen nicht als TN gelten können, unterstütze ich aber völlig. Alle die als TN gelten, müssen die Erwartungen von J+S erfüllen.

nchiapol commented 1 year ago

Anyway, wir sind unterdessen ziemlich Off-Topic für dieses Issue, können wir gerne bei einem nächsten Treffen weiter diskutieren ;-)

Eigentlich wollte ich hier ja nur einen Hinweis ergänzen, dass LibreOffice das BOM entfernt, wenn damit die Export bearbeitet werden.

tschuepbach commented 1 year ago

In hitobito/hitobito_pbs@6ae6fae habe ich am Hackathon im Frühling genau dieses Problem im PBS-Wagon gefixt... Ich hatte irgendwie im Kopf dass von Cevi und/oder Jubla Skepsis gegenüber diesem Change vorhanden war, darum nur im PBS Wagon. Ich finde aber auf GitHub schriftlich nirgends mehr Belege für diese Skepsis, vielleicht war sie auch nur mündlich. Meine Lösung ist, nur für die NDS-Exports die UI-Filter zu ignorieren und immer einfach alle TN zu exportieren. Die anderen Event-Exports sind unberührt.

Die Diskussion stammt von hier: https://github.com/hitobito/hitobito/issues/1937

@nchiapol : Ich würde eine Umsetzung bei uns immer noch sehr begrüssen, insbesondere bei den Kursen.