Import Interface for csv

wellemut commented 9 months ago

Userstory

As an employee of a city administration, I want to visualize entries stored in a csv file on a well known map but without creating lots of annoying duplicates

To import large Datasets von API or CSV we need an interface, where the user can upload a csv or put in an API URL and where the datamodel can be interpreted and defined into a matching format to ofDB (Mapper - mapping each column from the import to our datamodel)

import csv datein können sehr unterschiedlich aussehen, sodass der importer ein anpassbaren Mapper braucht der aus jeder x-beliebigen csv unser einheitliches Fomat in json zum import erstellt.

Jeder Mapper (Import-einstellung) gehört zu einer Quelle und wird an eine Quelle angepasst

Testdaten

Testdaten zum Import

\22-05 Hessen HLNUG\B. Import https://cloud.wechange.de/s/TRiC24agBHtZYWW
Alle Plattformpartner: https://github.com/orgs/kartevonmorgen/projects/23/views/5

Design/ Usability

Das wäre ein cooles Interface zum Mapper estellen grafik

wellemut commented 4 months ago

grafik Kurzer Zwischenstand: Der Playground kann jetzt OSM + KVM daten in Echtzeit abfragen und gemeinsam darstellen. Noch alles rudimentär, aber geht schon in die richtige Richtung ☺️ @Helmut Wolman Ich will testweise noch mindestens eine dritte Plattform anbinden. Welche soll ich da nehmen?

wellemut commented 4 months ago

@flosse wichtiger als das Darstellen auf der Karte ist das interface, wo man die Qulle-URLs eingibt und deren Attribute den relevanten Datenbankfeldern zuordnet. Hast du da auch schon eine Ansicht zu?

wellemut commented 1 month ago

https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw grafik

Bei Import schon

From API
From Json

wellemut commented 1 month ago

Version 2 is created in Sprint 10 grafik grafik

And recieved Feedback during Review today grafik https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw

Next Version is in development,

clearer communication if on the left are existing entries or new ones?
- Probably all new entries and possible duplicates should be on the right. existing entries and final merge-versions are on the left. Similar as it was suggested in the Duplicate-Map-view: https://github.com/kartevonmorgen/kartevonmorgen/issues/835 (Althoug the map is not really important for checking duplicates, because they might be an the same spot often.

wellemut commented 1 month ago

Aktuellster Entwurf des FairSync MVP grafik

wellemut commented 2 weeks ago

Desicion about the csv import interface is done:

Unbenannt-2024-11-07-1649(1)

https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw

(This also replaces the other interface-ideas:

wellemut commented 3 days ago

Prototyp zum CSV import ist fertig und online: http://fairsync.lastlog.de/
Zu einem Eintrag werden automatisch per KI daten gefunden und manuell können in einem wählbaren Radius weitere dupletten manuell hinzugefügt werden:
Dann wird die DAtenbank ausgewählt, in die importiert werden soll und der finale eintrag, in den die anderen reingemerged werden
Im Merger werden daraufhin die unterschiedlichen Attribute zusammengeführt:

wellemut commented 1 day ago

@qknight As soon as your importer interface can write merge-results in the dev.opfd.io test db, we can close this issue as completed. All further improvements should be done in single issues.

kartevonmorgen / FairSync