Import Interface for csv

[wellemut]

Userstory

As an employee of a city administration, I want to visualize entries stored in a csv file on a well known map but without creating lots of annoying duplicates

---

To import large Datasets von API or CSV we need an interface, where the user can upload a csv or put in an API URL and where the datamodel can be interpreted and defined into a matching format to ofDB (Mapper - mapping each column from the import to our datamodel)

import csv datein können sehr unterschiedlich aussehen, sodass der importer ein anpassbaren Mapper braucht der aus jeder x-beliebigen csv unser einheitliches Fomat in json zum import erstellt.

• Jeder Mapper (Import-einstellung) gehört zu einer Quelle und wird an eine Quelle angepasst

Testdaten

Testdaten zum Import

• \22-05 Hessen HLNUG\B. Import https://cloud.wechange.de/s/TRiC24agBHtZYWW
• Alle Plattformpartner: https://github.com/orgs/kartevonmorgen/projects/23/views/5

Design/ Usability

Das wäre ein cooles Interface zum Mapper estellen

[wellemut]

Kurzer Zwischenstand: Der Playground kann jetzt OSM + KVM daten in Echtzeit abfragen und gemeinsam darstellen. Noch alles rudimentär, aber geht schon in die richtige Richtung ☺️ @Helmut Wolman Ich will testweise noch mindestens eine dritte Plattform anbinden. Welche soll ich da nehmen?

[wellemut]

@flosse wichtiger als das Darstellen auf der Karte ist das interface, wo man die Qulle-URLs eingibt und deren Attribute den relevanten Datenbankfeldern zuordnet. Hast du da auch schon eine Ansicht zu?

[wellemut]

https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw

Bei Import schon

• From API
• From Json

[wellemut]

Version 2 is created in Sprint 10

And recieved Feedback during Review today https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw

Next Version is in development,

• clearer communication if on the left are existing entries or new ones?
  • Probably all new entries and possible duplicates should be on the right. existing entries and final merge-versions are on the left. Similar as it was suggested in the Duplicate-Map-view: https://github.com/kartevonmorgen/kartevonmorgen/issues/835 (Althoug the map is not really important for checking duplicates, because they might be an the same spot often.

[wellemut]

Aktuellster Entwurf des FairSync MVP

[wellemut]

Desicion about the csv import interface is done:

https://excalidraw.com/#room=6a4cffb111e58b321d83,xbWdXVdCY2IMjPpYMBQClw

(This also replaces the other interface-ideas:

• https://github.com/kartevonmorgen/kartevonmorgen/issues/835
• https://github.com/kartevonmorgen/openfairdb/issues/301