[1] Import Funktion - Githubissues

Data-City / client

Weboberfläche/GUI

http://datacity.pegenau.com

3 stars 0 forks source link

[1] Import Funktion #158

Closed marcusdeem closed 8 years ago

marcusdeem commented 8 years ago

Warum ist die Import Funktion ein eigenes Tool und nicht eine Funktion im Client?

Nullmann commented 8 years ago

Wir hatten uns damals für die Import-Funktion als eigenes Tool entschieden, weil die Datenmengen die Upload-Funktionen über den Browser vermutlich übersteigen würden (Der 8 Mio Datensatz besitzt 250 MB).

marcusdeem commented 8 years ago

Könnten Sie es bitte dennoch als Funktion in den Client einbauen - dann eben mit Hinweis, dass nur files bis xxx hochladbar sind? Das fände ich deutlich angenehmer im Handling, als dann immer eine weitere Anwendung öffnen zu müssen...

Nullmann commented 8 years ago

Zu Prüfen ist: Ist es möglich, über den Browser den Import (Der Rohdatei) auf die MongoDB zu realisieren und dann dort Server-Seitig das import-Skript auszuführen?

spegenau commented 8 years ago

Spontan fallen mir zwei grundsätzlich verschiedene Möglichkeiten ein, so etwas umzusetzen:

Über den Browser:

CSV-Datei wird ausgewählt oder in Bereich gezogen
CSV-Datei wird lokal vom Browser zu JSON geparst, beispielsweise damit: http://papaparse.com/
Objekt wird über RESTHeart an Server geschickt: PUT /db/neueCollection
Auf dem Server wird ein Trigger ausgelöst, der im günstigsten Fall einfach den grunt metadata-Task aufruft. @ZiZiWang Bitte prüfen, wie wir den Trigger umsetzen könnten.

Über eine Batch-Datei

Man zieht per Drag 'n Drop die zu importierende CSV-Datei auf eine Batchdatei. Die startet den Import über grunt import.

Die zweite Variante wäre weit weniger cool, ist dafür aber wahrscheinlich in < 1 Stunde implementiert...

ZiZiWang commented 8 years ago

Import über eine Batch-Datei wurde tatsächlich in aktuellem WindowsPaket realisiert, obwohl die Datei nicht per Drag and Drop sondern durch das Eingeben des gewünschten importierten Datei Name importiert wird. Ich versuch noch, wie man die Datei über den Browser impotiert.

ZiZiWang commented 8 years ago

mongoDB unterstützt die Trigger-Funktion wie SQL Datenbank nicht. Es gibt ein Nodejs Lösungskonzept für die Umsetzung des Triggers in mongodb(https://www.npmjs.com/package/mongo-triggers). Aber bei diesem mongo-trigger wurden nur die Änderungen der Dantensätzen innerhalb einer Collection beobachtet. Die Überwachung der createCollection() Funktion wurde noch nicht hinzufügt.

ManuelMueller1988 commented 8 years ago

Hallo Herr Deem, Tests unsererseits erfolgreich. Kann in meinen Augen daher geschlossen werden.

marcusdeem commented 8 years ago

yep, funktioniert, closed