search

syrenio / aic-bigdata

AIC Group Project Big Data
0 stars 1 forks source link

Neo4J Tasks #14

Open syrenio opened 9 years ago

syrenio commented 9 years ago

Kann man beide Extraction/Analyse Tasks öfters laufen lassen oder unterbrechen und später fortfahren ?

Performanceverbesserungen müssen gemacht werden.

FlorianMihola commented 9 years ago

neo4jExtraction: wenn man es zwei mal laufen lässt verdoppeln sich die Kantengewichte da jeder Tweet dann zweimal abgearbeitet wird. Hätte ich die tweet ids in den neo4j graph gespeichert dann könnte man das verhindern, aber dann würden die Knoten/Kanten unglaublich wachsen. Ich glaube nicht dass wir das möchten, ich weiß auch garnicht ob man an eine(n) Knoten/Kante eine ganze Liste (im Gegensatz zu einem einzelnen Wert) anhängen kann. Man kann natürlich den ganzen Output deaktivieren, aber sonst weiß ich nicht wie man es großartig effizienter machen soll.