Clusteranalyse des Inputs

[BenediktSt]

Beschreibung

Als Analyst des Benutzerfeedbacks möchte ich herausfinden, welche Nachrichten sich mit ähnlichen Inhalten beschäftigen. Dabei möchte ich aus allen verfügbaren Dokumenten Cluster auf basis der existierenden und nahe beieinander liegenden Algorithmen bilden.

Mögliche Ansätze:

• K-Means
• Latent Dirichlet allocation (LDA)
• gerne auch alternative

Akzeptanzkriterien

• Es existieren (Demo-) Daten für mehrere Dokumente, welche für die weitere Analyse verwendet werden können
  • Hier kann für eine unabhängige Arbeit von dem Beriech des Tokenizings eine andere Datenbasis verwendet werden
• Die Dateien werden anhand ihrer Eigenschaften in Cluster gruppiert
  • Die Eigenschaften eines Dokuments sind die vorkommenden Worte und deren Anzahl
• Aus den Clustern lässt sich ermitteln, welche Eigenschaften (Worte) die gruppierten Dokumente gemeinsam haben

[LeaKleemann]

https://github.com/AtosReferenzApplikation/docker-container/wiki/Spark:-Topic-Extraction

[LeaKleemann]

https://github.com/AtosReferenzApplikation/feedback-data-analyzer/blob/lea/ver2.py

[Mlorenz12]

https://github.com/AtosReferenzApplikation/feedback-data-analyzer/blob/miriam/Topic_Extraction/Clustering.py

[Mlorenz12]

https://github.com/AtosReferenzApplikation/docker-container/wiki/Clustering:-K-Means https://github.com/AtosReferenzApplikation/docker-container/wiki/Clustering:-LDA

[LeaKleemann]

https://github.com/AtosReferenzApplikation/feedback-data-analyzer/blob/lea/TopicExtraction/TopicExtraction.py