Mapreduce Examples kategorisieren

[gobo7793]

Kategorisieren der Mapreduce Examples

[gobo7793]

Ergebnisse siehe #42

[gobo7793]

Weitere unterkategorien, auch nach Art der Daten, evtl. auch nach Menge der Daten

[gobo7793]

Die meisten sind einmal durchgelaufen (Ausgabedateien nicht analysiert) und kategorisiert:

• I/O-Analyse
  • Zählen nur Wörter: multifilewc, wordcount
  • Verarbeitung pro unterschiedlichem Wort: aggregatewordcount, aggregatewordhist
  • Statistische Auswertungen nach Zählen: wordmean, wordmedian, wordstandarddeviation
  • Zählt Regex-Matches: grep
• I/O-Generierung
  • Zu generierende Menge kann eingestellt werden: -D mapreduce.randomtextwriter.totalbytes=xxx -D mapreduce.randomtextwriter.bytespermap=xxx -D mapreduce.job.maps=xxx -D mapreduce.job.reduces=xxx
  • Text: Randomtextwriter
  • Binärdaten: Randomwriter
• Sortieren: sort
• Berechnungen
  • Pi-Berechnung: pi, bbp
  • pentomino

Sonderfall Terasort-Suite:

• Teragen: Generierung von Binärdaten
• Terasort: Sortierung selbst
• Teravalidate: Validierung der Sortierung

Fehler bei der Ausführung hatten:

• dbcount (notwendige Datenbank HSQLDB nicht gestartet)
• distbbp (erweiterte Pi-Berechnung)

Generierung der Eingabedaten manuell nötig, daher erstmal nicht ausgeführt:

• join
• secondarysort
• sudoku