Kategorisierung aller möglichen Anwendungen - Githubissues

gobo7793 / ssharp

S# is a formal modeling and safety analysis framework for safety-critical systems. It provides a domain specific modeling language and fully automated formal safety analysis tools based on C# and .NET.

http://safetysharp.isse.de/wiki

MIT License

0 stars 0 forks source link

Kategorisierung aller möglichen Anwendungen #52

Closed gobo7793 closed 6 years ago

gobo7793 commented 6 years ago

Alle möglichen Anwendungen kategorisieren und die Ergebnisse aus #45 mit den anderen Benchmarks zusammenführen

gobo7793 commented 6 years ago

HDFS

Systemtest: DistributedFSCheck, SliveTest
I/O-Test: testfilesystem
Lastgenerator: NNloadGeneratorMR
Lese/Schreibe-Lastgenerator: nnbench

I/O-Generierung Zu generierende Menge beim Random(text)writer kann eingestellt werden:

-D mapreduce.randomtextwriter.totalbytes=xxx
-D mapreduce.randomtextwriter.bytespermap=xxx
-D mapreduce.job.maps=xxx
-D mapreduce.job.reduces=xxx

Text: Randomtextwriter
Binärdaten: Randomwriter, Teragen (für Terasort)
Für DFSIOEnh: HiBench/dfsio/Pre
Für SQL-Bench: HiBench/aggregation/Pre, HiBench/join/Pre, HiBench/scan/Pre
Für Websearch: HiBench/nutchindexing/Pre, HiBench/pagerank/Pre
Für MachineLearning: HiBench/Bayes/Pre, HiBench/kmeans/Pre

I/O-Analyse

Wörter zählen: multifilewc, wordcount
Verarbeitung pro unterschiedlichem Wort: aggregatewordcount, aggregatewordhist
Statistische Auswertungen nach Zählen: wordmean, wordmedian, wordstandarddeviation
Zählt Regex-Matches: grep
Sort-Validierung: Teravalidate (für Teragen), testmapredsort (für sort)
Job-Ergebnisse: JHLogAnalyzer
Durchsatz: TestDFSIO, HiBench/dfsioe

Sortieren

Text: sort
Binärdaten: Terasort
Eigene Generierung Binärdaten: largesorter

Weitere

Pi-Berechnung: pi, bbp
Pentomino-Berechnungen: pentomino
Minijobs: mrbench
Dummyjobs: fail, Sleep
Gen+Sort+Validate: threadedmapbench (aber mit Fehlern)
SQL-Queries: HiBench/aggregation, HiBench/join, HiBench/scan
Websearch: HiBench/Nutchindexing, HiBench/Pagerank
Machine learning: HiBench/Bayes, HiBench/kmeans

Sonderfall Terasort-Suite:
Teragen: Generierung von Binärdaten
Terasort: Sortierung selbst
Teravalidate: Validierung der Sortierung

Fehler bei Ausführung/Ausführung nicht möglich:

dbcount (notwendige Datenbank HSQLDB nicht gestartet)
distbbp (erweiterte Pi-Berechnung)
DFSCIOTest
MRReliabilityTest
NNdataGenerator
NNloadGenerator
NNstructureGenerator
filebench
loadgen
testbigmapoutput
Alle nichtgenannten HiBench-Benchmarks (jeweils nur für Spark oder weitere Stools nötig)

Manuelle Eingaben nötig/Fehlende Eingaben/Nicht Berücksichtigt:

join
secondarysort
Sudoku
mapredtest
minicluster
testsequencefile
testsequencefileinputformat
testtextinputformat