Kapitel: Neuronale Netze

[Dradux-dev]

Einführungskapitel in Neuronale Netze schreiben.

• [ ] Was sind Neuronale Netze? (Stochastisches Modell, Nachempfindung menschlicher Neuronen)
• [ ] Bedeutung Neuronaler Netze
• [ ] Neuron
• [ ] Layer (Input, Hidden, Output)
• [ ] Aktivierungsfunktionen
• [ ] Aktivierungsfunktion: Identity
• [ ] Aktivierungsfunktion: Step
• [ ] Aktivierungsfunktion: Sigmoid
• [ ] Aktivierungsfunktion: TanH
• [ ] Aktivierungsfunktion: ReLU
• [ ] Aktivierungsfunktion: GELU (Gaussian Error Linear Unit)
• [ ] Aktivierungsfunktion: ELU (Exponential Linear Unit)
• [ ] Aktivierungsfunktion: Swish (Google)
• [ ] Klassifizierung ("Machine-Learning" Präsentation auf MIME GDrive Folie 7)
• [ ] Design
• [ ] Design: Feed Forward
• [ ] Design: Recurrent
• [ ] Design: LSTM
• [ ] Design: NEAT
• [ ] Training
• [ ] Training: Supervised
• [ ] Training: Supervised: Back Propagation
• [ ] Training: Supervised: Gradient Descent
• [ ] Training: Unsupervised
• [ ] Training: Unsupervised: K-Mean
• [ ] Training: Unsupervised: Gen. Adversarial
• [ ] Training: Reinforcement
• [ ] Training: Reinforcement: Brute Force
• [ ] Training: Reinforcement: Q-Learning
• [ ] Training: Reinforcement: Genetic Algorithm
• [ ] Demo: Sternencluster Detektion dokumentieren (Learnings zum Design des Neuronalen Netzes festhalten)

Fragen die mit diesem Kapitel und der Sternencluster Demo geklärt werden sollten:

• Kann man mit kleinen Bildern (bspw. 32x32 pixel) bereits Rückschlüsse auf das Verhalten auf großen Bildern ziehen?
• Hidden Layer verlangsamen die Auswertung des DNN, führen sie im Gegenzug zu einer schnelleren Lernrate? besseren Ergebnissen?
• Kann man Netze upscalen?
  • Sternencluster Demo auf 32x32 Pixel soll auf 64x64 Pixel umgestellt werden
  • Kann man jeden Pixel des alten Netzes auf 4er Pixelblock des neuen Netzes übertragen?
  • Kommen dabei brauchbare Ergebnisse raus?
  • Dienen diese zumindest als Guter Startpunkt um Trainingsaufwand zu verringern im Vergleich zum full reset?
• Welche Aktivierungsfunktionen funktionieren gut für die Sternencluster Demo, welche nicht?
• Was gilt es beim Entwurf eines DNN zu beachten? Haben wir dafür bereits Quellen?