Perception: Austauschen der Detection ML Komponenten durch Verwendung der Segmentation Kamera

[tintenjo]

Akzeptanzkriterien:

• [x] Geschwindigkeitsschilder zuverlässig erkannt
• [x] Frühzeitige Erkennung der Ampeln (ca. 40 m vorher)

[mkep-dev]

Yolo-Netze zur Detektion wurden durch die Segementation-Kamera ausgetauscht, jedoch zeigt sich, dass die Klassifizierung über Deskriptoren und reine Logik(Ampel HSV-Farbereiche) nicht zuverlässig genug ist. Daher wurden jeweils händisch Daten gesammelt und neuronale Netze trainiert um die entsprechenden Bildbereiche zu klassifizieren.

Anhand der Quellen und Messungen fiel die Wahl auf Resnet18. Siehe hierzu https://arxiv.org/pdf/1810.00736.pdf und https://github.com/jcjohnson/cnn-benchmarks . Größere/Komplexere Netze sind zu langsam um in "Echtzeit" die Bilddaten auszuwerten.

Jedoch sorgt das Zusammenführen der Bilddaten der verschiedenen Kameras für eine zusätzliche Verzögerung.

Grundsätzlich gibt es bei der Verknüpfung der Bilddaten noch Verbesserungspotential. Ggf. könnten die Erkennung mittels Segmentation-Kamera und der Klassifizierung mit neuronalem Netz genutzt werden, um ein Yolov5 Netz zu trainieren.

[mkep-dev]

Das trainierte Netz zur Klassifizierung von Geschwindigkeitsschildern hat eine Genauigkeit von 99,69% bezogen auf die Validierungsdaten. (Stand Commit e44d3b4) Verwendete Trainingsdaten: speed_signs.zip

[mkep-dev]

Trainingsdaten zur Ampelklassifizierung: traffic_light_data.zip