faeibson
commented
3 years ago Verkehrsschilder sind keine Aktoren in CARLA, deshalb Object Detection auf dem Bild
TensorFlow verschiedene Ansätze / Netze möglich, R-CNN, Fast R-CNN, Faster R-CNN ... Eine Implementierung mit Faster R-CNN: https://github.com/DanielHfnr/Tensorflow-Carla-Object-Detection
state of the art: YOLO (You Only Look Once) Object Detection https://pjreddie.com/darknet/yolo/ https://github.com/pjreddie/darknet
Ursprünglich implementiert in C & CUDA ("Darknet is an open source neural network framework written in C and CUDA"), die Portierung auf TensorFlow nennt sich Darkflow, performt aber deutlich langsamer: https://www.linkedin.com/pulse/comparison-yolo-darknet-versus-darkflow-rasmus-kromann/ (Darknet > 2,5x so schnell)
Einbindung in CARLA wurde bereits im Rahmen einer Masterarbeit zur Erkennung der Geschwindigkeitsschilder umgesetzt: https://github.com/martisaju/CARLA-Speed-Traffic-Sign-Detection-Using-Yolo
Hier: Implementierung in der manual_control.py und Spawnen externer Darknet Binary mit Konfiguration, Weights und Parametern, aktuelles Bild wird jeweils an den Prozess geschickt und anhand der Rückgabe die aktuelle Höchstgeschwindigkeit ggf. neu gesetzt
--> Auch wenn es verglichen mit anderen Netzen nicht zwingend die besten Ergebnisse aufweist, verspricht Darknet / YOLO eine deutlich bessere Performance und ist dabei auch nicht schwieriger einzubinden.
halentin
DoD: Plan zur Schildererkennung