![\"\"](\"https:\/\/lh3.googleusercontent.com\/MC3KTdi0c6_rqKu2ZOq5LMHCsmzum6QDwK6PiBJwYrHAGF2ABFbzHo9z-DmWFwBB0R2K5aFYvHKnwY8sBc3WQr-hiJmpC396HF5uFy3i3gGCQMFO9LJOrSK47Hsa6IByVk1xGSGY\")
Bilder aus Videos extrahieren<\/h4>\n\n\n\n
Da man das Neuronale Netz nicht mit Videoaufnahmen trainieren kann, mussten wir aus den Videos zun\u00e4chst einzelne Bilder generieren. Dazu erstellten wir \u00fcber 500 Screenshots, welche die verschiedenen Fahrzeuge an unterschiedlichen Positionen zeigen.<\/p>\n\n\n\n
Labeln der Bilder<\/h4>\n\n\n\n
Um das Netz trainieren zu k\u00f6nnen, muss man die Bilder zun\u00e4chst labeln. Hierf\u00fcr verwendeten wir die Software \u201cVGG Image Annotator\u201d [2]. Direkt zu Beginn des Projektes einigten wir uns auf alle Fahrzeugtypen, die unser Netz erkennen sollte. Hierzu geh\u00f6ren:<\/p>\n\n\n\n
- PKW<\/li>
- LKW<\/li>
- Traktor<\/li>
- Motorrad<\/li>
- Fahrrad<\/li>
- Sonstiges (z. B. E-Scooter, Inlineskater)<\/li><\/ul>\n\n\n\n
<\/p>\n<\/div>\n\n\n\n
\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/attributes-1.png\")
<\/a>Abbildung 2: Annotator Attributauswahl<\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div><\/div>\n\n\n\n In der Software kann man verschiedene Labels anlegen, welche nach den Fahrzeugkategorien benannt sind. In Abbildung 2 sieht man, wie die verschiedenen IDs, also die Label-Kategorien, angelegt werden. Ein Objekt kann man kennzeichnen, indem man mit Hilfe der Software ein Rechteck auf das Objekt legt und die jeweilige Bezeichnung – durch Klicken auf den passenden Radiobutton – angibt. Die Positionen der Rechtecke werden dann zus\u00e4tzlich zu den Bildern als CSV abgespeichert und k\u00f6nnen so sp\u00e4ter f\u00fcrs Training verwendet werden.<\/p>\n\n\n\n
Augmentation<\/h4>\n\n\n\n
Da es nicht m\u00f6glich ist, f\u00fcr jedes Szenario in der realen Welt ein Bild zu kreieren, mit dem man sp\u00e4ter trainieren kann, behalfen wir uns hier der Bild-Augmentation, um den aktuellen Trainingssatz zu diversifizieren. Dabei werden alle Bilder auf eine quadratische Gr\u00f6\u00dfe von 512 x 512 Pixel skaliert und der Kontrast normalisiert. Im Anschluss gibt es eine 50 prozentige Chance, dass ein Bild horizontal und\/ oder vertikal gespiegelt wird. Bei diesen Arten der Augmentation muss man aufpassen, dass die Label-Rechtecke korrekt mit skaliert und -rotiert werden. In Abbildung 3 sieht man ein Beispiel eines augmentierten Bildes.<\/p>\n\n\n\n
Abbildung 3: Augementiertes Bild<\/figcaption><\/figure>\n\n\n\n Der Datensatz wurde anschlie\u00dfend in einen Trainingssatz und einen Testsatz aufgespalten. Wie der Name bereits impliziert, wird der Trainingssatz lediglich zum Trainieren des Netzes verwendet. Den Testsatz bekommt das Netz w\u00e4hrend des Trainings nie zu sehen. Erst am Ende wird dieser zur Verifizierung und Bewertung der Ergebnisse verwendet. <\/p>\n\n\n\n
Neuronales Netz<\/h3>\n\n\n\n
Ein Neuronales Netz ist ein Verbund von Neuronen, dessen Parameter durch Training angepasst werden. \u00dcbliche Trainingsziele sind die Klassifikation, Replikation oder allgemein die Abstraktion der Eingangsdaten. Besonders die Klassifikation spielt in unserem Fall der Objekterkennung eine besondere Rolle.<\/p>\n\n\n\n
Architektur<\/h4>\n\n\n\n
Bei der Entscheidung, welche Netzarchitektur wir f\u00fcr unser Projekt verwenden wollten, gab es die Auswahl zwischen dem Region Based Convolutional Neural Network (R-CNN) und dem \u201cYou Only Look Once\u201d Netz (YOLO). Ein R-CNN durchl\u00e4uft ein Bild zweimal. Im ersten Durchlauf schl\u00e4gt es \u201cRegions of Interest\u201d vor, welche im zweiten Durchlauf verfeinert und klassifiziert werden. YOLO geht einen v\u00f6llig anderen Weg und schaut nur ein einziges Mal auf ein Bild. Dabei wird das Bild in Zellen unterteilt welche anschlie\u00dfend sogenannte Bounding Boxes vorhersagen, die ein Objekt umschlie\u00dfen sollen. Auch wird die \u201cconfidence\u201d angeben, die zeigt, wie sicher das Netz ist, wirklich ein Objekt umschlossen zu haben. Parallel dazu erstellt jede Zelle eine Klassifikation. In unserem Fall w\u00e4re es die Unterscheidung, ob es ein PKW, LKW oder ein anderes Fahrzeug ist. Im letzten Schritt werden beide Ergebnisse miteinander vereinigt und es entsteht die finale Vorhersage (siehe Abbildung 4).<\/p>\n\n\n\n
Abbildung 4: Modell des YOLO-Netzes [3]<\/figcaption><\/figure>\n\n\n\n \nView at Medium.com<\/a>\n<\/div><\/figure>\n\n\n\nWir haben uns f\u00fcr die YOLO Architektur entschieden, weil sie im Vergleich zum R-CNN schneller arbeitet, auch wenn sie nicht so pr\u00e4zise ist. Das zu analysierende Material sind Videos mit 25 Bildern pro Sekunde und wenn man es in Echtzeit verarbeiten wollte, ist die Geschwindigkeit wichtiger als die Genauigkeit.<\/p>\n\n\n\n
Um nicht komplett von Null anzufangen, \u00fcbernahmen wir eine YOLOV2-Implementierung mit bereits trainierten Gewichten basierend auf dem COCO Datensatz. Die letzte Schicht des Netzes wurde dann mit unseren eigenen Trainingsbildern trainiert.<\/p>\n\n\n\n
Training<\/h4>\n\n\n\n
Das verwendete Netz, basierend auf der YOLO Architektur [4], wird \u00fcberwacht trainiert. W\u00e4hrend des Trainings erzeugt es f\u00fcr jede Bildeingabe eine Ausgabe pro erkanntem Objekt, welche aus den vier Koordinaten der Bounding Box und einem Label, das angibt, um was f\u00fcr ein Vehikel es sich handelt, besteht. Diese Ausgabe wird nun mit den zuvor gelabelten Rechtecken des Eingabebildes verglichen und ein Loss-Wert errechnet. Mittels Backpropagation werden der Gradient von jedem Neuron neu berechnet und die Gewichte angepasst. Nach jeder Wiederholung des Prozesses mit denselben Eingabebildern, sollte sich die Ausgabe den wahren Werten immer weiter ann\u00e4hern. Das Netz lernt.<\/p>\n\n\n\n
In Abbildung 5 ist ein Trainingsvorgang veranschaulicht. Die Y-Achse zeigt den Loss-Wert an, die X-Achse die Epochen. Eine Epoche ist ein gesamter Durchlauf mit allen Trainingsbildern. Der orange Graph zeigt den Loss-Wert der Testbilder mit den zum Zeitpunkt x errechneten Gewichten des Netzes an, w\u00e4hrend der blaue Graph f\u00fcr den Loss-Wert auf den Trainingsbildern steht. Man kann erkennen, dass der Loss in den ersten Epochen sehr schnell abnimmt und sich ab der 200. Epoche kaum noch verbessert.<\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/training.png\")
<\/a>Abbildung 5: Loss-Verlauf bei Training mit 1.000 Epochen<\/figcaption><\/figure><\/div>\n\n\n\n Dem fertig trainierten Netz \u00fcbergaben wir einige Testbilder, um zu sehen, ob es vern\u00fcnftige Ausgaben liefern konnte. Wie in den Abbildungen 6 bis 9 zu sehen ist, kann das Netz verschiedene Vehikel erkennen und auch die Klasse richtig einordnen. Des Weiteren ist es in der Lage, verdeckte Objekte wie die Autos in Abbildung 7 und 8, welche teilweise von Pflanzen verdeckt werden, zu identifizieren. <\/p>\n\n\n\n
\n\n\n\n<\/div>\n<\/div>\n<\/div><\/div>\n\n\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/nach_training1-4.png\")
<\/a>Abbildung 6<\/figcaption><\/figure><\/li> ![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/nach_training2-4.png\")
<\/a>Abbildung 7<\/figcaption><\/figure><\/li> ![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/nach_training3-1.png\")
<\/a>Abbildung 8<\/figcaption><\/figure><\/li> ![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/nach_training4-1.png\")
<\/a>Abbildung 9<\/figcaption><\/figure><\/li><\/ul> Vom YOLO-Netz erkannte Verkehrsteilnehmer<\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n\n\n Es bleibt noch anzumerken, dass die Ausgabe der Rechtecke nicht ganz unseren Erwartungen entsprach. Zwar wurden die Vehikel mit gro\u00dfer Wahrscheinlichkeit erkannt und korrekt zugeordnet, jedoch waren die Bounding Boxen zu gro\u00df und entsprachen nicht unseren gelabelten Trainingsbildern. Dennoch konnten wir mit den Ergebnissen weiterarbeiten, weil nur der Mittelpunkt der Rechtecke f\u00fcr die Z\u00e4hlung wichtig ist. Diesen Mittelpunkt kann man aus den Eckpunkten des Rechtecks berechnen, dabei spielte es keine Rolle wie gro\u00df die Dimensionen sind.<\/p>\n\n\n\n
Z\u00e4hlung der Fahrzeuge<\/h3>\n\n\n\n
Bevor wir beginnen konnten die vorbeifahrenden Fahrzeuge zu z\u00e4hlen, mussten wir in der Lage sein, ein bestimmtes Fahrzeug w\u00e4hrend des Vorbeifahrens zu tracken. Das ist n\u00f6tig, da das neuronale Netz eigentlich keine Videos direkt verarbeiten kann. Stattdessen wird das Video in die einzelnen Bilder zerlegt und Bild f\u00fcr Bild verarbeitet. In einem ersten Schritt haben wir dabei jeweils die vorher erw\u00e4hnten Mittelpunkte eines jeden erkannten Fahrzeugs in passender Farbe, je nachdem welcher Typ erkannt wurde, in jedes einzelne Bild gezeichnet und anschlie\u00dfend wieder zu einem Video zusammengesetzt. Das Ergebnis zeigt, dass das Netz in der Lage ist, ein Fahrzeug zu “verfolgen” wie in Video 1 zu sehen. <\/p>\n\n\n\n