![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/image.png\")
<\/a><\/figure>\n\n\n\nIm 21. Jahrhundert gibt es autonome Autos und Drohnen liefern Pakete direkt vor deine Haust\u00fcr. Dabei haben Drohnen und autonom fahrende Autos eine Sache gemeinsam. Sie beide sind mit vielen verschiedenen Sensoren ausgestattet, um ihre Umgebung wahrzunehmen und auf Ereignisse zu reagieren. Gerade beim autonomen Fahren sind hohe Zuverl\u00e4ssigkeits- und Sicherheitsanforderungen an die Systeme gestellt, da schlie\u00dflich Leben von den richtigen Entscheidungen des Systems abh\u00e4ngen. Um richtige Entscheidungen zu gew\u00e4hrleisten ist es unabdingbar, dass ein System m\u00f6glichst pr\u00e4zise, zuverl\u00e4ssige Daten erh\u00e4lt. Es ergibt sich demnach die Frage, wie die Aufnahme und Verarbeitung von Sensorinformationen dahingehend verbessert werden kann, sodass der Entscheidungsprozess eines autonomen Systems ein akzeptables und zuverl\u00e4ssiges Niveau erh\u00e4lt. Eine der Antworten auf diese Frage lautet: \u201eSensor Fusion\u201c.<\/p>\n\n\n\n
Datenverarbeitung in autonomen Systemen<\/h2>\n\n\n\n
Um Sensor Fusion zu verstehen betrachten wir zun\u00e4chst die Datenverarbeitung in einem Autonomen System. Autonome Systeme verwenden Sensorik, um ihre Umwelt wahrzunehmen und entsprechend der Umst\u00e4nde zu agieren. Im Beispiel aus der Einleitung bemerkte das autonome Auto den Fu\u00dfg\u00e4nger und leitete deshalb einen Bremsvorgang ein. Dieser hier beschriebene Vorgang aus Wahrnehmung und Handeln l\u00e4sst sich f\u00fcr ein System in die folgenden Schritte unterteilen.<\/p>\n\n\n\n
- Informationen aufnehmen<\/li>
- Informationen interpretieren<\/li>
- Aktion planen<\/li>
- Aktion ausf\u00fchren<\/li><\/ol>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/image-1-1024x442.png\")
<\/a><\/figure>\n\n\n\nDamit autonome Autos ihre Umgebung wahrnehmen k\u00f6nnen, werden in deren Systeme Sensoren integriert. Wenn man so will sind die Sensoren die Augen und Ohren des Systems, denn ohne diese w\u00fcrde das System nicht verstehen was gerade um es herum passiert. Sensoren kommen in den unterschiedlichsten Farben und Formen vor, je nachdem welchen Zweck sie erf\u00fcllen. Es gibt Kamerasensoren f\u00fcr das erheben von Bildinformationen, Infrarotsensoren f\u00fcr Abstandsmessungen, Gyroskopische Sensoren um die Lage im Raum festzustellen etc. Im Falle eines autonomen Fahrzeugs werden Kamerasensoren und zus\u00e4tzliche Sensoren f\u00fcr die Abstandserkennung benutzt und somit der Wahrnehmung der Verkehrslage dienen.
Die \u00fcber Sensorik aufgenommenen Informationen m\u00fcssen anschlie\u00dfend noch vom System ausgewertet und interpretiert werden. Dazu versucht das System die gesammelten Umgebungsinformationen zu verstehen. Das autonome Auto fragt sich also beispielsweise: Was sehe ich hier? Ist ein Mensch zu erkennen oder doch nur der Schatten eines Baumes? Oder ist es wohlm\u00f6glich ein anderes Auto?
Wurden die Informationen dann interpretiert, reagiert das System entsprechend und f\u00fchrt eine Handlung aus. Werden die aufgenommenen Sensorinformationen, wie im Falle unseres Beispiels, als Fu\u00dfg\u00e4nger interpretiert, bremst das Auto ab.<\/p>\n\n\n\nSensor Fusion<\/h2>\n\n\n\n
Nun da wir den Ablauf in einem autonomen System genauer verstehen, k\u00f6nnen wir Sensor Fusion als Teil dieses Ablaufs betrachten.<\/p>\n\n\n\n
Eigentlich verh\u00e4lt es sich mit Sensor Fusion wie mit unseren Sinneseindr\u00fccken. Wir h\u00f6ren, sehen und f\u00fchlen verschiedene Reize, welche wie aus unserer Umwelt aufnehmen. Das Gehirn wiederum verarbeitet diese Informationen zu einem gesamtheitlichen Eindruck. Genau so funktioniert auch Sensor Fusion. In einem System werden nicht nur die Daten eines einzelnen Sensors f\u00fcr den Interpretationsschritt verwendet, sondern gleich mehrere. Dadurch verbessert sich der gesamtheitliche Eindruck \u00fcber die Umgebung. Sensor Fusion ist demnach ein Teil des Aufnahme- und Interpretationsschritts in einem autonomen System, da mehrere Sensorinformationen aufgenommen und auch gemeinsam verarbeitet werden.<\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/image-2-1024x541.png\")
<\/a><\/figure>\n\n\n\nVorteile von Sensor Fusion<\/h3>\n\n\n\n
Die Aufnahme und Verarbeitung mehrerer Sensorinformationen bietet gleich mehrere Vorteile wie:<\/p>\n\n\n\n
Genauere Daten<\/h4>\n\n\n\n
Mithilfe von Sensor Fusion kann die Genauigkeit und Qualit\u00e4t der, \u00fcber Sensorik erfassten Informationen, verbessert werde. Da die von Sensoren aufgenommenen Informationen nie 100% korrekt sind, sondern Ungenauigkeiten und St\u00f6rsignale enthalten, wird Sensor Fusion eingesetzt, um diese Inkorrektheiten abzuschw\u00e4chen. Werden mehrere Sensoren der gleichen Art verwendet ist es m\u00f6glich die fehlerhaften Informationen herauszufiltern, indem die aufgenommenen Informationen miteinander verrechnet werden. Dazu kann der Durchschnitt der beiden Sensorinformationen ermittelt werden, um den Noise zu herauszurechnen. Genauso wie bei den menschlichen Augen der blinde Fleck durch das zweite Auge erg\u00e4nzt und das Blickfeld vervollst\u00e4ndigt wird, werden bei Sensor Fusion mehrere Sensoren verwendet, um Ungenauigkeiten oder Fehlende Informationen durch weitere Sensoren zu beseitigen.<\/p>\n\n\n\n
Verl\u00e4sslichere Daten<\/h4>\n\n\n\n
Ein weiter Vorteil von Sensor Fusion ist eine erh\u00f6hte Verl\u00e4sslichkeit der Sensorinformationen. Werden mehrere unterschiedliche Sensoren f\u00fcr die Erf\u00fcllung einer Aufgabe verwendet, k\u00f6nnen die Sensordaten gegeneinander abgeglichen werden, um die Plausibilit\u00e4t der Daten zu \u00fcberpr\u00fcfen. Fallen Sensoren aus, oder liefern aus diversen Gr\u00fcnden komplett falsche Informationen, stehen immer noch die Daten anderer Sensoren f\u00fcr die Erf\u00fcllung einer Aufgabe zur Verf\u00fcgung.
Fallen bei einem autonomen Auto die Sensoren f\u00fcr die Geschwindigkeitsermittlung aus, besitzt das System noch weitere Sensoren, wie beispielsweise das GPS, um die Geschwindigkeit festzustellen. Zwar kann die Genauigkeit der der Daten darunter leiden, aber die Information der Geschwindigkeit geht nicht komplett verloren.<\/p>\n\n\n\nZus\u00e4tzliche Zustandsinformationen<\/h4>\n\n\n\n
Durch Sensor-Fusion ergeben sich au\u00dferdem viele neue M\u00f6glichkeiten, um zus\u00e4tzliche Informationen \u00fcber die Systemumgebung zu erhalten. Werden z.B. zwei Sensoren f\u00fcr die Erhebung von Bildinformationen verwendet, kann dadurch zus\u00e4tzlich die Entfernung zu den erkannten Objekten berechnet werden. Genau wie unser Gehirn mithilfe der Bildinformationen von zwei Augen dazu f\u00e4hig ist die Entfernung zu den Objekten zu berechnen.<\/p>\n\n\n\n
Sensor Fusion Algorithmen<\/h3>\n\n\n\n
Wir haben nun einen \u00dcberblick \u00fcber Sensor Fusion und dar\u00fcber welche Vorteile das Verwenden mehrerer Sensorinformationen f\u00fcr den Entscheidungsprozess eines autonomen Systems haben kann. Im Weiteren schauen wir uns an wie Sensorinformationen aus verschiedenen Quellen am besten interpretiert werden k\u00f6nnen. Daf\u00fcr betrachten wir die allgemeine Vorgehensweise von Sensor Fusion Algorithmen, deren Ziel es ist den physischen Zustands eines System oder Objekts abzusch\u00e4tzen.
Im Prinzip kombinieren Sensor Fusion Algorithmen Dinge die \u00fcber einen Vorgang bekannt sind mit den Daten die von Sensoren erfasst werden. Konkret sind in den Sensor Fusion Algorithmen dazu physikalische Gleichungsmodelle als Ausgangspunkt verwendet. Diese Gleichungsmodelle hei\u00dfen \u201eMotion model\u201c und sind in ein sogenanntes \u201eprediction model\u201c integriert. Prediction models sind Gleichungen die der Vorhersage von Systemzust\u00e4nden dienen. Mithilfe des prediction model werden also anhand von bekannten physikalischen Gleichungen Vorhersagen \u00fcber den zuk\u00fcnftigen Zustand eines Systems gemacht. Diese Vorhersage kann dann mithilfe eines sog. \u201eupdate model\u201c um die tats\u00e4chlich, von Sensoren gemessenen Daten, korrigiert werden. Das Ergebnis beinhaltet damit eine Mischung aus Vorhersage und tats\u00e4chlich gemessenen Werten. Falsche Messwerte werden also schon durch das Prinzip dieses Vorhersagevorgangs abgeschw\u00e4cht, da sich das System nicht komplett auf Sensorinformationen verl\u00e4sst. Au\u00dferdem wird die Plausibilit\u00e4t von Sensorinformationen \u00fcberpr\u00fcfbar, weil eine Vorhersage den Rahmen f\u00fcr m\u00f6gliche Werte vorgibt und Messfehler dadurch erkannt werden k\u00f6nnen. Klingt alles etwas kompliziert, schauen wir uns das doch einmal in einem Beispiel an.<\/p>\n\n\n\nBeispiel Lokalisation<\/h3>\n\n\n\n
Stellen wir uns wir fahren \u00fcber eine Landstra\u00dfe und m\u00f6chten nun die Position unseres Autos anhand von Sensorinformationen bestimmen. Registriert der Geschwindigkeitssensor eines Fahrzeugs z.B die Geschwindigkeit von 10m\/s, so kann die Annahme getroffen werden, dass sich das Fahrzeug nach einer Sekunde 10 Meter weiter vorne befindet, falls sich die Richtung des Fahrzeugs nicht \u00e4ndert. Nun wird die vorhergesagte Position mit den Sensorinformationen verglichen und verrechnet. Es ergibt sich die vom System registrierte neue Position des Fahrzeugs. Die festgestellt Position und alle weiteren Zustandsinformationen(Geschwindigkeit usw.) werden anschlie\u00dfend als Ausgang f\u00fcr die n\u00e4chste Vorhersage verwendet und der Vorgang beginnt von neuem.<\/p>\n\n\n\n
Hier einmal die Positionsbestimmung durch Sensorfusion Bildlich dargestellt:<\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/image-3-1024x645.png\")
<\/a>Vorhersage der zuk\u00fcnftigen Position anhand des prediction model<\/figcaption><\/figure>\n\n\n\n Die Gelbe Linie beschreibt die Vorhersage der Position anhand der aktuellen Position und dem Zustand unseres System. Diese Informationen werden durch das prediction model verarbeitet und es kommt zu einer Vorhersage . Der Systemzustand beinhaltet Informationen wie z.B Geschwindigkeit, Position, Karten Daten usw. die als Grundlage f\u00fcr die Vorhergesagt Position dienen. Wie ihr seht ist die Vorhersage nicht perfekt sondern etwas neben der Stra\u00dfe. Es wird auch keine vollst\u00e4ndige Korrektheit erwartet, denn die Vorhersage wird jetzt noch durch Sensorinformationen erg\u00e4nzt.<\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/image-5.png\")
<\/a>\u00dcber die Sensorik des Systems festgestellte Position<\/figcaption><\/figure>\n\n\n\n