Eine Autobahn, irgendwann in den frühen Morgenstunden. Die Sonne steht tief, der Berufsverkehr steigt an. Ein Pkw fährt auf der mittleren Spur und schert rechts hinter einem Tieflader ein. Dieser hat ein Fahrzeug geladen, das rückwärts auf der Ladefläche steht und dessen Frontseite nach hinten zeigt. Die Kamerasensoren des einscherenden Pkws interpretieren die Fracht als entgegenkommendes Fahrzeug, das Notbremssystem will eingreifen. Verkehrssituationen wie diese sind zwar sehr selten, aber nicht unmöglich. Fahrerassistenzsysteme (ADAS) müssen deshalb auch auf diese unwahrscheinlichen Ereignisse trainiert werden. „Selten auftretende Fälle wie ein solcher Fahrzeugtransport sind ein klassischer Corner Case“, sagt Arsen Sagoian, Fachprojektleiter im Bereich AI und Big Data bei Porsche Engineering.
Unter dem Begriff werden ungewöhnliche und eher selten auftretende Verkehrssituationen verstanden. Dazu zählen auch Fußgängerinnen und Fußgänger oder Fahrradfahrerinnen und Fahrradfahrer auf der Autobahn, durch Schnee nicht mehr erkennbare Fahrbahnbegrenzungen oder Straßen, die es durch ihre Beschaffenheit den Systemen erschweren, eine eindeutige Fahrspur zu erkennen.
Deswegen müssen die Entwicklerinnen und Entwickler Fahrerassistenzsysteme permanent mit Corner Cases trainieren, um sie weiter zu verbessern. Das Problem dabei: In der Regel sind die meisten der bei normalen Fahrten auf Video aufgezeichneten Szenarien aus technischer Sicht ähnlich und tragen darum nur wenig zur Optimierung von ADAS-Systemen bei. Im Laufe der Zeit wächst die Datenbank an Corner Cases weiter an, sodass außergewöhnliche Situationen in neuen Versuchsfahrten tendenziell immer seltener werden.
Die Herausforderung besteht darin, mit möglichst wenig Aufwand die verbliebenen, noch nicht berücksichtigten Corner Cases in den Aufzeichnungen zu identifizieren – vergleichbar mit der Suche nach der Nadel im Heuhaufen. Eine „manuelle Suche“ im Videodatenmaterial ist aufgrund des Zeitaufwandes und der damit verbundenen Kosten nicht für einen großflächigen Einsatz geeignet.
KI findet Corner Cases
Im Projekt „AI-based Corner Case Detection“ nutzt Porsche Engineering stattdessen Methoden der Künstlichen Intelligenz (KI), um Videodaten oder Zeitreihen mit vorverarbeiteten Sensordaten und Bussignalen automatisch nach den begehrten Ausnahmesituationen zu durchsuchen. Ein Variational Autoencoder (VAE) analysiert die Video- und Zeitreihendaten, die während Versuchsfahrten aufgezeichnet wurden, um relevante Situationen sowie deren Dauer und Zeitpunkt herauszufinden (siehe Kasten). Die Methode wurde bisher vor allem für Gesichtserkennung genutzt. Ihr Einsatz für die Verbesserung von ADAS-Lösungen ist neu. Da es sich bei VAE um ein nicht-überwachtes Lernverfahren handelt, lassen sich Trainingsdaten einfacher erstellen. Hinzu kommt eine geringere Laufzeit, sodass die Algorithmen auch direkt im Fahrzeug laufen können. Dadurch werden nur Daten aufgezeichnet, die relevant sind.
Dadurch werden nur Daten aufgezeichnet, die relevant sind. Die mit KI-Hilfe gesammelten Corner Cases werden dann als neue Testfälle an die Teams weitergeleitet, die für Funktionen wie etwa die Fahrspurerkennung verantwortlich sind. „Wir hatten zum Beispiel den Fall, dass eine Schneekante im Rahmen der Systemgrenze als Fahrbahnbegrenzung interpretiert wurde. Dadurch kam es zu einer unkomfortablen Querführung des Fahrzeugs“, erläutert Daniel Slieter, Tech Lead Verification, Validation & Data Analytics für die Fahrfunktionen bei CARIAD. In der räumlichen Tiefe werden diejenigen Datenpunkte im „Active Lane Departure Warning“ (ALDW) hervorgehoben, bei denen es sich um relevante Corner Cases der Schneekante handelt. Die Entwicklerinnen und Entwickler können auf diese Weise die Funktionalität des Spurhalteassistenten an diesen Corner Case anpassen – mit der Folge, dass das Fahrassistenzsystem sich bei einem vergleichbaren Szenario im Rahmen der Systemgrenzen nicht mehr so stark von einer Schneekante irritieren lässt.
Beim Suchprozess nach solchen Szenarien ist die KI dem Menschen haushoch überlegen: Für die Analyse von Daten zu rund 10.000 Kilometern Fahrstrecke braucht sie nur wenige Minuten und findet dabei ungefähr fünf Corner Cases. Dabei spielen die Qualität des Algorithmus und die definierten Schwellenwerte eine bedeutende Rolle. Die manuelle Auswertung der aufgezeichneten Kilometer aus Versuchsfahrten sinkt durch den KI-Einsatz auf ein Minimum. „Im Vergleich zu einer händischen Auswertung sparen wir dank KI weit mehr als 99 Prozent an menschlicher Arbeitszeit ein, Tendenz steil steigend“, so Sagoian. „Wir bezeichnen das als, exponentielle Effizienzsteigerung‘. Die Ingenieurinnen und Ingenieure können sich so auf die eigentliche Funktionsentwicklung konzentrieren.“
Analyse in Echtzeit
Bisher werden alle aufgezeichneten Daten in die Cloud geladen, um dann analysiert zu werden. Das muss aber nicht so bleiben: „Die Corner Case Detection könnte künftig in Echtzeit im aktiven Fahrzeugbetrieb durchgeführt werden, denn bei unserem neuronalen Netzwerk handelt es sich um ein kleines Netz mit einer guten Performance“, erklärt Slieter. „Dann würden wir statt der Rohdaten nur noch die erkannten Corner Cases in die Cloud laden und könnten die übertragenen Datenmengen auf diese Weise deutlich reduzieren.“ Ein weiterer Vorteil der neuen Methode: Die KI wird durch die permanente Analyse von Daten nicht nur immer präziser, sie lässt auch immer weiter reichende Rückschlüsse zu.
Basis dafür ist der sogenannte Latent Space – ein abstrakter Raum, in dem die KI die Daten nach Vorlagen und Referenzbildern durchsucht und sich so permanent verbessert (siehe Kasten). Mithilfe des Latent Space können die Entwicklerinnen und Entwickler zudem bei der Verteilung der Corner Cases Ähnlichkeiten zwischen Ländern feststellen.
Außerdem lässt sich aus der Ähnlichkeit neuer Datenpunkte zu bekannten Corner Cases ableiten, ob eine für die Absicherung ausreichende Anzahl an Datenpunkten aufgezeichnet wurde. „Zusammenfassend könnte man sagen, dass der VAE sich die Bilder ansieht und der Latent Space dafür sorgt, dass sie richtig analysiert und bewertet werden“, sagt Slieter. Die Leistungsfähigkeit der Methode wird derzeit weltweit getestet. „Wir können dadurch ganz verschiedene Arten von Corner Cases identifizieren und auch Rückschlüsse ziehen, inwieweit sich die Ergebnisse von einem Land auf ein anderes übertragen lassen“, sagt Sagoian.
Besonders viele Corner Cases habe das System in Schweden und Finnland identifiziert, was unter anderem auf außergewöhnliche Verkehrssituationen infolge von Schnee zurückzuführen sei. Aber auch Begegnungen von Fahrzeugen und Tieren kämen in diesen Ländern häufiger vor.
Info
Text erstmals erschienen im Porsche Engineering Magazin, Ausgabe 2/2024.
Text: Claudius Lüder
Copyright: Alle in diesem Artikel veröffentlichten Bilder, Videos und Audio-Dateien unterliegen dem Copyright. Eine Reproduktion oder Wiedergabe des Ganzen oder von Teilen ist ohne die schriftliche Genehmigung der Dr. Ing. h.c. F. Porsche AG nicht gestattet. Bitte kontaktieren Sie newsroom@porsche.com für weitere Informationen.
