Big Loop: Künstliche Intelligenz und Machine Learning

Ein Autofahrer lernt ständig dazu und entwickelt im Lauf der Zeit eine Art Intuition. Wer zum Beispiel auf der Überholspur unterwegs ist und sieht, wie ein vorausfahrender PKW auf der rechten Spur langsam nach links zieht, wird automatisch vom Gas gehen – selbst wenn der andere Wagen noch nicht den Blinker gesetzt hat. Denn jeder Fahrer mit Praxis ahnt, dass das andere Auto gleich ausscheren wird.

Wie kann ein autonomes Fahrzeug in gleicher Weise aus Erfahrungen lernen und ebenfalls intuitiv reagieren? Dieser Frage widmete sich Porsche Engineering gemeinsam mit der Porsche AG sowie Cariad, Software- und Technologieunternehmen des VW-Konzerns, im Rahmen eines Proof of Concepts „Big Data Loop“. Die Serienentwicklung im Konzern wird nun bei den Software-Spezialisten von Cariad vorangetrieben. Der Proof of Concept sollte zeigen, wie sich in Zukunft alle Funktionen, die auf Künstlicher Intelligenz (KI) beruhen, kontinuierlich weiterentwickeln lassen. Die Lösung gleicht dabei einem Kreislauf: Daten aus dem Fahrzeug werden drahtlos in die Cloud übermittelt und dort genutzt, um die KI weiter zu trainieren. Danach wird der verbesserte Algorithmus geprüft und wieder zurückgespielt.

Einscheren früher erkennen

Testobjekt im Projekt ist ein Fahrzeug, das mit einem weiterentwickelten Abstandsregeltempomaten „Adaptive Cruise Control“ (ACC) ausgerüstet ist. Das reguläre Serien-Fahrerassistenzsystem beschleunigt beziehungsweise bremst selbstständig und sorgt so dafür, dass immer eine sichere Distanz zum vorausfahrenden Fahrzeug gewahrt bleibt. Dafür muss das ACC frühzeitig erkennen, wenn andere Verkehrsteilnehmer einscheren. Genau dieses Einscherverhalten soll nun mittels KI früher erkannt werden.

Im Testfahrzeug übernimmt daher ein selbst entwickeltes neuronales Netz diese Aufgabe, das mit realen Szenen aus den Testfahrten ständig weitertrainiert wird. So entsteht ein endloser Kreislauf aus Beobachten und Lernen, der die Leistung des ACC stetig verbessert. „Ein wahrscheinlicher Spurwechsel wird eine halbe bis zu einer Sekunde früher erkannt – das entspricht auf der Autobahn 30 Metern Fahrstrecke“, berichtet Dr. Joachim Schaper, Leiter KI und Big Data bei Porsche Engineering.

Jedes moderne Fahrzeug mit Assistenzsystemen produziert enorme Datenmengen (Big Data), unter anderem ausgewertete Kamerasignale oder Informationen von Radarsensoren – es gibt also genügend Material, um ein neuronales Netz zu trainieren. Was auf den ersten Blick als einfache Idee erscheint, erweist sich in der Umsetzung allerdings als echte Herausforderung. „Wir wollen beispielsweise nur diejenigen Daten aufzeichnen, die das System wirklich weiterbringen“, erklärt Projektleiter Philipp Wustmann, Experte für Längs- und Querregelung bei Porsche Engineering. „Das ist keine einfache Aufgabe, denn Radarsensoren und Kameras erzeugen immens viele Daten, von denen die meisten für die betrachtete Funktion nicht relevant sind.“ Die Fahrt auf einer leeren Autobahn bietet zum Beispiel für einen Abstandsregler keine Lernimpulse. Zudem wäre die Auswertung aller Daten viel zu aufwendig.

Darum wählt man gezielt Szenen aus, aus denen die KI etwas lernen kann. Diese Aufgabe übernimmt im Testfahrzeug vom Typ Taycan ein „SceneDetector“: Dieser Algorithmus nutzt die interpretierten Kamerasignale am Fahrzeugbus. Es handelt sich nicht um rohe 2 Videobilder, sondern um Informationen darüber, welche Objekte sich in welcher Entfernung zum Fahrzeug befinden. Der SceneDetector filtert aus dem aktuellen Verkehrsgeschehen jene Szenen heraus, in denen das ACC noch nicht optimal reagiert – etwa wenn der Einscherer zu spät oder falsch erkannt wurde. Zusätzlich ist es technisch möglich, vom Programm so genannte Corner Cases aufzeichnen zu lassen, also Grenzfälle, die im Alltag selten vorkommen. Pendelt zum Beispiel ein vorausfahrendes Fahrzeug in der Spur, ohne sie tatsächlich zu wechseln, könnte der Algorithmus diese Szene markieren. Das Gleiche gilt für eine Situation, 3 in der die Kamera die Spurmarkierungen nicht erfasst. Diese Erkennung bestimmter Szenen übernimmt eine spezielle Software namens „Automated Measurement Data Analytics“ (AMDA).

Vermehrung der Daten per Simulation

Hat der SceneDetector fünf potenziell lehrreiche Einschervorgänge gefunden, überträgt er die dazugehörigen Daten per Mobilfunk an einen Server. In der Cloud wird die Menge an Anschauungsmaterial vergrößert: Dafür speist man die Daten zunächst in eine Simulation ein, die eine Game Engine nutzt, also die gleiche Technologie, mit der auch Computerspiele ihre Bilder erzeugen. Mithilfe des „Porsche Engineering Virtua ADAS Testing Center“ (PEVATeC) lassen sich virtuelle Testfahrten produzieren, bei denen sich die Fahrzeuge im Rechner physikalisch so verhalten wie ihre realen Pendants auf dem Asphalt. Das Ergebnis der Simulation sind Messungen, die denen vom realen Fahrzeugbus entsprechen.

Fallbeispiele

True positive (links): Die Einscher-Erkennung soll korrekt vorhersagen, ob ein anderes Fahrzeug die Spur wechseln wird. Dann kann der Abstandsregeltempomat (ACC) frühzeitig und sanft bremsen.

False positive (rechts): Die Einscher-Erkennung sollte auch erkennen, dass ein Fahrzeug zwar nach rechts pendelt, aber trotzdem nicht einscheren wird. So lassen sich unnötige Bremsmanöver vermeiden.

In der PEVATeC-Simulationsumgebung entstehen, wiederum automatisch, auf Basis der realen Messungen verschiedene Varianten des aufgezeichneten Einschervorgangs – es findet also eine Re-Simulation der realen Situation statt. Die simulierten Einschervorgänge unterscheiden sich jeweils nur minimal: In einer Version zieht der andere Verkehrsteilnehmer schneller nach links, in einer anderen ist er mit größerem Abstand unterwegs. Durch diese Variationen entstehen ohne zusätzliche Testfahrten innerhalb kürzester Zeit mehr Trainingsdaten. Außerdem verbessert sich dadurch die Generalisierbarkeit des KI-Modells. Es erkennt nicht nur Standardsituationen, sondern auch solche, die seltener vorkommen. Das liegt in der Natur der Technik: Neuronale Netze eignen sich neue Fähigkeiten ausschließlich durch Beobachten an. Je mehr Beispiele sie zu sehen bekommen, desto besser werden sie. Die Simulationsumgebung ermöglicht es auch, kritische oder untypische Situationen nachzubilden, um das Spektrum der Trainingsdaten zu erweitern.

„Ein wahrscheinlicher Spurwechsel wird eine halbe bis zu einer Sekunde früher erkannt – das entspricht auf der Autobahn 30 Metern Fahrstrecke.“ Dr. Joachim Schaper, Leiter KI und Big Data bei Porsche Engineering

Nachdem alle Anschauungsszenarien erstellt wurden, beginnt das eigentliche Lernen: Sämtliche realen und simulierten Einschervorgänge werden genutzt, um ein neuronales Netz in der Cloud zu trainieren. Durch Beobachten lernt es, die Anzeichen eines nahenden Spurwechsels ähnlich gut wie ein menschlicher Fahrer zu erkennen. So kann das ACC sanft abbremsen, fast genauso wie ein menschlicher Fahrer. Oder wie es Experte Schaper ausdrückt: „Wir bilden die Intuition in KI nach.“ Auf lange Sicht könnte das Fahrzeug regelrecht ein Gespür für das Verhalten der anderen Verkehrsteilnehmer entwickeln und zum Beispiel einen aggressiven Fahrstil erkennen, der riskante Spurwechsel erwarten lässt. Für das Speichern und Verarbeiten der Daten nutzt Porsche Engineering die Cloud-Plattform GroupMDM der Volkswagen-Gruppe (MDM steht für „Measured Data Management“, Messdatenmanagement).

Fahrer kann neues Release aktivieren

Ist das Training abgeschlossen, wird automatisch eine neue Software für den Abstandstempomaten erstellt und validiert. Das bedeutet: Sie muss in einer Vielzahl von unbekannten Testszenen zuverlässig ein Einscheren erkennen. Nur wenn sich die Software dabei uneingeschränkt bewährt, wird sie ins Fahrzeug übertragen. Dann sieht der Fahrer ein Dialogfenster mit dem Text: „Ein neues Release ist verfügbar. Wollen Sie es aktivieren?“ Drückt er nun auf „OK“, nimmt der verbesserte Abstandsregeltempomat seine Arbeit auf.

Training und Validierung neuer KI-Modelle

Das neue KI-Modell wird automatisch mit einem verbesserten Datensatz trainiert und mit einem bereits vorhandenen Validierungsdatensatz validiert. Ist es besser als das bisherige Modell, wird es für weitere Tests im Fahrzeug eingesetzt.

Ebenfalls möglich wäre es, das neue ACC-Modul zunächst im Hintergrund („ShadowMode“) im Fahrzeug zu testen: Das verbesserte Modell erhält während der Fahrt die gleichen Sensordaten wie das vorhandene Bordsystem und muss entsprechend reagieren. Gas und Bremse steuert jedoch weiter das alte ACC. Währenddessen überwacht eine Software die Qualität der Vorhersagen. Prognostiziert die „fortgebildete“ KI zum Beispiel einen Einschervorgang, der dann doch nicht stattfindet („False Positive“), hätte sie sich disqualifiziert. Erst wenn sich zeigt, dass das in der Cloud trainierte neuronale Netz bei seinen Vorhersagen wirklich überlegen ist, geht es in den Livebetrieb. 

Der Knopfdruck, mit dem der Fahrer die neue ACC-Version aktiviert, stellt in diesem Proof of Concept den einzigen manuellen Schritt im Lernkreislauf dar. „Neu ist, dass alles automatisiert abläuft“, betont Schaper. Das Erkennen der relevanten Szenen im Fahrzeug geschieht ohne menschlichen Eingriff, genauso wie das Vermehren der Lernszenen in der Simulationsumgebung. Das Training des neuronalen Netzes in der Cloud und das Zurückspielen ins Fahrzeug steuert ebenfalls ein Computer. Die Entwickler überprüfen nur noch. „Das Fahrzeug optimiert sich selbst“, fasst Wustmann zusammen.

In nur vier Monaten zum Proof of Concept

Porsche Engineering konnte den dazulernenden Abstandsregeltempomaten in nur vier Monaten realisieren. Ein Teil der Technik konnte zum Patent angemeldet werden. Mit dem Proof of Concept wurde gezeigt, dass der technische Ansatz funktioniert. Die dabei verwendete Architektur kommt bereits in anderen Entwicklungsprojekten zum Einsatz, zum Beispiel um eine neue Sensorgeneration zu prüfen und zu validieren, als Ersatz für Bestandssensoren. Der nächste Schritt wird sein, den Big Data Loop in die Serie zu bringen. Hierbei stehen noch einige Herausforderungen an, zum Beispiel die Corner-Case-Erkennung oder eine völlig automatisierte Funktionsoptimierung. CARIAD arbeitet derzeit an einer Serienanwendung des Big Data Loop im Gesamtkontext des automatisierten Fahrens für die Marken des VW-Konzerns. Dieser Proof of Concept liefert wertvolle Erkenntnisse.

„Die Technik könnte auch für die Querführung interessant sein, zum Beispiel für den Spurhalteassistenten.“ Philipp Wustmann, Projektleiter für Längs- und Querregelung bei Porsche Engineering

Ist die nötige Technik Standard in allen ausgelieferten Fahrzeugen, wird auch das Lernen schneller vonstattengehen – weil es mehr digitales Anschauungsmaterial gibt: Denn während heute ein einziges Testfahrzeug auf der Autobahn unterwegs ist und Einschermanöver sammelt, kann künftig jedes Fahrzeug Daten an den Hersteller zurücksenden, wenn der Kunde dem zustimmt. Projektleiter Wustmann begeistert diese Aussicht: „Direktes Feedback aus den Kundenflotten in den verschiedenen Ländern zu bekommen, würde immens viel Zeit, Kosten und Erprobungsaufwand sparen.“

Die Einscher-Erkennung stellt dabei nur einen Teil auf dem Weg zum lebenslang lernenden Fahrzeug dar. In Zukunft kommen neuronale Netze an vielen Stellen im Fahrzeug zum Einsatz, und sie alle ließen sich durch automatische Feedback-Schleifen verbessern. „Die Technik könnte auch für die Querführung interessant sein, zum Beispiel für den Spurhalteassistenten“, berichtet Wustmann.

Zusammengefasst

Mit dem Big Data Loop lassen sich KI-basierte Fahrzeugfunktionen kontinuierlich weiterentwickeln. Der Ansatz hat sich in einem Proof of Concept bewährt und wird bereits in anderen Entwicklungsprojekten eingesetzt. Er könnte ein wichtiger Schritt zum lebenslang lernenden Fahrzeug sein.

Cariad

Grundlage für eine bestmögliche Optimierung im Big Loop ist eine umfangreiche Datenbasis. Hier besitzt Porsche einen Vorteil durch die Zusammenarbeit mit anderen Marken des Volkswagen Konzerns: Die immense gemeinsame Datengrundlage und Software-Entwicklung ist zentral im eigens gegründeten Unternehmen Cariad (Car, I Am Digital) gebündelt. Unterstützt von diesen Daten werden Systeme und Funktionen entwickelt, die durch die Porsche-Ingenieure ihre unverwechselbare DNA erhalten: Assistenzsysteme erhöhen die Sicherheit und den Komfort. Sie können im Stau und beim Parken entlasten und sogar als Trainer fungieren. Die Entscheidung bleibt aber individuell und pures Selbstfahren bei Porsche jederzeit eine Option.

Info

Text: Constantin Gillies
Mitwirkende: Philipp Wustmann, Dr. Joachim Schaper
Illustrationen: Florian Müller, Design Hoch Drei

Text erstmalig erschienen im Porsche Engineering Magazin, Nr. 2/2021.