Doppelt optimiert: Reinforcement-Learning-Agent & Neuronales Netz

Porsche Engineering hat zwei Methoden der Künstlichen Intelligenz kombiniert, um einen Seitenschweller effizient zu optimieren: Ein Reinforcement-Learning-Agent findet die beste Variante des Bauteils – unterstützt von einem Neuronalen Netz, das die einzelnen Optimierungsschleifen stark beschleunigt.

Sie sind unscheinbare Lebensretter: Die beiden Seitenschweller schützen die Insassen, falls ein Fahrzeug von der Straße abkommt und beispielsweise seitlich gegen einen Baum prallt. In rein-elektrischen Fahrzeugen haben sie eine weitere wichtige Aufgabe: den Schutz der Hochvoltbatterie, die zwischen linkem und rechtem Seitenschweller untergebracht ist und bei einem Unfall nicht übermäßig deformiert werden darf. Entsprechend viel Arbeit investieren Entwickler in die Optimierung des Crashverhaltens der Komponente.

Johannes Pfahler, Berechnungsingenieur bei Porsche Engineering, 2022, Porsche AG

Vom optimalen Crashverhalten eines Seitenschwellers haben sie dabei eine klare Vorstellung: Die Verformung (Intrusion) sollte einen möglichst stetigen Verlauf ohne allzu große lokale Schwankungen aufweisen. Dieser Zusammenhang zwischen äußerer Kraft beim Crash und Seitenschweller-Intrusion lässt sich durch eine Idealkurve darstellen. Ihr sollte das tatsächliche Verhalten der Komponente so nahe wie möglich kommen.

Während der Entwicklung kommen für solche Optimierungen meist Simulationen zum Einsatz, denn Prototypen für Crashtests sind teuer. Bei der weitverbreiteten Finite-Elemente-Methode (FEM) zerlegt man das reale Fahrzeug oder Bauteil für Crashsimulationen meist in kleine Vierecke („Elemente“), deren Ecken „Knoten“ genannt werden. Das Verhalten bei einem Aufprall lässt sich durch die Reaktion der einzelnen Elemente auf äußere Kräfte berechnen – umso präziser, je mehr Elemente und Knoten das FEM-Modell enthält. „Eine höhere Genauigkeit schlägt sich allerdings auch in einem größeren Rechenaufwand nieder“, erklärt Johannes Pfahler, Berechnungsingenieur bei Porsche Engineering. „Für FEM-Simulationen sind Hochleistungscomputer erforderlich, und bei einem Gesamtfahrzeugmodell kann eine einzige Crash-Berechnung einen Tag oder länger dauern.“

Das gilt auch für die Crash-Simulation des Seitenschwellers in einem rein-elektrischen Fahrzeug. Das Bauteil stammte aus einem Vorentwicklungsprojekt der Porsche AG. Um die Komponente zu optimieren, konnten die Ingenieure von Porsche Engineering 14 Wandstärken variieren und das Crashverhalten jeder Variante mit dem idealen Verlauf vergleichen. Hätten die Berechnungsingenieure dafür ein FEM-Gesamtfahrzeugmodell mit 9,6 Millionen Elementen und 6,6 Millionen Knoten verwendet, wäre ein Computer mit 128 Mikroprozessorkernen (CPUs) fast 20 Stunden beschäftigt – nur um das Crashverhalten einer einzigen Schweller-Variante zu berechnen. Ein vereinfachtes FEM-Teilmodell aus Seitenschweller, Unterboden und Batteriekonstruktion (1,6 Millionen Elemente und 1,9 Millionen Knoten) hätte einen Computer mit 64 CPUs immer noch für etwas mehr als vier Stunden pro Simulation ausgelastet. Gefragt war darum eine effizientere Methode, um Hunderte oder Tausende von Schweller-Varianten mit unterschiedlichen Wandstärken auf ihr individuelles Crashverhalten zu untersuchen.

Ein Fall für den RL-Agenten

Hier kamen Dr. Joachim Schaper, Leiter Fachdisziplin KI und Big Data bei Porsche Engineering, und die anderen KI-Experten des Unternehmens ins Spiel. Ihre Idee: Durch die Kombination der beiden KI-Verfahren Reinforcement Learning (RL) und Neuronale Netze (NN) sollte sich die optimale Schweller-Variante mit vertretbarem Rechenaufwand finden lassen. Beim Reinforcement Learning interagiert ein Algorithmus („Agent“ genannt) mit seiner Umgebung und lernt durch Feedback permanent hinzu – indem er für Aktionen, die zu einem guten Ergebnis führen, mit Bonuspunkten belohnt und bei Misserfolgen mit Abzügen bestraft wird. Sein Ziel war es in diesem Fall, im Lauf der Zeit die Variante mit der höchstmöglichen Punktzahl zu finden. Dazu sollte sich der RL-Agent durch Variation der 14 Wandstärken immer näher an das ideale Crashverhalten des Seitenschwellers herantasten.

Image Alt Text

Wie gut ihm das im Einzelfall gelungen ist, ließe sich prinzipiell durch eine FEM-basierte Simulation des Crashverhaltens jeder vorgeschlagenen Variante ermitteln – wäre der Rechen- und Zeitaufwand dafür nicht viel zu hoch. Diesen reduziert das zweite eingesetzte KI-Verfahren deutlich: Das Feedback für den RL-Agenten liefert keine Simulation, sondern ein Neuronales Netz. „Wir haben es zuvor mithilfe von Simulationsdaten darauf trainiert, aus den Wandstärken als Eingabe das Crashverhalten des Seitenschwellers als Ausgabe vorherzusagen“, erklärt Schaper. „Das dauert für jede Seitenschweller-Variante nur Sekunden, im Gegensatz zu Stunden bei einer klassischen Simulation. Dennoch müssen wir keine Abstriche bei der Genauigkeit des Feedbacks für den RL-Agenten machen.“

Mit dieser Kombination der beiden KI-Verfahren konnte die Schweller-Optimierung starten. Die 14 Wandstärken für die erste Schleife wurden nicht zufällig gewählt, sondern stammten von Dr. Philipp Kellner, Fachreferent Karosserie Vorentwicklung bei der Porsche AG. „Als Experte wusste er aus langjähriger Erfahrung, wie eine gute Kombination aussehen könnte“, so Pfahler. „Der Ausgangspunkt für den Reinforcement-Learning- Agenten war also schon recht gut.“ Das Neuronale Netz verglich daraufhin das Crashverhalten dieser speziellen Seitenschweller-Variante mit dem Idealverlauf und speiste die Abweichung als Feedback in den Agenten ein, der wiederum die nächste Kombination aus 14 Wandstärken an das Neuronale Netz lieferte. Dieses Spiel wiederholte sich mehrere Tausend Mal, und mit jeder Iteration kam das KI-Team aus RL-Agent und Neuronalem Netz seinem Ziel ein Stück näher: den optimalen Seitenschweller zu finden.

Image Alt Text

Hier zeigte sich auch die Stärke des Reinforcement Learning. „Wir haben lange darüber nachgedacht, welche KI-Methode für diese Aufgabe am besten funktionieren könnte“, berichtet Schaper. „Der Vorteil des Reinforcement Learning: Der Agent merkt sich die Historie seiner Versuche. Er weiß also, was bisher gut funktioniert hat und was nicht – eine wichtige Voraussetzung, um eine gute Strategie für die effiziente Optimierung des Seitenschwellers zu entwickeln.“ Sein Vertrauen in den RL-Ansatz erwies sich als gerechtfertigt: Nach mehreren Tausend Iterationen lieferten die beiden KI-Methoden eine Seitenschweller-Variante, die eine ausreichend gute Übereinstimmung mit der Idealkurve aufwies. Das Ziel war erreicht – in einem Bruchteil der Zeit, die ein konventionelles Vorgehen erfordert hätte.

Lernen aus Erfahrung

Insgesamt benötigten die Entwickler etwa 23 Tage Rechenzeit, um ans Ziel zu kommen. Der bei Weitem größte Aufwand steckte in den 548 Crash-Simulationen, mit denen das Neuronale Netz trainiert beziehungsweise validiert wurde. Sie beruhten auf einem weiter vereinfachten FEM-Modell des Seitenschwellers, das aus nur noch rund 132.000 Elementen und 129.000 Knoten besteht. Pro Variante ließ sich jeder Crash damit in einer Stunde berechnen – auf einer normalen Workstation mit vier CPUs. „Hätten wir den optimalen Seitenschweller mithilfe klassischer Simulationen unter 548 Varianten gesucht, wäre ein Hochleistungscomputer 96 Tage beschäftigt gewesen“, so Pfahler. „Außerdem hätten wir möglicherweise die optimalen Wandstärken verfehlt, wenn wir im falschen Bereich des Parameterraumes nach ihnen gesucht hätten – was weitere aufwendige Simulationen nach sich gezogen hätte.“

Image Alt Text

Das Optimierungsprojekt startete Ende 2020 mit einer Analyse des aktuellen Stands der Technik. Bereits im ersten Quartal 2021 war der Trainings- und Validierungsdatensatz für das Neuronale Netz verfügbar, das im zweiten Quartal trainiert wurde. Parallel dazu entwickelten die KI-Experten von Porsche Engineering den RL-Agenten und ließen ihn schließlich die Seitenschweller-Optimierung durchführen. Derzeit arbeiten sie daran, das erfolgreiche Gespann aus den beiden KI-Verfahren für weitere Optimierungen einzusetzen. „Wir wollen zum Beispiel herausfinden, ob der vortrainierte RL-Agent für einen anderen Crash oder ein anderes Bauteil eine völlig neue Strategie entwickeln muss oder ob er die alte wiederverwenden kann“, sagt Pfahler.

Dr. Joachim Schaper, Leiter Fachdisziplin KI und Big Data bei Porsche Engineering, 2022, Porsche AG

Effizientere Umsetzung als Ziel

In Zukunft soll der RL-Agent eingesetzt werden, um Optimierungsmöglichkeiten bei Front- und Heckcrashs zu finden. Außerdem wollen Schaper, Pfahler und ihre Kollegen untersuchen, wie sich das Verfahren noch effizienter umsetzen lässt. „Wir haben das Neuronale Netz für die Seitenschweller-Optimierung mit 300 Datensätzen trainiert, wodurch es sehr präzise Ergebnisse geliefert hat“, berichtet Schaper. „Das sind allerdings ungewöhnlich viele Daten – in der Regel stehen nur zehn bis 20 Simulationsergebnisse für das Training zur Verfügung.“ Nun geht es um Fragen wie: Kann das Neuronale Netz auch mit deutlich weniger Trainingsdaten noch genaue Aussagen über das Crashverhalten liefern? Wo ist der beste Kompromiss aus Trainingsaufwand und Präzision? Welche Fehlerrate des Neuronalen Netzes kann man tolerieren? „Sicher ist bereits jetzt, dass wir KI für die Optimierung von Komponenten nutzen können“, resümiert Pfahler. „Nun geht es darum, das Verfahren zu verbessern und in die Serienentwicklung zu integrieren.“

Dass die Kombination aus Reinforcement Learning und Neuronalen Netzen wichtige Impulse geben kann, haben die KI-Experten von Porsche Engineering bereits im Projekt PERL gelernt: Mit RL war es ihnen gelungen, automatisch eine optimale Applikationsstrategie für Motoren zu finden, die sich universell für Modelle mit unterschiedlichen Bauformen und Hubräumen sowie mit verschiedenen Aufladesystemen einsetzen lässt. „Zwischen PERL und dem aktuellen Projekt gibt es viele Parallelen: In beiden Fällen geht es zum Beispiel darum, in einem großen Suchraum die optimale Konstellation zu finden“, erklärt Schaper. „Und es hat sich wieder gezeigt: Reinforcement Learning ist im KI-Bereich die Königsklasse für Optimierungsaufgaben.“

Zusammengefasst

Durch die Kombination der beiden KI-Methoden Reinforcement Learning und Neuronales Netz konnte Porsche Engineering einen Seitenschweller ohne den Einsatz von Hochleistungsrechnern sehr effizient optimieren. Nun wird untersucht, wie sich das Verfahren selbst weiter verbessern lässt und in welchen anderen Bereichen es eingesetzt werden könnte.

Info

Text erstmals erschienen im Porsche Engineering Magazin, Ausgabe 1/2022.

Autor: Christian Buck

Illustrationen: Jurij Chrubasik

Copyright: Alle in diesem Artikel veröffentlichten Bilder, Videos und Audio-Dateien unterliegen dem Copyright. Eine Reproduktion oder Wiedergabe des Ganzen oder von Teilen ist ohne die schriftliche Genehmigung der Dr. Ing. h.c. F. Porsche AG nicht gestattet. Bitte kontaktieren Sie newsroom@porsche.com für weitere Informationen.

Weitere Artikel