Wir befinden uns inmitten einer Datenrevolution, die die Unternehmenswelt und ihre bisherigen Prozesse auf den Kopf stellt. Einst eine knappe Ressource, sind Daten heute in Unmengen, schnell und günstig vorhanden. Doch diese Revolution beschleunigt nicht nur das Tempo, mit dem wir neue Informationen generieren. Sie bringt auch laufend neue Technologien hervor, die die Art und Weise verändern, wie wir Daten produzieren, sammeln, verarbeiten, speichern und analysieren.
Mit Millionen neuen Datensätzen jeden Tag, der Industrie 4.0 und dem Internet der Dinge am Horizont, ist es wichtiger denn je, einen strategischen Ansatz für Big Data zu entwickeln. Aus einem grossen, undurchsichtigen Berg von Zahlen und Informationen umsetzbare Erkenntnisse herauszuziehen, ist heute der Schlüsselfaktor für ein erfolgreiches datenbasiertes, unternehmerisches Handeln. Unternehmen können sich einen echten Wettbewerbsvorteil verschaffen, wenn sie vorhandene Daten in Echtzeit analysieren, verstehen und verwalten. Big Data und Technologien zur Verarbeitung von Streaming-Daten spielen bei der Erreichung dieser Ziele eine entscheidende Rolle.
Was sind Streaming-Daten?
Diverse Datenquellen wie smarte Geräte, Sensoren und vernetzte Systeme erzeugen kontinuierlich Daten. Diese sogenannten Streaming-Daten können mithilfe von Technologien aus unterschiedlichen Quellen zusammengeführt und in eine Plattform eingespeist und verarbeitet werden. Dadurch werden sie für Analysen nutzbar, die es Unternehmen wiederum ermöglichen, diverse Einblicke in ihre Organisation zu erhalten und wertvolle Erkenntnisse daraus zu ziehen.
Um den Vorteil von Streaming-Verarbeitung zu verstehen, ist es hilfreich, einen Blick auf den Unterschied zwischen Stapelverarbeitung und Stream-Verarbeitung anzuschauen: Die Stapelverarbeitung ist eine effiziente Methode, um grosse Datenmengen zu verwerten, allerdings nicht, wenn diese noch in Bewegung sind. Im Gegensatz dazu ermöglicht uns die Stream-Verarbeitung, die Daten und Informationen in Echtzeit zu analysieren und sofort Einblicke zu erhalten.
Die Verarbeitung von Streaming-Daten bei Porsche
Bei Porsche werden Data-Streaming-Technologien in verschiedenen Bereichen eingesetzt, unter anderem im Verkauf, der Produktion und Lieferkette sowie im Bereich Connected Cars und elektrische Ladeinfrastruktur. So sind beispielsweise im Porsche Taycan zahlreiche Sensoren vorhanden, die kontinuierlich die interne und externe Umgebung des Fahrzeugs untersuchen und „abtasten“. Durch moderne Data-Streaming-Technologien kann das vernetzte Fahrzeug diese Informationen sofort verarbeiten und den Fahrer in Echtzeit unterstützen.
Dabei unterteilen sich die gesammelten Daten in Verhaltens- und Diagnosedaten:
- Verhaltensdaten werden durch die Nutzung des Fahrzeugs durch den Fahrer oder als Reaktion darauf erzeugt. Zum Beispiel werden telematische Daten wie Geschwindigkeit, Lenkung, Bremsung und kraftstoffsparendes Fahren in ein sicheres und zentrales System eingespeist. Durch einen intelligenten Machine Learning-Algorithmus werden diese Daten ausgewertet, um zum Beispiel Warnmeldungen zu senden, wenn das System Müdigkeit beim Fahrer erkennt
- Diagnostische Daten ergeben sich aus dem Zugriff auf die Daten des Fahrzeugs selbst. Dies kann beispielsweise Herstellern ermöglichen, den Zustand eines Fahrzeugs zu beurteilen und die Fahrer zu benachrichtigen, wenn ein Service erforderlich ist.
Neben der Entwicklung einer Data-Streaming-Strategie für Porsche ist es meine Aufgabe als Plattformmanager, eine hochverfügbare, sichere, zentrale Data-Streaming-Plattform aufzubauen. Wir haben sie „Streamzilla“ genannt.
„Streamzilla“: der zentrale Ort für alle Daten
„Streamzilla“ soll die zentrale Anlaufstelle für alle Data-Streaming-Anforderungen innerhalb von Porsche werden. Es ist ein intern verwalteter Service, mit dem unsere IT-Produktteams diverse Anwendungen bauen und ausführen. Die Teams profitieren von der geringen Latenz, dem hohen Durchsatz und der Fehlertoleranz des dezentralen Systems von Apache Kafka. Wir verwenden ausserdem Apache NiFi zur Automatisierung und Verwaltung des Datenflusses zwischen Systemen. Hierbei handelt es sich um hoch skalierbare Open-Source-Plattformen, die Data Streaming und ihre Anwendungen in Echtzeit ermöglichen.
Warum brauchen wir „Streamzilla“?
Mit „Streamzilla“ können die Produktteams von Porsche eingebaute Apache Kafka & Apache NiFi- APIs nutzen, um Data Lakes einzupflegen und Änderungen von und an Datenbanken zu übertragen sowie für Machine Learning und Analysen.
Apache Kafka & Apache NiFi-Cluster einzurichten und zu verwalten sind eine echte Herausforderung. Wenn einzelne Teams diese komplexen Cluster allein betreiben, bringt das viele Aufgaben und hohe Aufwände mit sich – sie müssen zum Beispiel Server bereitstellen, eine verteilte Open-Source-Technologie manuell konfigurieren, Server bei Ausfall ersetzen sowie alle nötigen Server-Patches und Upgrades orchestrieren. Ausserdem müssen sie sicherstellen, dass Daten dauerhaft gespeichert und gesichert werden, Überwachungs- und Alarmeinrichtungen einrichten und sorgfältig planen, um Ereignisse zur Unterstützung von Laständerungen zu skalieren.
„Streamzilla“ ermöglicht uns, Anwendungen für den Live-Betrieb anzubinden, ohne dass sie selbst Fachwissen zu Open-Source-Infrastrukturen benötigen. Das bedeutet, dass sie weniger Zeit für die Verwaltung der Infrastruktur und mehr Zeit für die Entwicklung von Applikationen aufwenden können, die den Service im Fahrzeug oder die Echtzeit-Navigation verbessern, die Kraftstoffeffizienz steigern, die Predictive Maintainance vorantreiben, Fahrzeuge in 5G-WiFi-Hotspots umwandeln, die automatische Fahrerassistenz verfeinern und – am wichtigsten – den Kunden ein Lächelns ins Gesicht zaubern, wenn sie ihren Porsche fahren.
Info
Autor: Sridhar Mamella, Plattformmanager für Daten-Streaming bei Porsche.
Fotograf: Richard Pardon
Dieser Beitrag wurde vor dem Start des Porsche Newsroom Schweiz in Deutschland erstellt. Die genannten Verbrauchs- und Emissionsangaben richten sich daher nach dem Prüfverfahren NEFZ und wurden unverändert übernommen. Alle in der Schweiz gültigen Angaben nach WLTP-Messzyklus sind unter www.porsche.ch verfügbar.
