Fahrdaten in prüffähige Szenarien umwandeln

Filed under Allgemein

KI ermöglicht szenariobasierte Validierung für automatisiertes Fahren

Bild 1: High-level-Workflow

Auf dem Weg zum automatisierten Fahren gehört die Gewährleistung von Verifizierung und Validierung zu den am intensivsten diskutierten Themen, insbesondere die szenariobasierte oder datengestützte Validierung. Die Erstellung realistischer Szenarien ist dabei eine zentrale Herausforderung.

Ananth Kulai Laxminarayana

Um die Herausforderung äußerst wirklichkeitsnah erstellter Szenarien zu meistern, hat KPIT einen Prozess zur Umwandlung von Fahrdaten in prüffähige Szenarien geschaffen, damit qualitativ hochwertige und genaue Tests durchgeführt werden können. Die tatsächlichen Testfahrdaten werden einer Analyse unterzogen und interessante Ereignisse für die automatisierten Fahrfunktionen abgeleitet. Diese Ereignisse werden dann weiterverarbeitet und in synthetische Szenarien umgewandelt. KI-Technologien wie SLAM kommen zur Identifizierung der Fahrzeugbewegungen und Deep-Learning-Algorithmen bei der Erkennung relevanter Verkehrsteilnehmer und ihrer Klassifizierung sowie bei der Bewegungseinschätzung zum Einsatz.

Nachfolgend werden die verschiedenen Prozesse und KI-Techniken näher betrachtet, mit denen Szenarien hoher Qualität extrahiert und abgeleitet werden, die die V&V-Abdeckung für das automatisierte Fahren zusammen mit umfassenden Anwendungsfalltests sicherstellen.

Workflow auf hoher Ebene

Die Fahrprotokolle werden analysiert, um kritische oder interessante Ereignisse festzustellen, die bei realen Testfahrten aufgetreten sind. Die festgestellten kritischen Ereignisse werden dann verarbeitet, um synthetische Szenarien zu erstellen oder abzuleiten, die für eine Validierung durch Simulation (datengestützte Validierung) herangezogen werden können (Bild 1).

Synthetische Szenarien aus realen Straßenfahrdaten erstellen

Um synthetische Szenarien aus realen Straßenfahrdaten zu erstellen, sind Arbeitsschritte (Bild 2) wie Ereignisauswahl und -extraktion, Datenfilterung, Eingangsdatenverarbeitung, Datenanalyse oder Szenenverständnis, Szenenrekonstruktion oder Szenarienmodellierung notwendig, die nachfolgend beschrieben werden.

Ereignisauswahl und -extraktion

Bei diesem ersten Schritt geht es um die Feststellung kritischer Ereignisse. Die Fahrdaten werden einem komplexen Algorithmus unterzogen, der die Daten zur Identifizierung kritischer Ereignisse auswertet, die während der Fahrt aufgetreten sind. Beispiele dafür sind eine Funktion, die sich nicht verhalten hat wie erwartet, eine zu spät oder zu früh aktivierte Funktion oder eine verspätete Bremsung.

Datenfilterung

Sobald das Ereignis festgestellt ist, besteht der nächste Schritt darin, die für die Verarbeitung notwendigen geeigneten und relevanten Daten zu filtern. Die benötigten Datenmengen aus allen erforderlichen Eingangsquellen – beispielsweise Fahrzeug- oder Sensorprotokolle – werden extrahiert.

Eingangsdatenverarbeitung

Die Daten werden auf ihre Korrektheit und die Synchronisation zwischen verschiedenen Eingangsdatenströmen überprüft. Wird festgestellt, dass die Daten nicht synchron sind, werden verschiedene Methoden zum Datenabgleich angewendet. Beispiel: Zu Beginn der Fahrt schaltet der Fahrer den Scheibenwischer an, was im Video aufgezeichnet wird. Der Zeitstempel wird dann mit dem Scheibenwischerstatussignal vergleichen und die Datenströme werden an die relevanten Zeitstempel angepasst und die Daten somit synchronisiert.

Datenanalyse oder Szenenverständnis

Das ist der kritischste Schritt, bei dem verschiedene Parameter der Testfahrzeuge, wie Geschwindigkeit, Position zur Straße oder Gierwinkel und der Fahrzeuge im Straßenverkehr, zum Beispiel Geschwindigkeit, relativer Abstand zum untersuchten Fahrzeug, Position oder Richtung sowie Straßenparameter – Anzahl der Spuren, eventuelle Kreuzungen – zur weiteren Verarbeitung abgeleitet werden. Die Methode zur Ableitung der Parameter hängt in erster Linie von der Verfügbarkeit der Eingangsdaten ab. Im Allgemeinen wird dieser Prozess anspruchsvoller, wenn die Eingangsdaten sehr begrenzt sind. In solchen Fällen wird auf KI-Techniken zurückgegriffen.

Szenenrekonstruktion

Die aus dem vorherigen Schritt abgeleiteten Parameter werden kategorisiert und in einen Datenstrom segmentiert, der für die Szenenkonstruktion nach offenen Standards erforderlich ist (OpenDrive und OpenScenario). Immer mehr Unternehmen migrieren auf offene Standards, da diese den Vorteil bieten, beliebige Simulatoren mit minimalen Modifikationen am Szenarienmodell einzusetzen. OpenScenario ist ein Standardformat zur Definition von Fahrzeugmanövern und OpenDrive ist ein Standardformat zur Definition der Straßeninfrastruktur.

Szenarienmodellierung

Das ist der Prozess, bei dem die Daten des offenen Standards für Ausgaben des oben genannten Arbeitsschritts generiert und zum erforderlichen Simulator kompatibel gemacht werden. Die Daten des offenen Standards sind kompatibel mit allen kommerziell verfügbaren Simulatoren sowie Open-Source-Simulatoren, die das Szenario verwenden und visualisieren.

Erforderlicher Datentyp zum Ableiten von Szenarien

Daten aus verschiedenen Quellen sind erforderlich, um Szenarien aus realen Daten abzuleiten, wie Tabelle 1 verdeutlicht.

Umsetzung von KI-Techniken

Die Methodik für die Szenenableitung hängt von der Verfügbarkeit der Eingangsdaten ab. Wenn die meisten in Tabelle 1 aufgeführten erforderlichen Eingaben verfügbar sind, kann der Prozess einfach und hochautomatisiert werden (Bild 3). Mithilfe von Parsern und Automatisierungsskripten lassen sich die Szenarien aus den realen Antriebsdaten in synthetische Szenarien umwandeln.Im Allgemeinen ist das jedoch nicht der Fall und die vorliegenden Eingaben sind begrenzt, sodass sich der Prozess komplexer gestaltet. Hier hilft KI bei der Rationalisierung des Prozesses.

Ein Beispiel, in dem nur Videodaten als Eingangsquelle verfügbar sind, jedoch keine anderen Daten wie Sensor- oder Fahrzeugprotokolle, verdeutlicht das. In diesem Szenario kann eine KI-Technik wie die simultane Lokalisierung und Zuordnung (Simultaneous Localization and Mapping, SLAM) zur Ableitung von Parametern der untersuchten Fahrzeuge eingesetzt werden. SLAM verwendet einen Referenzpunkt im vorliegenden Plan, um eine Karte einer unbekannten Umgebung zu erstellen oder zu aktualisieren, während gleichzeitig der Standort eines Agenten, zum Beispiel eines Testfahrzeugs, in dieser Karte nachverfolgt wird. Mit SLAM wird man in der Lage sein, das Testfahrzeug nachzuverfolgen und seine Standort- und Positionsdaten abzuleiten. SLAM unterliegt auch einigen Einschränkungen, das heißt, es kann nicht für längere Datensätze verwendet werden, weil dann die Schätzfehler größer werden. Um das zu vermeiden, ist der Datensatz segmentiert, um kleinere Segmente zu berechnen und dann mit minimalen Rechenfehlern wieder zusammenzusetzen.

Nachdem das Problem der Testfahrzeugschätzung gelöst wurde, besteht die nächste Herausforderung in der Ableitung von Verkehrsparametern und Straßengeometrie. Das kann mit einem auf Deep Learning (DL) basierenden Algorithmus zur Ableitung von Verkehrsparametern wie Position, Klassifizierung oder Geschwindigkeit und Straßenparametern wie Spurinformationen gemildert werden. Ein gut trainierter DL-Algorithmus wird auf dem Video ausgeführt, um die erforderlichen Verkehrsteilnehmer und Straßeninformationen zu identifizieren.

Alle diese Parameter werden dann den entsprechenden Tags in OpenDrive und OpenScenario mit richtigen Transformationen zugeordnet, um eine Szenariodatei zu generieren (Bild 4). Diese Szenariodatei wird dann in einem Simulator verwendet, um das Szenario zu visualisieren. Mit der Verfügbarkeit der für die Datenerhebung verwendeten Kamerakonfigurationsparameter (Intrinsic und Extrinsic) lassen sich Szenarienmodelle mit hohem Genauigkeitsgrad generieren (Bild 5).

Die oben genannten Techniken helfen bei der Generierung hochwertiger realistischer Szenariomodelle für reale Straßendaten, die für die Validierung zum Einsatz kommen können. Als Validierungstechnik lassen sich Closed-Loop-Tests eines AD-Stacks oder einer AD-Funktion verwenden.

Zusammenfassend lässt sich sagen, dass die Umsetzung dieser KI-Techniken für die Szenarienerstellung aus realen Daten bei der Erstellung qualitativ hochwertiger Szenarien hilft und zusätzlich mehrere Vorteile mit sich bringt wie:

Zeitersparnis von bis zu 50 Prozent durch Automatisierung,

Erstellung realistischer Szenarien mit begrenzten Datensätzen, beispielsweise nur Kameradaten

präzise Tests von Millionen von Szenarien, sodass die erforderliche Abdeckung gewährleistet ist.

Insgesamt werden die aus diesen Techniken generierten hochwertigen Szenarien dazu beitragen, den Bedarf an Straßentests zu reduzieren, da die meisten Regressionstests für kommende AD-Stacks und -Funktionen in der Simulationsumgebung durchgeführt werden können. (eck)

www.kpit.com

• • 
    Bild 1: High-level-Workflow
• • 
    Bild 2: Schrittweiser Arbeitsablauf des Prozesses
• • 
    Tabelle 1: Eingangsdatenanforderung
• • 
    Bild 3: Workflow der Szenenerstellung auf Basis der Datenverfügbarkeit
• • 
    Bild 4: Beispielbild des Open Drive-Formats (XODR)
• • 
    Bild 5: Beispielbild des Open Scenario-Formats (XOSC)

Weiterführende Links

• Originalmeldung von KPIT Technologies GmbH
• Alle Meldungen von KPIT Technologies GmbH