Das musst du wissen

  • Immer umfangreichere Assistenzsysteme nehmen Piloten im Cockpit einen Teil ihrer Arbeit ab.
  • In untypischen Situationen liefern sie aber so viele Informationen, dass Piloten oft überfordert sind.
  • Ein neues KI-System mit Gesten- und Blick-Erkennung soll die Interaktion von Mensch und Maschine intuitiver gestalten.

Es ist Nacht, es stürmt, die Sichtverhältnisse sind mies. Eine Landung steht an. Die Instrumente im Cockpit blinken: Höhe, Geschwindigkeit, Neigung, Triebwerkzustand. Auf den Piloten prasseln unzählige Informationen ein. Ist er müde, abgelenkt oder einfach überfordert, wird vielleicht schnell mal etwas übersehen – mit potenziell schwerwiegenden Folgen.

Moderne Assistenzsysteme im Cockpit sollen Piloten einen Teil ihrer Arbeit abnehmen. Paradoxerweise liefern diese Systeme aber in heiklen Situationen so viele Infos, dass Piloten oftmals überfordert sind.

Deshalb arbeiten Aviatik-Experten und Forschende unter der Koordination des Schweizer Forschungszentrums CSEM nun daran, die Interaktion zwischen Mensch und Maschine im Cockpit zu verbessern. Peggasus heisst das Projekt, das das Leben von Piloten mit Hilfe von Künstlicher Intelligenz (KI) erleichtern soll.

Maschine soll Mensch nicht bevormunden

Unter anderem soll der virtuelle Assistent die Piloten und Pilotinnen stets im Auge behalten und erkennen, ob sie müde, unkonzentriert oder verwirrt sind. Mithilfe einer Blickverfolgungs-Technologie der ETH Zürich merkt er auch, ob ein Pilot in einer bestimmten Situation die richtigen Instrumente ansieht.

Das Peggasus-Projekt greift auf eine Technologie der ETH Zürich zurück: Ein Eye-Tracking-System, welches in einem früheren Projekt entwickelt wurde. Das soll unter anderem in der Ausbildung von Swiss-Piloten zum Einsatz kommen.

Krallt sich der virtuelle Copilot bei einem überforderten Kapitän einfach den Steuerknüppel? Nein, betont Andrea Dunbar von CSEM: «Das System soll den Piloten mental entlasten, damit er seinen Job richtig machen kann», sagt die Leiterin Embedded Systems. Es könne nicht einfach so die Kontrolle übernehmen. «Der Mensch hat immer das letzte Wort.»

Und wenn der Pilot bösartige Absichten hat? Wie der deutsche Copilot, der im März 2015 eine Germanwings-Maschine bewusst in den französischen Alpen abstürzen liess. «Man könnte dem System beibringen, verdächtiges Verhalten zu erkennen. Es könnte dann den anderen Mitgliedern der Crew eine Warnung schicken», sagt Dunbar.

Mit unzähligen Fotos gefüttert

Damit die KI Gemütszustände und Gesten identifizieren kann, muss sie den Menschen erst besser kennenlernen. Das geschieht mittels Deep Learning: Man füttert ihr unzählige Fotos von bestimmten Situationen, die sie dann Stück für Stück besser versteht. Mit der Zeit erkennt sie Gesten oder Gesichtsausdrücke auch in schlechten Lichtverhältnissen und aus verschiedenen Perspektiven. Das war für ältere Systeme unmöglich.

Ebenfalls wird die optimale Form der Interaktion gesucht: Wie soll das System eine Pilotin informieren, die in einer brenzligen Situation das falsche Panel anschaut? Und was ist die intuitivste Art für Piloten, auf das Computer-Feedback zu antworten? «Wisch-Bewegungen und Daumen hochstrecken sind Beispiele für natürliche Gesten. Sie sind effizient und ermöglichen es Piloten, sich auf Wichtigeres zu konzentrieren», sagt Andrea Dunbar.

Richtig spannend wird es in Kombination mit der Blickverfolgungs-Technologie: Dabei erkennt das System, welches Instrument die Pilotin gerade anschaut und weiss darum, worauf sich ihre Handbewegung bezieht.

Diese Dinge werden von Piloten der Swiss, die ebenfalls an Peggasus beteiligt ist, im Flugsimulator getestet und ausgearbeitet. Das Projekt hat Anfang Jahr begonnen und läuft voraussichtlich bis Januar 2021. Bevor virtuelle Copiloten aber in der Luftfahrt zum Einsatz kommen, wird noch weitere Forschung nötig sein.

Was ist Peggasus?

Peggasus (Pilot Eye Gaze and Gesture tracking for Avionics Systems using Unobtrusive Solutions) ist ein Projekt im Rahmen von Clean Sky 2, einer gemeinsamen Technologie-Initiative von europäischen Luftfahrtsgesellschaften, die von der EU-Kommission unterstützt wird.
Das gemeinsame Ziel ist, Technologien zu entwickeln, welche die Auswirkungen der Luftfahrt auf die Umwelt reduzieren und die Konkurrenzfähigkeit der Europäischen Industrie verbessern.

Diesen Beitrag haben wir ursprünglich für nau.ch geschrieben.
Diesen Beitrag teilen