Wenn es um künstliche Intelligenz und das Thema Deep Learning geht, dauert es nicht lange, bis jemand die Black Box erwähnt.
Mit der Black Box werden die undurchsichtigen Regeln und verschlungenen Wege bezeichnet, die ein KI-Algorithmus geht, um sich zu entscheiden. Doch wie entsteht diese Black Box? Und wo macht sie Probleme?
Wo früher sorgsam von Hand aufgestellte Modelle im Vordergrund standen, sind heute neuronale Netze am Zug. Deren Struktur ist sehr generisch und hat mit einem spezifischen Problem per se oft wenig zu tun. Ein- und dieselbe Netzarchitektur kann verwendet werden, um zum Beispiel einerseits Handschriften zu erkennen, und anderseits Hunde von Katzen zu unterscheiden. Entscheidend ist dabei nur, dass das neuronale Netz mit den entsprechenden Daten trainiert wird. Ob es einen guten Job macht oder völlig versagt, hängt davon ab, wie seine Millionen von internen Parametern gesetzt worden sind. Das Festlegen dieser Parameter ist ein iterativer Prozess und geschieht ohne direktes Einwirken des Menschen.
Mithilfe von vorhandenen Daten werden fortlaufend Parameterkombinationen getestet und deren Werte optimiert. Wenn man ab einem gewissen Punkt mit den Resultaten zufrieden ist, gilt das Netz als fertig trainiert. Ab dann kann es auf neue Daten losgelassen werden. Dieser Ansatz ist nun nicht mehr modell- sondern datenbasiert, da das neurale Netz selbst entschieden hat, welche Informationen es für nützlich befindet, um die optimalen Parameter zu finden – der Mensch gibt dies nicht vor.
Eva Schnider
Assistentin und PhD-Kandidatin an der Uni Basel
Eva Schnider ist Assistentin und PhD-Kandidatin an der Uni Basel. Sie arbeitet am DBE, dem Departement of Biomedical Engineering und forscht im MIRACLE-Project an der Schnittstelle zwischen Naturwissenschaften und Medizin. MIRACLE steht für Minimally Invasive Robot-Assisted Computer-guided LaserosteotomE und zielt darauf ab, ein Roboterendoskop für die minimalinvasive Knochenchirugie mit Laserlicht zu entwickeln.
Leider führt dieser datenbasierte Ansatz nun dazu, dass die einzelnen Parameter eines Netzes keine vorbestimmte Bedeutung mehr haben und daher chronisch schwierig zu interpretieren sind. Man endet also mit einem Algorithmus der (hoffentlich) gut funktioniert, von dem man aber nicht wirklich weiss, wie er seine Entscheidungen trifft. Willkommen in der Black Box!
Für viele Probleme im Bereich der Sprach- und Bildverarbeitung arbeiten Deep-Learning-Algorithmen ausgezeichnet und haben zum Teil die Fähigkeiten des Menschen übertroffen. Die Ergebnisse sind oft so gut, dass man ein Auge – oder auch zwei – zudrückt, wenn es darum geht, den Weg zum Resultat zu verstehen. Soll das jetzt heissen, dass wir uns einfach mit guten Resultaten aus einer Black Box zufriedengeben sollten? Natürlich nicht! Es gibt viele Gründe, weshalb die Interpretierbarkeit von Algorithmen wichtig ist. Unter anderem:
- Akzeptanz und Vertrauen: Angenommen ein Radiologe und der Algorithmus sind sich nicht einig, ob aufgrund eines MRIs eine Krankheit in Frage kommt. Während eine simple krank/gesund-Prognose wenig aufschlussreich ist, können zusätzliche Erläuterungen – wie etwa das Kennzeichnen verdächtiger Gewebestellen im MRI – hilfreich sein, um die Entscheidung des Algorithmus zu begründen und damit auch das Vertrauen in seine Entscheidung zu verstärken.
- Verantwortung: Spätestens seit Computer Fahrzeuge steuern, stellen sich schwierige juristische und ethische Fragen zur Verantwortung von Algorithmen. Wer ist Schuld, wenn ein selbstfahrendes Fahrzeug in einen Unfall verwickelt ist? Wer ist dafür haftbar? Diese Fragen lassen sich nur schwer beantworten, wenn die Entscheidungswege der steuernden Programme unbekannt sind.
- Recht auf Information: Wenn Programme den Gesundheitszustand oder die Kreditwürdigkeit einer Person beurteilen und so automatisierte Entscheidungen treffen, dann sollte diese Person erfahren dürfen, wie diese Entscheidung zu Stande kam. Dies sieht auch die neue Datenschutzverordnung der EU vor, die verlangt, dass wir «aussagekräftige Informationen über die involvierte Logik» von voll-automatisierten Entscheidungen erhalten dürfen. Auch diese Auskunft kann nur erteilen, wer seinen Algorithmus versteht.
- Machine teaching: Wir haben Computern beigebracht, wie man Schach spielt. Höchste Zeit, dass sie auch uns etwas beibringen. Wenn wir die Entscheidungsabläufe der Algorithmen entwirren, dann können wir damit auch unser Verständnis eines Problems verbessern oder ganz neue Zusammenhänge in unseren Daten entdecken.
Es gibt bereits vielversprechende Ansätze, um die inneren Zusammenhänge bestehender Netze zu visualisieren, die Black Box also mit der Taschenlampe zu durchleuchten, beispielsweise auf distill.pub. Besser wäre es aber, die Blackbox von Anfang an durch einen Glaskasten zu ersetzen und die Interpretierbarkeit gleich ins Design der Algorithmen zu integrieren. Wie das gehen soll, daran wird momentan noch fleissig geforscht. Aber die Black Box lauert noch ganz wo anders.
Open Source gegen die Black Box
Wo wissenschaftlich publiziert wird, da sollten Experimente reproduzierbar sein. Algorithmen bilden dabei keine Ausnahme. Der traditionelle Ansatz, Algorithmen und codebasierte Methoden zu teilen, bestand weitgehend darin, die Algorithmen in sogenanntem Pseudocode in wissenschaftlichen Artikeln abzudrucken.
Dieser Pseudocode besteht aus vereinfachten Anweisungen, wie etwa in einem Kochbuch, und ist sehr allgemein gehalten. Schön und gut, um sich einen groben Überblick über die Quintessenz des Programmes zu verschaffen, aber wahrlich kein Vergnügen, wenn man den Code reproduzieren möchte. Insbesondere wenn man dann feststellt, dass zur effektiven Implementierung wichtige Detailangaben plötzlich fehlen, beispielsweise bei welcher Temperatur der Backofen genau laufen soll. Und wenn es dann schlussendlich nach viel Aufwand doch nicht klappt, dann ist es schwierig abzuschätzen, ob der Fehler nun im selbstgeschriebenen Code oder im publizierten Algorithmus steckt. Also ob das Rezept nichts taugt oder ob das Essen an der Umsetzung in der eigenen Küche gescheitert ist.
Hier hat sich in der Machine-Learning-Community glücklicherweise einiges getan. Code wird nicht geheim gehalten, um andere Forschungsgruppen auf Abstand zu halten, sondern offen geteilt und publiziert, um andere dazu zu animieren, selber in diese Richtung weiter zu forschen – und dabei natürlich die Urheber zu zitieren. So kommt es, dass sich die bekanntesten Deep-Learning-Algorithmen als Open Source Projekte aus dem Web herunterladen lassen. Gleiches gilt für Benchmark-Datensätze. Für Bilder, Audio und Videos gibt es grosse öffentliche Datensammlungen, an denen sich die Leistung eines Algorithmus messen und mit anderen Methoden vergleichen lässt. Endlich muss man nicht mehr Äpfel mit Birnen vergleichen. Die fleissige Teilerei von Code und Datensätzen hat dem Forschungsfeld eine Dynamik und Geschwindigkeit verliehen, die für sich sprechen.
Eigentlich Paradox: während viele der Deep-Learning-Algorithmen noch immer eine Black Box für uns darstellen und wir nicht im Detail verstehen, wie sie funktionieren, wurde die Forschung dank ihrer Undurchschaubarkeit weitaus durchsichtiger.
