INSIGHTS Stellungnahmen

By Julian Gaberle, 06/05/2021

Systeme mit künstlicher Intelligenz („KI“) sind weit verbreitet – von Empfehlungssystemen im Online-Handel bis hin zu intelligenter Navigation und Spielen. KI wird jedoch zunehmend auch in weniger transparenten Bereichen wie Verteidigung und Überwachung oder Finanzen und Bonitätsprüfung angewandt. Diese Anwendungen können zwar genaue Ergebnisse liefern, sind aber oft sehr komplex. Diese Komplexität hat Forscher:innen und politische Entscheidungsträger:innen zu der Frage veranlasst: Ist es möglich zu verstehen, wie KI funktioniert, oder ist KI eine „Black Box“?

Am 21. April veröffentlichte die Europäische Kommission den „Vorschlag für eine Verordnung zur Festlegung einheitlicher Regeln für künstliche Intelligenz“, auch „Artificial Intelligence Act“ (AIA) genannt. Der Vorschlag strebt die Schaffung eines regulatorischen Rahmens an, der KI-Innovationen ermöglicht und gleichzeitig die potenziell hohen Risiken im Zusammenhang mit KI-Anwendungen abmildert (siehe unseren früheren Blogbeitrag zur KI-Regulierung). Ein zentrales Thema des veröffentlichten Vorschlags konzentriert sich auf „[…] die Bewältigung der Undurchsichtigkeit, Komplexität, Voreingenommenheit […] bestimmter KI-Systeme“. In einem früheren Blog-Beitrag haben wir über Daten- und Modellverzerrungen geschrieben und hier zeigen wir, wie man die Modelltransparenz verbessern kann, um die „Erklärbarkeit“ von KI besser zu berücksichtigen.

Was bedeutet „Erklärbarkeit“ in diesem Zusammenhang? Die Royal Society hat fünf Schlüsseleigenschaften identifiziert, die beim Einsatz von KI-Systemen erwünscht sind:

• Interpretierbar: impliziert ein gewisses Verständnis dafür, wie die Technologie funktioniert.
• Erklärbar: bedeutet, dass ein breiterer Benutzerkreis verstehen kann, warum oder wie eine Schlussfolgerung erreicht wurde.
• Transparent: impliziert ein gewisses Maß an Zugänglichkeit zu den Daten oder dem Algorithmus.
• Vertretbar: impliziert, dass es ein Grundverständnis des Problems gibt, das für ein bestimmtes Ergebnis spricht.
• Anfechtbar: bedeutet, dass Benutzer die Informationen haben, die sie benötigen, um einer Entscheidung oder Klassifizierung zu widersprechen.

Warum ‚Erklärbare KI‘ (Explainable AI – XAI)?

Ein gewisses Maß an Erklärbarkeit oder Interpretierbarkeit ist notwendig, wenn man den Einsatz von KI-Systemen in Betracht zieht. Folgendes ist von Bedeutung:

• Den Nutzerinnen und Nutzern Vertrauen in die KI-Systeme geben. Eine weit verbreitete KI-Einführung erfordert Vertrauen, dass die Systeme gut und zum Nutzen ihrer Anwender:innen funktionieren.
• Verzerrungen überwachen, verwalten oder reduzieren. In fast allen KI-Anwendungen müssen Verzerrungen berücksichtigt werden, um sicherzustellen, dass das KI-System die beabsichtigte Leistung erbringt oder sich zumindest der zugrundeliegenden impliziten oder expliziten Verzerrungen bewusst ist. Beispielsweise beinhalten Texte, die zum Trainieren von natürlichsprachlichen Modellen verwendet werden, oft veraltete Geschlechterrollen.
• Regulatorische Standards oder politische Vorgaben einhalten. KI-Regulierungen wie etwa AIA werden die derzeitige weitreichende Freiheit der KI-Entwicklung einschränken. Sie müssen berücksichtigt werden.
• Schwachstellen absichern. Das Verständnis der Grenzen von KI-Systemen kann helfen, sich vor nachteiligen Entscheidungen zu schützen. Beispielsweise können gegnerische Angriffe auf Bildklassifizierungssysteme ein System dazu verleiten, ein willkürliches Ergebnis zu produzieren.

Die nächste Generation von KI-Systemen wird unserer Meinung nach in der Lage sein, ihr „Grundprinzip“ zu erklären, ihre Stärken und Schwächen zu charakterisieren und ein Verständnis dafür zu vermitteln, wie sie sich in Zukunft verhalten wird. Unsere Strategie, um dieses Ziel zu erreichen, ist die Entwicklung neuer oder modifizierter Machine-Learning-Techniken, die besser erklärbare Modelle hervorbringen.

Wir verfolgen eine Vielzahl von Techniken, um ein Portfolio an Methoden zu generieren, das eine Reihe von Designoptionen bietet, die den Handlungsrahmen zwischen Leistung und Erklärbarkeit abdecken, wie z. B. folgende Ansätze:

1. Störungs-Korrelationsanalyse

Für einen bestimmten Punkt von Interesse, z. B. die Preisvorhersage für eine einzelne Aktie zu einem bestimmten Datum, untersuchen wir die Auswirkungen kleiner Änderungen (Störungen) der Eingabemerkmale auf die Ausgabevorhersage des KI-Modells. Dies gibt einen Einblick in die Empfindlichkeit des Modells gegenüber Variationen in den Eingabedaten, die fehlende Werte, falsch gemeldete Fundamentalzahlen oder zuvor nicht beobachtete Marktbedingungen beinhalten können.

2. Lokales Surrogatmodell

Die Beziehung zwischen Eingängen und Ausgängen in KI-Modellen ist oft sehr komplex und nichtlinear. Wenn wir jedoch die Annahme treffen, dass in der Nähe eines bestimmten, interessierenden Punktes die Zuordnung zwischen Eingaben und Ausgaben durch ein lineares Modell vernünftig angenähert werden kann, dann können wir ein lineares Ersatzmodell anpassen, mit dem wir den Beitrag jedes Merkmals zur Ausgabe des Modells an diesem Punkt untersuchen können.

Während es für die Erklärbarkeit von KI-Modellen unerlässlich ist, die Grenzen von KI-Anwendungen zu verstehen und die daraus resultierenden Auswirkungen zu managen, ist es ebenso wichtig, eine sichere und stabile Leistung zu gewährleisten. Solche Systeme müssen die gesamte Prozesskette der KI-Entwicklung und -Implementierung berücksichtigen, einschließlich der Fragen, wie die Ziele für das System festgelegt werden, welche Daten zum Trainieren und Bewerten der Modelle verwendet werden und welche Auswirkungen dies auf den Endnutzer und die Gesellschaft im Allgemeinen hat.

Nur so kann unserer Meinung nach Vertrauen in autonome KI-Entscheidungsträger aufgebaut werden – ein entscheidender Schritt beim Aufbau nachhaltiger KI-Implementierungen.