XAI-Assistent

Modellbasierte Methoden erzeugen Erklärungen direkt aus einem KI-Modell. Im Falle von White-Box-Modellen kann hierzu das ursprüngliche Modell genutzt werden (interpretierbare KI). Bei komplexeren Black-Box-Modellen ist es hingegen notwendig zunächst ein neues interpretierbares Ersatzmodell (Surrogat-Modell) zu erstellen (Post-hoc-Methoden).

Der Vorteil eines von sich aus interpretierbaren White-Box-Modells ist die inhärente Modelltreue und vollständige Nachvollziehbarkeit der KI-Entscheidungsfindung. Da die Erklärungen direkt aus dem ursprünglichen Modell erzeugt werden, bilden diese auch das korrekte KI-Verhalten nach.

Bei Black-Box-Modellen (wie bspw. neuronalen Netzen) muss zunächst ein interpretierbares Surrogat-Modell erstellt werden, welches dann erklärt werden kann. XAI-Methoden aus dieser Kategorie sind somit nicht zwangsläufig modelltreu. Wie gut das Surrogat-Modell das ursprüngliche Modellverhalten nachbildet, hängt von seiner eigenen Komplexität ab und wie stark man es dahingehend optimiert, die gleichen Ausgaben wie das ursprüngliche Modell zu generieren.

Merkmalsbasierte Methoden erzeugen Erklärungen, indem sie den Einfluss der Eingabemerkmale auf die KI-Ausgaben untersuchen. Einer Person kann so aufgezeigt werden, wie relevant die einzelnen Merkmale für das gesamte KI-Verhalten oder auch für nur eine einzelne KI-Vorhersage sind. Dies können Nutzende mit dem eigenen Vorwissen vergleichen, um die Sinnhaftigkeit des KI-Verhaltens zu bewerten.

Der Einfluss der Eingabemerkmale kann dabei auf zwei Weisen bestimmt werden: basierend auf Perturbationen oder basierend auf Gradienten. Da perturbationsbasierte Methoden die Eingabemerkmale abändern und aufgrund der beobachtbaren Änderung der KI-Ausgabe Erklärungen erzeugen, tendieren diese Methoden zu einem hohen Rechenaufwand. Gradientenbasierte Methoden verfolgen, basierend auf Modellinformationen, die Signale durch die Modellarchitektur von der Ausgabe zur Eingabe zurück. Sie sind vergleichsweise effizient zu berechnen, setzen jedoch Wissen über die Modellinformationen und Zugriff auf die Modellarchitektur voraus.

Beispielbasierte Methoden erzeugen Erklärungen anhand relevanter Instanzen. Solche Instanzen können entweder aus einem Datensatz extrahiert oder neu erzeugt werden. Instanzen können interessant sein, wenn sie ähnlich zu einem betrachteten Fall sind, jedoch in einer andere KI-Vorhersage resultieren. Alternativ können auch Instanzen aus dem Trainingsdatensatz bestimmt werden, die für eine KI-Vorhersage besonders einflussreich waren.

Eine Person kann diese Instanzen nutzen, um sie mit aktuellen KI-Ausgaben zu vergleichen und somit die Sinnhaftigkeit und Konsistenz des KI-Verhaltens abzuschätzen.

Eine Unterkategorie von beispielbasierten Methoden bilden kontrafaktische Erklärungen. Dies sind Erklärungen in der Form „Wenn …, dann …“. Beispielbasierte Erklärungen ähneln der Art und Weise, wie Menschen erklären und können daher für die Erzeugung leicht verständlicher Erklärungen hilfreich sein.

Im Gegensatz zu anderen XAI-Ansätzen konzentrieren sich kontrafaktische Methoden darauf, konkrete Gegenbeispiele zu den gelieferten Modellentscheidungen zu generieren. Diese verdeutlichen, wie eine Modellentscheidung verändert werden kann.

Der Hauptunterschied zu anderen XAI-Ansätzen besteht darin, dass kontrafaktische Erklärungen aufzeigen, wie eine Entscheidung durch minimale Veränderungen der Eingabedaten beeinflusst werden kann. Dies ermöglicht, das Modellverhalten besser zu verstehen, indem konkrete “Wenn …, dann …”-Szenarien präsentiert werden. Typischerweise generieren kontrafaktische Methoden alternative Eingabeinstanzen, die zu einer anderen Modellentscheidung führen.

Gute kontrafaktische Erklärungen versuchen, nur einzelne Merkmale zu ändern und liefern eine Auswahl möglichst unterschiedlicher Gegenbeispiele. Dies ermöglicht, den Einfluss einzelner Merkmale auf die Modellentscheidung zu demonstrieren. Solche konkreten Gegenbeispiele bieten Anwendenden und Entwickler:innen eine intuitive Einsicht in die Funktionsweise des Modells.

Die Klassifikationswahrscheinlichkeit kann für Benutzende eine relevante Information darstellen, um zu beurteilen, wie sicher sich die KI bei ihrer Vorhersage ist. Dadurch kann eine Person besser abschätzen, ob sie der KI-Empfehlung vertraut oder diese ablehnt.

Numerische Werte können dabei jedoch verwirrend sein und zu einer Fehlinterpretation führen. Was die Klassifikationswahrscheinlichkeit im Einzelfall genau aussagt, kann vom Anwendungskontext abhängen und insbesondere von Menschen ohne Fachkenntnisse schnell über- bzw. unterbewertet werden. Eine bessere Alternativdarstellung könnte eine Ordinalskala in natürlicher Sprache sein (z.B. von „unsicher“ bis „sehr sicher“). Dadurch kann dem Benutzenden die Interpretation der Zahlenwerte abgenommen werden.

Generell ist zu beachten, dass die von Modellen angegebenen Klassifikationswahrscheinlichkeiten eher eine Ähnlichkeit zum Datensatz widerspiegeln und keine Entscheidungssicherheit. Modellangaben wirken daher oft übermäßig „selbstsicher“.

Lokale Erklärmethoden zeichnen sich durch ihre Fokussierung auf die Erklärung von Modellentscheidungen für individuelle Instanzen aus. Sie stehen im Gegensatz zu globalen Methoden, die das allgemeine Modellverhalten beleuchten.

Lokale XAI-Methoden zielen darauf ab die Gründe für eine einzelne Entscheidung oder Vorhersage eines Modells zu erklären und betrachten dabei meist nur einen einzelnen Datenpunkt und seine direkte Nachbarschaft. So wird beispielsweise ergründet, welche Merkmale in der unmittelbaren Umgebung eines bestimmten Datenpunktes den größten Einfluss auf die Modellentscheidung haben.

Lokale Erklärungen können aber auch Merkmale gewichten oder relevante Bereiche im Eingaberaum hervorheben und diese anschaulich in Bildern für Nutzende darstellen. Durch diese fokussierte Betrachtung einzelner Instanzen ermöglichen lokale XAI-Methoden eine präzisere und situationsbezogene Erklärung von Modellentscheidungen, was besonders bei individuellen Entscheidungsszenarien von Bedeutung ist.

Globale Erklärmethoden zeichnen sich durch ihre Fokussierung auf umfassendere Einblicke in die Funktionsweise des gesamten KI-Modells aus. Im Gegensatz dazu stehen lokale Ansätze, die sich auf individuelle Instanzen konzentrieren.

Der Hauptunterschied besteht darin, dass globale XAI-Methoden darauf abzielen, allgemeine Muster, Trends und Merkmalsgewichtungen über den gesamten Datensatz oder Merkmalsraum hinweg zu analysieren. Globale XAI-Methoden untersuchen die Gesamtstruktur des Modells. Dies kann beinhalten, wie bestimmte Merkmale über den gesamten Datensatz hinweg gewichtet werden, welche Strukturen in den Schichten eines neuronalen Netzwerks besonders relevant sind oder wie verschiedene Klassen oder Ergebnisse voneinander unterschieden werden.

Diese Ansätze tragen dazu bei, ein umfassendes Verständnis der Modelllogik zu entwickeln.

Eines der Formate, in denen Erklärungen zur Verfügung gestellt werden können, ist die visuelle Darstellung. Hierbei werden visuelle Elemente genutzt, um das Modell und die Schlussfolgerungen hinter der Modellentscheidung zu beschreiben.

Visuelle Darstellungsformate gelten als gute Wahl, um komplexere Zusammenhänge darzustellen. Liniendiagramme eignen sich beispielsweise für die Darstellung von Rohdaten, z.B. Zeitreihendaten. Modellstrukturen lassen sich gut mithilfe von Node-Link-Diagrammen erklären.

Eine populäre Realisierung bei der Aufgabe der Klassifikation von Bildinhalten ist die sogenannte Heatmap (auch: Attention map). Sie wird beispielsweise genutzt, um anzuzeigen, welches Bildpixel wie relevant für die Modellentscheidung war. Dazu wird ein Farbschema definiert, das die Pole „relevant“ und „nicht relevant“ mit Zwischenstufen in unterschiedlichen Farben kodiert. Die ausgegebene Heatmap färbt dann jeden Pixel eines Bildes so ein, dass die Farbe seine Relevanz für die Modellentscheidung repräsentiert. Die Ausgabe präsentiert dann das Eingabebild mit transparent überlagerter Heatmap.

Visuelle Formate gelten bei modell-agnostischen Methoden als die geeignetste, weil intuitivste Darstellung für Erklärungen. Benutzungsschnittstellen für Erklärungen nutzen häufig eine Kombination von visuellen Elementen und anderen Erklärungskomponenten.

Eines der Formate, in denen Erklärungen zur Verfügung gestellt werden können, ist die textuelle Darstellung. Hierbei werden textuelle Elemente wie einzelne Begriffe, Texte oder natürliche Sprache genutzt, um das Modell und die Schlussfolgerungen hinter der Modellentscheidung zu beschreiben.

Textuelle Formate haben den Vorteil, dass sie für eine Vielzahl von Erklärmethoden eingesetzt werden können. Während früher oft starre, Schablonen-basierte Sätze genutzt wurden, können mittlerweile deutlich leistungsstärkere Sprachmodelle genutzt werden, was die Formulierungen deutlich eleganter macht. Durch die Verwendung von Sprachmodellen ist auch eine direkte Interaktion mit dem Erklärsystem in natürlicher Sprache möglich.

Textuelle Formate gelten als besonders verständlich und intuitiv, da sie kein Vorwissen voraussetzen. Daher sind sie insbesondere geeignet, wenn die Nutzenden nur laienhaftes Wissen bezüglich KI-Systemen und/oder der Anwendungsdomäne haben.

Bietet das KI-Systeme interaktive Elemente, mit denen die Benutzenden den Informationsgehalt sowie die Darstellungsart der Erklärungen in einem Interaktionsdialog verändern können, so kann die Verständlichkeit der Erklärungen verbessert werden.

Vergleichbar mit einem Gespräch, in dem eine Person Rückfragen stellen kann, lassen sich so bei Bedarf zusätzliche Informationen zu einer Erklärung oder alternative Erklärungsansätze hinzufügen. Dadurch können Benutzende die Benutzungsoberfläche so individualisieren, dass diese für sie optimal verständliche Erklärungen erhält.

Da die Umsetzung interaktiver Elemente ggf. einen erheblichen Mehraufwand bedeutet, ist es wichtig im Voraus zu evaluieren, welcher Grad an Interaktivität und Individualisierbarkeit benötigt wird.

Die Komplexität einer Erklärung wird insbesondere dann relevant, wenn es sich um einen zeitkritischen KI-Anwendungsfall handelt. Falls die KI-Entscheidung in kurzer Zeit von einer Person nachvollzogen und beurteilt werden soll, darf die Erklärung nur so komplex sein, dass man sie in der gegebenen Zeit vollständig erfassen kann.

Gleichzeitig muss die Erklärung jedoch alle notwendigen Informationen liefern, die für eine fundierte Entscheidungsfindung notwendig sind. Es ist daher wichtig, dass für den Anwendungsfall richtige Ausmaß an Komplexität der Erklärungen zu finden. Die ideale Komplexität muss im Entwicklungsprozess in Nutzerstudien evaluiert werden, da sie erheblich vom Vorwissen und den Kompetenzen der Personen abhängt.

Erklärungen können je nach verwendeter Erklärmethode die Eingabemerkmale eines KI-Modells, die innere Logik des KI-Systems oder zumindest von Teilen davon sowie Dateninstanzen aus dem Trainingsprozess offenlegen. Unternehmen müssen sich daher bewusstmachen, welche dieser Informationen sie durch Erklärungen nach außen preisgeben und welche davon aus Gründen des Betriebsgeheimnisses oder des Datenschutzes nicht veröffentlicht werden sollen oder dürfen. Dies muss insbesondere geprüft werden, falls die Erklärungen einer unternehmensexternen Person bereitgestellt werden.