Dr. Pascal Birnstill

Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
pascal.birnstill@iosb.fraunhofer.de

Robin Weitemeyer

Hochschule Karlsruhe
robin.weitemeyer@h-ka.de

Nachvollziehbare KI-Entscheidungen

Künstliche Intelligenz (KI) konnte in jüngerer Vergangenheit, besonders dank tiefer neuronaler Netze, immer mehr Erfolge verzeichnen. So genannte Deep-Learning-Verfahren stellen aufgrund der Komplexität ihrer Modelle jedoch häufig eine Black-Box dar – die Ergebnisse dieser Verfahren sind bekannt, ihr Zustandekommen jedoch nur bedingt. Forschenden und Entwickler:innen wird daher häufig die Frage gestellt, inwieweit eine KI verlässlich agiert. In vielen Einsatzgebieten wie der Produktion oder dem autonomen Fahren sind derartige Unsicherheiten nicht akzeptabel. Der Mensch ist in diesen Bereichen direkt von den KI-Entscheidungen betroffen, sodass ihre Genauigkeit und Stabilität gewährleistet sein muss.

Durch KARL sollen existierende Methoden der erklärbaren KI auf spezifische Bereiche des KI-Einsatzes in der Arbeitswelt übertragen und untersucht werden. Ein Fokus soll dabei auf Systemen liegen, welche die wissensbasierte und datengetriebene KI vereinen (so genannte hybride KI-Systeme) oder deren Ausgabe in Form eines Entscheidungsvorschlags direkt von menschlichen Entscheider:innen entgegengenommen wird.

Insbesondere bei der Entscheidungsunterstützung kommt der Gestaltung von Benutzer:innenschnittstellen eine hohe Relevanz zu, da diese einen großen Einfluss auf das Vertrauen, die Beanspruchung durch und die Akzeptanz gegenüber KI-Systemen haben. Hier sollen bestehende Gestaltungsrichtlinien in KARL verwendet und um neue Erkenntnisse erweitert werden. Diese adressieren unter anderem die folgenden Fragen:

  • Welche Informationen werden aus dem KI-unterstützten Entscheidungsprozess benötigt, um für die Anwender:innen verständliche Erklärungen zu erzeugen?
  • Wie lassen sich die erzeugten Erklärungen einem Menschen verständlich und nachvollziehbar vermitteln?
  • Welcher Umfang und welche Regelmäßigkeit der Informationsvermittlung ist nötig, um Vertrauen in das System zu schaffen?
  • In welchem Maße sollte und kann der Mensch die Kontrolle über das KI-System beibehalten?