Erklärbare künstliche Intelligenz in der Störungsdiagnose: Einfluss auf menschliche Diagnoseprozesse und Diagnoseleistung

• Antragsteller: Professor Dr. Sebastian Pannasch; Professor Dr. Ronald Tetzlaff
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 468325352

Die Störungsdiagnose in industriellen Anlagen ist eine herausfordernde Aufgabe. Obwohl sie durch maschinelles Lernen (ML) unterstützt werden kann, ist eine Kooperation von Mensch und Maschine essentiell, um ML-Algorithmen zu überwachen und zu bewerten. Dies wird jedoch dadurch erschwert, dass ML auf Black-Box-Modellen beruht. Um die Transparenz zu erhöhen, kann erklärbare künstliche Intelligenz (XAI) Information darüber liefern, welche Merkmale das ML genutzt hat, um ein Ergebnis zu erzielen. Das kann zum Beispiel durch ein Hervorheben der Bildbereiche erfolgen, die der Algorithmus beachtet hat. Bisherige Studien berichten in anderen Kontexten sowohl Vorteile als auch Risiken von XAI. Allerdings ist bislang unklar, wie XAI die Prozesse und Leistung bei der Störungsdiagnose beeinflusst. Vor allem sollte untersucht werden, unter welchen Bedingungen XAI dazu führt, dass Personen ML-Ergebnisse kritisch bewerten oder aber sich auf inkorrekte Erklärungen verlassen. Das Projekt untersucht wie Prozess und Leistung bei der Diagnose durch XAI beeinflusst werden, wenn ML-Ergebnisse auf drei Ebenen erklärt werden: Anomaliedetektion, Klassifikation und Diagnose. XAI zur Detektion und Klassifikation wird umgesetzt, indem Bereiche in Bildern von Produkten hervorgehoben werden, die vom Algorithmus beachtet wurden. XAI zur Diagnose informiert darüber, welche Prozessparameter aus dem vorangegangenen Produktionsschritt genutzt wurden. In einen computerbasierten Schokoladenproduktions-Szenario erhalten Personen entweder XAI-Information oder werden nur über die Ergebnisse des ML informiert. Ihre Aufgabe ist es, diese Ergebnisse zu bewerten. Neben der Anwesenheit von XAI werden die Korrektheit des ML und die Schwierigkeit der Aufgabe variiert. Zur Erfassung der Diagnoseleistung analysieren wir Lösungszeiten und Fehler. Zur Erfassung von Diagnoseprozessen analysieren wir Blickbewegungen und Handlungen zur Überprüfung der ML-Ergebnisse. Wie nehmen an, dass XAI die Geschwindigkeit erhöht, wenn ML-Ergebnisse korrekt sind und Fehlerraten verringert, wenn ML-Ergebnisse falsch sind. Allerdings erwarten wir, dass diese Effekte vom Fehlertyp abhängen. Konkret nehmen wir an, dass Personen sich zu stark auf XAI verlasen, wenn neben dem hervorgehobenen Fehler weitere Fehler existieren. Weiterhin vermuten wir, dass die Effekte von XAI mit der Aufgabenschwierigkeit variieren. Um diese Hypothesen zu testen, führen wir drei Experimente durch, eins für jede Ebene von ML und XAI (Detektion, Klassifikation, Diagnose). Außerdem wählen wir mittels einer Pilotstudie geeignete Stimuli aus und bewerten im Rahmen einer Nutzerstudie die Interpretierbarkeit der XAI-Ausgaben. In einer Feldstudie untersuchen wir schließlich, inwiefern die Ergebnisse sich auf die Störungsdiagnose von Experten in einer realen Anlage übertragen lassen. Insgesamt beschreiben unsere Studien wie Leistung von XAI beeinflusst wird und erklären dies durch Einblicke in den zugrundeliegenden Diagnoseprozess.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich(e): Dr. Romy Müller