Kognitiv überfordernde Situationen beim Konstruieren erkennen und messbar machen für die teilautomatisierte Auswertung empirischer Studien in der Methodenentwicklung: AutoCodIng
Zusammenfassung der Projektergebnisse
Im Rahmen des Projektes wurde untersucht, wie kognitiv überfordernde Situationen beim Konstruieren erkannt und messbar gemacht werden können, um die teilautomatisierte Auswertung empirischer Studien in der Methodenentwicklung zu verbessern. Die Forschung zeigte, dass klassische Datenerhebungsmethoden, wie das Concurrent Think-Aloud, oft zu Beeinflussungen der Probanden führen und eine zeitaufwändige Interpretation der kodierten Daten erfordern. Um diese Herausforderungen zu bewältigen, wurde der Einsatz von Eye-Tracking zur zeitkontinuierlichen und wenig beeinflussenden Erfassung von Messgrößen untersucht. Zu Beginn des Projekts wurden potenziell geeignete Eye-Tracking-Metriken zur Erfassung von kognitiver Belastung beim Konstruieren mit Hilfe eines bestehenden Datensatzes identifiziert. Auf Basis der gewonnenen Erkenntnisse konnten dann gezielt Aufgaben aus der Phase der Konzeptentwicklung entwickelt werden, um in einer anschließenden Vorstudie qualitativ charakteristische Arten von Schwierigkeiten bei der Konzeptentwicklung zu identifizieren. Basierend auf diesen Erkenntnissen wurde die Hauptstudie mit einer größeren Probandenzahl durchgeführt, um einen ausreichend großen Datensatz bestehend aus Eye-Tracking Daten und den zugehörigen Schwierigkeiten für die Algorithmenentwicklung zu schaffen. Während dieser Hauptstudie wurden die verschiedenen Schwierigkeiten aus der Vorstudie explizit abgefragt und die Datenerfassung optimiert. Die anschließende Algorithmenentwicklung basierte auf den Erkenntnissen aus der Hauptstudie. Es wurden mehrere Machine-Learning-Ansätze evaluiert, um geeignete Verfahren zur Erkennung von kognitiv überfordernden Situationen zu identifizieren. Diese Ansätze wurden mittels Kreuzvalidierung bewertet, um die Generalisierungsfähigkeit der Modelle sicherzustellen. Dabei erwies sich der speziell für diesen Fall entwickelte kaskadierende One-Against-All-Ansatz (kOAA) als besonders leistungsfähig. Durch schrittweise Klassifikation und das Entfernen bereits klassifizierter Elemente konnte die Genauigkeit der Erkennung signifikant gesteigert werden. Der Klassifikations-Score stieg von 55% auf 0.615 und die falsch-negativ-Rate konnte von 63% auf 26% reduziert werden. Das erzielte Ergebnis ist ein wichtiger Schritt hin zur Etablierung von teilautomatisierten Forschungsmethoden in der Konstruktionsforschung. Die in diesem Projekt entwickelten Algorithmen bieten eine zuverlässige und effiziente Methode zur Analyse kognitiver Belastungen mittels Eye-Tracking Daten, die in der Methodenentwicklung und -validierung wertvolle Unterstützung leisten können.
Projektbezogene Publikationen (Auswahl)
-
Using Eye Tracking to Measure Cognitive Load of Designers in Situ. Design Computing and Cognition’22, 481-495. Springer International Publishing.
Zimmerer, Christoph; Nelius, Thomas & Matthiesen, Sven
-
Towards an automated evaluation of design processes—an algorithm to predict critical situations during concept synthesis. Research in Engineering Design, 36(2).
Zimmerer, Christoph; Wittig, Christoph & Matthiesen, Sven
