Reproduzierbarkeit und Simulation von interaktiven Retrieval-Experimenten (RESIRE)

• Antragsteller: Professor Dr. Norbert Fuhr; Professor Dr. Philipp Schaer
• Fachliche Zuordnung: Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 509543643

Obwohl die Reproduzierbarkeit von Experimenten ein Thema mit zunehmender Bedeutung im Information Retrieval (IR) ist, gab es bisher kaum Arbeiten zur Reproduzierbarkeit interaktiver IR- Experimente. Die Hauptidee des RESIRE-Projekts ist es, tatsächliche Benutzer durch quantitative Modellierung ihres Verhaltens und ihrer inhaltsbezogenen Entscheidungen während Retrieval-Sitzungen zu beschreiben. Diese Modellparameter können dann die Grundlage für den Vergleich zweier interaktiver IR-Experimente hinsichtlich ihrer Reproduzierbarkeit bilden. Des Weiteren können diese auch für die Simulation von interaktivem IR verwendet werden, z. B. für die Evaluierung neuer Systeme oder Systemvarianten ohne (oder vor) der Durchführung von realen Benutzerexperimenten. Im Rahmen von RESIRE werden wir ein neues Rahmenmodell für die Reproduzierbarkeit von interaktiven IR-Experimenten definieren, neue Metriken für Reproduzierbarkeit und Sitzungsqualität entwickeln, neue Simulationsmethoden entwerfen, die verhaltens- und inhaltsbezogene Entscheidungen integrieren, ein Open-Source-Framework für die Reproduktion und Simulation von interaktivem IR entwickeln sowie umfangreiche Experimente mit bestehenden IR-Logdaten sowie Beobachtungsdaten aus neuen Benutzerexperimenten durchführen.

• DFG-Verfahren: Sachbeihilfen