Relevance Assessment Tool (RAT): Entwicklung und Erweiterung einer Software zur Durchführung von Studien, die auf Ergebnissen aus Suchsystemen beruhen

• Antragsteller: Professor Dr. Dirk Lewandowski
• Fachliche Zuordnung: Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 460676551

Das übergreifende Ziel des Projekts ist, die Software Relevance Assessment Tool (RAT) so weiterzuentwickeln und zu ergänzen, dass sie fächerübergreifend zu einem stabilen, flexiblen und nachhaltigen Werkzeug zur Durchführung von Studien, die sich mit der Sammlung und Analyse von Daten aus Suchmaschinen und weiteren Information-Retrieval-Systemen beschäftigen, wird.Das RAT ist eine Software, die es Forschenden erlaubt, Studien auf der Basis von Ergebnissen (kommerzieller) Suchmaschinen und anderer Information-Retrieval-Systeme durchzuführen. Die Software besteht aus Modulen für (1) das Studiendesign, (2) die automatische Sammlung von Daten aus den Suchsystemen, (3) die Sammlung von Nutzerbewertungen, (4) das Herunterladen/Analysieren der Ergebnisse. Der Ausgangspunkt für die Entwicklung des RAT war die Tatsache, dass Studien zur Retrievaleffektivität einen hohen Anteil manueller Arbeit erfordern; dies sowohl beim Design der Tests, beim Erfassen der Suchergebnisse, bei der Rekrutierung der Juroren und ihrer Bewertungen, sowie bei der Analyse der Studienergebnisse. Mit dem RAT wird eine Lösung entwickelt, die Retrievalstudien auf allen Stufen effektiver und effizienter macht.Beim Design des RAT wird von dem Wunsch der Forschenden ausgegangen, auch die Ergebnisse externer IR-Systeme, insbesondere kommerzieller Suchmaschinen, zu analysieren. Mit diesem Ansatz unterscheidet sich das RAT von anderer Software, die entwickelt wurde, um Forschende, die vollständigen Zugang zu den zu evaluierenden Systemen haben, zu unterstützen.Studien können in RAT sowohl unter dem systemorientierten als auch dem nutzerorientierten Paradigma durchgeführt werden. Das RAT ist darüber hinaus für alle Forschenden nützlich, die an der Analyse von Suchergebnissen interessiert sind. Bereits während der Entwicklung des Prototyps wurde klar, dass es einen großen Bedarf an einer Software wie RAT in der Suchmaschinen- und Information-Retrieval-Forschung gibt. Bei der Verbreitung der Software werden wir zuerst die Suchmaschinen-/IR-Community ansprechen, bevor wir die weitere Verbreitung anstoßen. Um die gewünschten Communities zu erreichen, werden wir (1) die Softwareentwicklung eng von Pilotnutzern begleiten lassen, (2) die Software auf Konferenzen, über einen wissenschaftlichen Beirat sowie über Publikationen bewerben, (3) eine Anwendercommunity aufbauen. Um die Forschenden zu erreichen, werden wir die Software hinsichtlich ihrer Usability weiterentwickeln und durchgängig testen. Damit wollen wir erreichen, dass die Software auch leicht von Nutzern außerhalb der Informationswissenschaft/Informatik genutzt werden kann. Die Software wird allen Interessierten open source zur Verfügung gestellt.Wir werden die Nachhaltigkeit der Projektergebnisse durch Maßnahmen in drei Bereichen sicherstellen: (1) Aufbau und Verfügbarmachung der Software, (2) Aufbau und Pflege der Anwender- und Entwicklercommunity, (3) Verfügbarmachung der Software nach Projektende.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)