LibRank: Neue Formen der Relevanz-Sortierung in bibliothekarischen Informationssystemen
Final Report Abstract
Das Ziel des Projekts LibRank – Neue Formen der Relevanzsortierung in bibliothekarischen Informationssystemen bestand in der systematischen Evaluierung möglicher Faktoren für das Relevanz-Ranking im bibliothekarischen Kontext basierend auf den Verfahren in Websuchmaschinen. Dazu wurden zunächst Relevanzfaktoren (z.B. Popularität, Verfügbarkeit) identifiziert und die erforderlichen Daten (z.B. Ausleihdaten, Zitationszahlen) zur Implementierung der einzelnen Rankingfaktoren ermittelt. Auf Basis der verfügbaren Daten wurde ein Relevanzmodell entwickelt, welches im ursprünglichen Projektplan zwar nicht enthalten war, sich jedoch mit Blick auf die Integration der Rankingfaktoren in das Testsystem als ein notwendiger Bestandteil herausstellte. Das Testsystem ist die fixe Datenbasis des ZBW-Informationsportals EconBiz zu einem Zeitpunkt im Sommer 2015. Für die Testläufe wurde ein Framework erstellt, auf dessen Grundlage die Standard-Verfahren im Information Retrieval zur Evaluierung der Retrievaleffektivität angepasst und auf den Bibliothekskontext übertragen wurden. Im Rahmen von drei Evaluierungsläufen wurden Juroren (Fachreferenten der ZBW und Studierende aus wirtschaftswissenschaftlichen Fächern) thematische Suchanfragen mit den dazugehörigen Suchergebnissen zur Relevanzbewertung vorgelegt. Das automatisierte Einsammeln der Suchergebnisse sowie die Bewertungen durch die Juroren erfolgten mit dem web-basierten Relevance Assessment Tool, einer an der HAW Hamburg zur Evaluierung von Suchsystemen entwickelten Software. Die zwei wesentlichen Schlussfolgerungen aus den drei Evaluierungsläufen und der Berechnung der Einflussgrößen zur Relevanzbestimmung lauten: Gegenüber den klassischen textstatistischen Verfahren gibt es erstens kein durchgängig „erfolgreicheres“ Rankingmodell, dagegen für einzelne Suchanfragen bzw. -aufgaben betrachtet sehr wohl bessere und schlechtere Verfahren. Neben der Publikation der Ergebnisse in internationalen Fachzeitschriften sowie auf Konferenzen wurden sowohl das Testsystem in Form eines Demonstrators (http://librank-demo.zbw.eu/), als auch die Testkollektionen mit den in den Evaluierungsläufen verwendeten Suchanfragen inklusive der Relevanzbewertungen durch die Juroren (http://dx.doi.org/10.7802/1253) zur Nachnutzung zur Verfügung gestellt. Somit können interessierte Einrichtungen mit Ihrem eigenen Datenbestand und anpassbaren Relevanzfaktoren eigene Tests durchführen und auch weitere Forschungsfragen verfolgen.
Publications
- Evaluating Popularity Data for Relevance Ranking in Library Information Systems. Proceedings of the 78th ASIS&T Annual Meeting, Vol. 52. 2015, Issue 1, pp. 1-4.
Plassmeier, K., Borst, T., Behnert, C., & Lewandowski, D.
- LibRank: New Approaches for Relevance Ranking in Library Information Systems. In F. Pehar, C. Schlögl, & C. Wolff (Eds.), Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on Information Science (ISI 2015). Schriften zur Informationswissenschaft, Bd. 66. 2015, pp. 570–572. Glückstadt: Hülsbusch
Behnert, C.
(See online at https://dx.doi.org/10.5281/zenodo.17974) - Neue Formen der Relevanz-Sortierung in bibliothekarischen Informationssystemen: Das DFG-Projekt LibRank. Bibliothek Forschung und Praxis, Vol. 39.2015, Issue 3, pp. 384–393.
Behnert, C., & Borst, T.
(See online at https://doi.org/10.1515/bfp-2015-0052) - Ranking Search Results in Library Information Systems — Considering Ranking Approaches Adapted From Web Search Engines. The Journal of Academic Librarianship, Vol. 41.2015, Issue 6, pp.725–735.
Behnert, C., & Lewandowski, D.
(See online at https://doi.org/10.1016/j.acalib.2015.07.010) - A Framework for Designing Retrieval Effectiveness Studies of Library Information Systems Using Human Relevance Assessments. Journal of Documentation, Vol. 73. 2017, Issue 3, pp.509-527.
Behnert, C.; Lewandowski, D.
(See online at https://doi.org/10.1108/JD-08-2016-0099) - Known-item Searches Resulting in Zero Hits: Considerations for Discovery Systems. The Journal of Academic Librarianship, Vol. 43. 2017, Issue 2, pp. 128–134.
Behnert, C., & Lewandowski, D.
(See online at https://doi.org/10.1016/j.acalib.2016.12.002) - Evaluierung von Rankingverfahren für bibliothekarische Informationssysteme. Information – Wissenschaft & Praxis, Vol. 70. 2019, Issue 1, pp. 14-23.
Behnert, C., Plassmeier, K., Borst, T., & Lewandowski, D.
(See online at https://doi.org/10.1515/iwp-2019-0004)
