Innovative bibliometrische Verfahren zur kontinuierlichen Beobachtung der sozialwissenschaftlichen Forschungsproduktion
Zusammenfassung der Projektergebnisse
Der für dieses Projekt gewählte Ansatz, mit Hilfe eines mehrdimensionalen Relevanzindikators für die Publikationen einer bibliographischen Datenbank eine Sortierung nach wissenschaftlicher Relevanz zu ermöglichen, war experimenteller Natur. Nicht unerwartet, weisen alle Teilmerkmale des Relevanzindikators jeweils ihre Schwächen auf, die aber in der Intention des Antrags durch die multiattributive Zusammensetzung des Gesamtindikators ausgeglichen werden sollten. Eine zusammenfassende Bewertung der hier erprobten "neuen" Indikatoren muss konstatieren, dass diese Indikatoren nicht ausreichend sind, um einen verlässlichen Gesamtindikator zu bilden, der insbesondere die bislang bibliometrisch kaum zu vermessenden monographischen Dokumenttypen besser zu repräsentieren in der Lage ist. Die Auswahl der Attribute des Indikators orientierte sich dabei am nationalen und internationalen Diskurs zu bibliometrischen Indikatoren in den Sozialwissenschaften. Da der Indikator auf Daten der FIS Bildung basieren sollte, war eine Integration von Zitationsdaten nicht möglich, da entsprechende Daten nicht erfasst werden. Der Indikator sollte vielmehr gerade eine Alternative zu zitationsbasierten Verfahren darstellen. Resümierend zeigt sich am vorläufigen Ende dieses Projekts, dass die Messung von Relevanz über Referenzen (als klassisches Zitat oder als bewusste Verlinkung im Web) das am besten erprobte und theoretisch abgesicherte bibliometrische Verfahren darstellt. Die Ausdifferenzierung und Verfeinerung von Referenzanalysen stellt damit, vor allem vor dem Hintergrund zunehmender Onlineverfügbarkeit von Volltexten, den am meisten versprechenden Weg der Neuentwicklung von Verfahren der informetrischen Relevanzbewertung dar. Diese Verfahren sind sowohl auf ein größeres Spektrum an Zeitschriften auszudehnen also auch auf Monographien und Sammelwerksbeiträge. Empirisch belegbare Motivation für einen solchen Ansatz lässt sich u.a. daraus beziehen, dass Bücher, teilweise aber auch Buchbeiträge, in traditionellen Zitationsdatenbanken, wie dem Social Sciences Citation Index, zu den sehr stark zitierten Publikationen gehören. Neue Instrumente des Web, die z.B. auf den Zitationen in Google Scholar aufsetzen, können weiterentwickelt und besser standardisiert werden. Aber auch Fachdatenbanken wie die FIS Bildung Literaturdatenbank können zukünftig Konzepte ins Auge fassen, die die Integration und automatische Analyse von Kontextinformationen (z.B. Angaben zum Projekt aus dem eine Publikation entstanden ist und seiner Förderung etc.) und Zitationen in ihre Metadaten vorsehen, wenn genügend Volltextdaten für diese Zwecke bereit gestellt werden. Ein solches Konzept erfordert jedoch noch weitere explorative Entwicklungsprojekte, um insbesondere die Heterogenität von Inhalten und Formaten zu behandeln. Aufgrund der sehr zeitintensiven Nachbearbeitung der zur Erreichung des ersten Projektziels „Qualitätssicherung" erhobenen bibliographischen Daten und der ebenfalls aufwendigen Arbeiten zu den Teilaspekten des Relevanzindikators (u.a. Aufbau einer neuen Datenbank von Publikationsorten, inklusive Programmierung und Recherche und Erfassung der Daten sowie Durchführung einer Expertenbefragung) ließ sich das oben beschriebene dritte Ziel "Analyse des Forschungsdiskurses" nicht mehr realisieren. Das mit diesem Ziel verbundene Arbeitsmodul war bereits im Antrag nicht so detailliert ausgeführt wie die anderen Module, da es z.T. von den Ergebnissen dieser Module abhängt, die noch nicht vollständig absehbar waren. Ohnehin hatte es nie den Anspruch und hätte es im kurzen Zeitrahmen des Projekts und neben den anderen Arbeitsschritten auch gar nicht leisten können, etwas Vergleichbares zu den Ergebnissen von Eigler und Macke aus den 1990er Jahren vorzulegen. Das Projekt war vielmehr angelegt als rein explorative Untersuchung zur Eignung bzw. zu Möglichkeiten des Ausbaus der FIS Bildung zu einem bibliometrischen Instrument und nicht als eigenständige, umfangreiche bibliometrische Analyse.
Projektbezogene Publikationen (Auswahl)
- Innovative scientometric methods for a continuous monitoring of research activities in educational science. - In: Hildrun Kretschmer und Frank Havemann (Hg.): Proceedings of WIS 2008, Fourth International Conference on Webometrics, Informetrics and Scientometrics & Ninth COLLNET Meeting Humboldt-Universität zu Berlin. Berlin: Ges. für Wissenschaftsforschung (2008)
Dees, Werner
- Transparenz und Evaluierbarkeit des erziehungswissenschaftlichen Publikationsaufkommens. Eine anwendungsorientierte Studie. - In: Erziehungswissenschaft, 19 (2008) 37, S. 27-32
Dees, Werner
- Anforderungen an bibliographische Datenbanken in Hinblick auf szientometrische Analysen am Beispiel der FIS Bildung Literaturdatenbank. - In: Rainer Kuhlen (Hg.): Information: Droge, Ware oder Commons? Boizenburg: Hülsbusch (2009), S. 243-257
Dees, Werner; Rittberger, Marc
- Assessing Educational Research Publications - A Multi-attributive Approach. In: Birger Larsen und Jacqueline Leta (Hg.): Proceedings of ISSI 2009 - the 12th International Conference of the International Society for Scientometrics and Informetrics. Volume 2. Rio de Janeiro: BIREME/PAHO/WHO. (2009). S. 922-923
Dees, Werner
