Ein 'goldener Maßstab' für institutionelle Beurteilungen? Eine Operationalisierung und Erklärung politischer Verzerrungen in einer großen Anzahl von Evaluationsberichten internationaler Organisationen
Zusammenfassung der Projektergebnisse
Dieses Forschungsprojekt untersuchte den Einfluss politischer Faktoren auf Evaluationsprozesse in internationalen Organisationen (IOs). Evaluationen dienen als Instrumente der Rechenschaftspflicht und des Lernens, doch es gibt Bedenken hinsichtlich ihrer Neutralität und Unabhängigkeit. Während frühere Studien weitgehend auf wahrnehmungsbasierte Evidenz setzten, analysierte diese Untersuchung systematisch den Inhalt von Evaluationsberichten, um zu prüfen, ob politische Verzerrungen die Ergebnisse und Empfehlungen beeinflussen. Im Zentrum des Projekts stand die quantitative Inhaltsanalyse von 1.082 Evaluierungsberichten. Auf der Grundlage neuartiger Konzeptualisierungen von politischen Verzerrungen und unter Verwendung eines modernen BERT-Sprachmodells wurden fast eine Million Sätze aus diesen Berichten als positiv, neutral oder negativ klassifiziert. Zusätzlich wurden die Empfehlungen in einer Stichprobe von 240 Evaluierungsberichten hinsichtlich der Art und Tiefe der Empfehlungen manuell kodiert. Die Ergebnisse zeigen, dass die Evaluationsbefunde – also die Einschätzungen der IO-Leistung – keine systematischen Verzerrungen aufweisen, die darauf zurückzuführen wären, ob Evaluationsabteilungen (hinsichtlich Budget, Personal und Agenda) von der IO-Verwaltung oder von Mitgliedstaaten kontrolliert werden. Die Evaluationsempfehlungen hingegen spiegeln Stakeholder-Einflüsse wider. Berichte aus Evaluationsabteilungen, die unter IO-Verwaltung stehen, enthielten breitere, weniger spezifische Empfehlungen, die eher eine Erhöhung der Organisationsressourcen begünstigten und zusätzliche Kontrollmechanismen vermieden. Im Gegensatz dazu waren Evaluationen, die unter der Kontrolle von Mitgliedstaaten standen, gezielter und stärker auf die Stärkung von Rechenschaftsmechanismen ausgerichtet. Ein weiteres zentrales Ergebnis betrifft die Rolle der auftraggebenden Einheit. Evaluationen, die von dezentralen operativen Einheiten in Auftrag gegeben wurden, welche eng in die Projekt- und Programmdurchführung eingebunden sind, fielen systematisch positiver aus als jene, die von unabhängigen zentralen Evaluationsabteilungen durchgeführt wurden. Dies legt nahe, dass dezentrale Evaluationen direktem oder indirektem Druck unterliegen könnten, ihre Ergebnisse in einem günstigeren Licht darzustellen. Alle Daten und das Sprachmodell wurden veröffentlicht. Die inhaltlichen Ergebnisse wurden auf Konferenzen vorgestellt und in einem Buch bei Oxford University Press und in führenden politikwissenschaftlichen Zeitschriften (mit peer-review) veröffentlicht. Darüber hinaus zeichnete sich das Projekt durch einen intensiven Austausch mit Praktiker:innen aus. Regelmäßige Konsultationen fanden mit Evaluationsfachleuten aus dem UN-System und nationalen Entwicklungsagenturen statt. Zentrale Ergebnisse wurden der UN Evaluation Group vorgestellt und im Rahmen verschiedener Fachnetzwerke geteilt.
Projektbezogene Publikationen (Auswahl)
-
International Public Administrations in Global Public Policy. Routledge.
Knill, Christoph & Steinebach, Yves
-
Structured, Focused Comparison. In F. Badache, L. R. Kimber, & L. Maertens (Eds.), International Organizations and Research Methods. An Introduction (pp. 402-411). Michigan: Michigan University Press.
Jankauskas, V., Eckhard, S. & Ege, J.
-
Institutional design and biases in evaluation reports by international organizations. Public Administration Review, 84(3), 560-573.
Eckhard, Steffen; Jankauskas, Vytautas & Leuschner, Elena
-
International Organization Evaluation Report Dataset (IOEval) and replication data for The Performance of International Organizations: A New Measure and Dataset Based on Computational Text Analysis of Evaluation Reports, Review of International Organizations
Eckhard, S., Jankauskas, V., Leuschner, E., Burton, I., Kerl, T. & Sevastjanova, R.
-
The performance of international organizations: a new measure and dataset based on computational text analysis of evaluation reports. The Review of International Organizations, 18(4), 753-776.
Eckhard, Steffen; Jankauskas, Vytautas; Leuschner, Elena; Burton, Ian; Kerl, Tilman & Sevastjanova, Rita
-
The Politics of Evaluation in International Organizations. Oxford University PressOxford.
Jankauskas, Vytautas & Eckhard, Steffen
