Fundamental questions in behavior observation: Amount and overlap of information, sequence effects and perceiver-induced consistency
Social Psychology, Industrial and Organisational Psychology
Final Report Abstract
Dieses ehrgeizige Projekt verfolgte das Ziel, eine ganze Reihe bisher unbeantworteter Fragen zum Thema „Verhaltensbeobachtung“ zu beantworten. Dies ist wichtig, weil Verhaltensbeobachtungsdaten mithin als die stärksten Daten in der Sozial- und Persönlichkeitspsychologie betrachtet werden. Versuchspersonen wurden dabei gefilmt, wie sie sich im Labor mit jeweils 20 herausfordernden Situationen auseinandersetzten. Diese Filme wurden anschließend von Beobachtern beurteilt, wobei ein Teil der Beobachter zehn Personen in der gleichen Situation zu sehen bekam, ein anderer Teil dieselbe Person in zehn unterschiedlichen Situationen. Die folgenden Fragen aus dem Projektantrag konnten wie folgt beantwortet werden: In Übereinstimmung mit früheren Forschungsergebnissen zeigte sich, dass Beurteilungen durch verschiedene Beurteiler und über verschiedene Situationen hinweg relativ konsistent sind. - Einzelne, wenige Minuten dauernde Situationen erlaubten bereits recht akkurate Schlussfolgerungen über jeweils spezifische Persönlichkeitsmerkmale der beobachteten Personen. Es scheint möglich, ein sehr ökonomisches, verhaltensbasiertes Verfahren zur Persönlichkeitsdiagnostik zu konstruieren. - Durch systematische Separierung zweier in früheren Studien konfundierter Variablen konnte gezeigt werden, dass bessere Schlüsse auf die Persönlichkeit der beobachteten Personen leichter durch eine Erhöhung der Anzahl der Beobachter erzielt werden können, als durch Beobachtung über mehr unterschiedliche Situationen hinweg. - Wiederholte Beurteilungen einer Person durch denselben Beurteiler sind in sich viel konsistenter (etwa Faktor 3) als Urteile durch verschiedene Beurteiler. Solche „Urteiler-induzierte“ Konsistenz (die keine Entsprechung im momentanen Verhalten der beurteilten Person hat) muss in Verhaltensbeobachtungsstudien als mögliche Quelle von Fehlinterpretationen berücksichtigt werden. - Entgegen einer weit verbreiteten Annahme gibt es keinen so genannten „Primacy-Effekt“ bei Beurteilungen, die auf dem realem Verhalten von Personen beruhen: Zeitlich früher gegebene Information über Menschen hat im Gegenteil sogar einen schwächeren Einfluss auf das spätere Gesamturteil. Offenbar orientiert sich die Urteilsbildung am jeweils verfügbaren, kumulativen Informationsstand, was evolutionär betrachtet auch viel mehr Sinn ergibt. - Die Urteile verschiedener Beobachter auf den meisten Beurteilungsdimensionen werden miteinander konsistenter, je mehr Personen diese Beobachter bereits unter vergleichbaren Bedingungen beurteilt haben. Dieser „Kalibrierungseffekt“ kann in Verhaltensbeobachtungsstudien genutzt werden, um die Reliabilität der Beurteilungen zu erhöhen. - Urteile von Beobachtern werden mit der Anzahl bereits beobachteter Personen tendenziell auch diverser. Dies lässt sich mit anfänglicher Unsicherheit über die zu erwartende „Bandbreite“ des Verhaltens unterschiedlicher Personen erklären (siehe Kalibrierung), möglicherweise verbunden mit dem Wunsch der Beobachter, konsistent urteilen zu können. - Unerwarteterweise zeigte sich aber auch, dass Beobachter den von ihnen zuerst beurteilten Personen mehr Verträglichkeit und weniger Extraversion zuschreiben als später beurteilten Personen. Dies könnte Ausdruck normativer Erwartungen (Baseline) auf Seiten der Beobachter sein. Anhand der Daten aus dem Projekt konnten zudem die folgenden Effekte gezeigt werden, die selbst nicht Gegenstand des Antrags waren: Korrelationen zwischen Personenbeschreibungen lassen sich mit erheblicher Genauigkeit anhand der Valenz der Items (also deren positiver oder negativer „Tönung“) vorhersagen. Dies ist wichtig, weil solche Korrelationen u.a. die Basis von Faktoren- und Netzwerkanalysen sind (zwei in der Forschung häufig verwendete Verfahren). Gütekriterien von Persönlichkeitsskalen (wahrscheinlich die meistverwendeten Instrumente in der Persönlichkeitsforschung überhaupt) lassen sich anhand derselben Information ebenfalls gut vorhersagen. Zukünftige Forschung muss dies berücksichtigen, und jeweils abschätzen, in welchem Ausmaß z.B. Korrelationen zwischen Skalen schlicht auf inhaltlich unspezifische Positivität-Negativität („Halo“) zurückgehen. Der Halo-Effekt in Fremdbeurteilungen ist etwa doppelt so stark wie in Selbstbeurteilungen. - Urteile (auf einzelnen Items) enthalten etwa 14% Urteiler-spezifische Varianz, also Variation, die mit den beurteilten Personen und deren Verhalten nichts zu tun hat. Diese kann zu etwa gleichen Teilen (jeweils 1/3) auf unspezifische Bewertungs- und spezifische Trait- sowie sonstige Varianz (Ja-Sage-Tendenz und unsystematischer Messfehler) aufgeteilt werden.
Publications
- (2020). The more the better – But more of which? Information quantity and shared meaning as predictors of consistency and accuracy in person judgment. Journal of Research in Personality, 87, 103968
Wiedenroth, A., & Leising, D.
(See online at https://doi.org/10.1016/j.jrp.2020.103968)
