Konvergente und divergente Validität Objektiver Persönlichkeitstests: Konsistenz von Messergebnissen über Methoden und Situationen
Final Report Abstract
Das Ziel des Projektes war es, ein verbessertes Verständnis der Messeigenschaften Objektiver Persönlichkeitstests (OPTs) zu gewinnen, eine Verfahrensgruppe, die Persönlichkeitsmerkmale über Verhalten und nicht über Selbstbericht erfasst. Dabei sollten speziell Fragen der Validität und Reliabilität beleuchtet werden, indem in einem vergleichenden Ansatz OPTs zusammen mit Impliziten Assoziationstests (IATs) und Selbstberichten (über Fragebogen) systematisch analysiert wurden. Zwei Ziele standen dabei im Mittelpunkt des Projekts: Erstens wurde der Frage nachgegangen, in welchem Ausmaß OPTs im Vergleich zu den anderen Methodengruppen situationsspezifische State- versus stabile Traitaspekte erfassen. Zweitens sollten konvergente und diskriminante Validität von OPTs geprüft und unter anderem die Frage untersucht werden, ob OPTs systematisch andere Teilaspekte von Konstrukten erfassen als IATs und Selbstbericht. Das Untersuchungsdesgin wurde dazu durch eine längsschnittliche Erhebung zu drei Zeitpunkten erweitert. Insgesamt 377 Personen bearbeiteten zu drei Zeitpunkten in Berlin und Salzburg je zwei OPTs, einen IAT und ausgewählte Fragebogenitems zu den Konstrukten Risikoneigung, Gewissenhaftigkeit, Intelligenz und Selbstwertschätzung. Zusätzlich wurden Daten zur Kriteriumsvalidität der Verfahren erhoben. In der Auswertung wurden verschiedene Latent-State-Trait-Modelle einzeln für jede Methode und jedes Konstrukt auf die Daten angepasst. Danach wurden für jedes Konstrukt getrennt multimethodale LST Modelle angepasst, um die konvergente und diskriminante Validität über die Zeit zu bestimmen. Die Daten ergaben über die vier Konstrukte hinweg, dass die eingesetzten OPTs in der Summe stabile, allerdings in hohem Ausmaß methoden-spezifische Varianzanteile erfassen, die nicht mit dem Selbstbericht, der anhand von Fragebogen erfasst wurde, geteilt werden. Die Stabilität stellte sich bei den OPTs zur Erfassung der Intelligenz am höchsten und bei OPTs zur Erfassung der Risikoneigung relativ betrachtet als am geringsten dar. Während die eingesetzten indirekten Verfahren in vergleichsweise hohem Maß Situationsspezifisches erfassten, war der situationsspezifische Anteil bei direkten Verfahren (Fragebogen) wie auch bei den eingesetzten OPTs gering. Im Hinblick auf die konvergente und diskriminante Validität der OPTs ergaben Analysen dass Trait-Methodeneinflüsse über verschiedene Methoden desselben Konstrukts hinweg partiell generalisieren: So korrelierten insbesondere die um den Selbstbericht bereinigten Methodeneffekte der objektiven Intelligenzmaße relativ hoch miteinander. Ebenso korrelieren die Trait-Methodenfaktoren der OPTs zur Erfassung der Gewissenhaftigkeit positiv miteinander. Durchwegs ergaben sich allerdings auch positive Korrelationen zwischen den Trait-Methodenfaktoren derselben Methode, unter Berücksichtigung unterschiedlichen Konstrukte. Die Berechnungen zur Kriteriumsvalidität der OPTs zur Erfassung der Gewissenhaftigkeit und Risikoneigung ergaben dagegen unter anderem statistisch bedeutsame Beiträge von OPTs zur Vorhersage der Kriterien. Zusammenfassend weisen die Daten darauf hin, dass verschiedene Methodengruppen unterschiedliche Teilaspekte der Konstrukte erfassen. OPTs (wie auch indirekte Verfahren) scheinen demnach Aspekte zu erfassen, die mit direkten Verfahren nicht messbar sind. Sie enthalten also zusätzliche Varianzanteile, die mit herkömmlichen Methoden nicht abgedeckt werden, aber durchaus Relevanz im Hinblick auf die Vorhersage relevanter Verhaltenskriterien aufweisen. Für die Praxis sind diese Ergebnisse insofern relevant, als dass sie erstmals vergleichende Aussagen über die psychometrischen Eigenschaften über mehrere OPTs hinweg zulassen und die Grenzen des klassischen MTMM Designs zur Ermittlung der Konstruktvalidität aufzeigen.
Publications
- (2014). Advances and continuing challenges in Objective Personality Testing. European Journal of Psychological Assessment, 30, 163-168
Ortner, T.M. & Schmitt, M.
(See online at https://doi.org/10.1027/1015-5759/a000213) - (2014). Evaluating the construct validity of objective personality tests using a multitrait-multimethod-multioccasion- MTMMMO)-approach. European Journal of Psychological Assessment, 30, 209-230
Koch, T., Ortner, T.M., Eid, M., Caspers, J., & Schmitt, M.
(See online at https://doi.org/10.1027/1015-5759/a000212) - Objective Personality Tests. In T.M. Ortner and F.J.R. van de Vijver (Eds.). Behavior-Based Assessment in Psychology. Hogrefe, 2015. - 9781616764371 (Psychological Assessment – Science and Practice,
Vol. 1). S. 133-152
Ortner T.M. & Proyer, R.
(See online at https://doi.org/10.1027/00437-000)
