Situationen in Situational Judgment Tests ernst genommen - eine Situations-Konstruktions-Perspektive

• Antragsteller: Professor Dr. Stefan Krumm
• Fachliche Zuordnung: Sozialpsychologie und Arbeits- und Organisationspsychologie ; Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
• Förderung: Förderung von 2015 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 271360450

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Situational Judgment Tests (SJTs) beschreiben in der Regel eine realistische Situation und bieten dazu mehrere Antwortalternativen. Lange Zeit galten SJTs als simulative Personalauswahlinstrumente (ähnlich wie Assessment-Center). Jedoch stellten Krumm et al. (2015) fest, dass viele SJT-Items auch dann lösbar waren, wenn die Testteilnehmer:innen die Situationsbeschreibungen nicht sahen. Daraufhin schlugen Lievens und Motowidlo (2016) vor, SJTs als Maße für allgemeines Domänenwissen zu verstehen. Mehrere Autor:innen widersprachen dem jedoch. An diesem Punkt setzten die beiden hier berichteten Förderperioden an. Ein Ziel war es, zu prüfen, ob die Kontextabhängigkeit von SJTs einen Einfluss auf deren Validität hat. Es zeigte sich jedoch, dass die Validität von SJTs kaum von der Verfügbarkeit von Situationsbeschreibungen beeinflusst wurde. Ein weiteres Ziel bestand darin, SJT-“Bausteine” zu identifizieren, die SJT-Items mehr oder weniger kontextabhängig machen. Dazu wurden – in einem mehrschrittigen Vorgehen – zunächst SJT entwickelt, sodass sie Trait-bezogene Informationen enthielten, und danach validiert. Durch die darauffolgende Manipulation der Trait-bezogenen Information konnte gezeigt werden, dass die Trait-bezogenen Information für die Kontextabhängigkeit von SJTs bedeutsam war. Ein weiteres Ziel war, die (situativen) Prozesse bei der Beantwortung von SJT-Items zu beleuchten. Dabei zeigten wir, dass das “situation construal” von Testpersonen tatsächlich relevant für das Antwortverhalten in SJTs war. Dies war jedoch auch dann der Fall, wenn dieses “construal” nur auf der Basis der Antwortoptionen erfolgte. Zudem ergaben zwei unabhängige Datenerhebungen über mehrere SJTs hinweg, dass die sog. “Ability to Identify Criteria” (ATIC), die in anderen Simulationen typischerweise relevant ist, keinen wesentlichen Einfluss auf die SJT-Leistung hatte. Ein ähnliches Ergebnis ergab sich für die Situationsstärke der SJT-Items: Sie zeigte sich nicht als Moderator des Zusammenhangs zwischen Persönlichkeitsmerkmalen und der SJT-Leistung. Darüber hinaus wurden SJT- Items in ihre Komponenten zerlegt und geprüft, ob soziale Erwünschtheit die Antworten auf die SJT-Itemkomponenten beeinflusste. Wir fanden insgesamt, dass die Ergebnisse über SJT-Items hinweg deutlich variierten, aber die beste Vorhersage der Antworten in vollständigen SJT-Items durch “zerlegte” SJT-Items gelang, in denen nur Antwortoptionen gezeigt wurden. Soziale Erwünschtheit zeigte nur einen signifikanten Einfluss auf wenige SJT-Items. In einer abschließenden Studie wurde geprüft, ob sich mehrere Aspekte der Situationswahrnehmung zwischen den SJT-Itemkomponenten unterscheiden und die Antworten auf diese Itemkomponenten vorhersagen. Wir fanden, dass verschiedenene Formen der Situationswahrnehmungen nur schwache Prädiktoren der Antworten in verschiedenen SJT-Itemkomponenten waren. Insgesamt legen Ergebnisse aus zwei aufeinanderfolgende DFG-Sachmittelbeihilfen nahe, dass das Antwortverhalten in SJTs komplex ist, sich deutlich von anderen Simulationen unterscheidet, SJTs kaum “situational” sind und vermutlich wesentlich von den Antwortoptionen sowie—sofern enthalten—von Traitbezogenen Informationen beeinflusst wird.

Projektbezogene Publikationen (Auswahl)

• Does taking away situations from situational judgment tests affect their validity? [Conference presentation] 10th International Test Commission Conference, Vancouver, Canada
  Schäpers, P.; Lievens, F.; König, C. & Krumm, S.
  
• How situational are video-based situational judgment tests? [Conference presentation] 32th Convention of the Society for Industrial and Organizational Psychology, Orlando, USA
  Schäpers, P.; Lievens, F. & Krumm, S.
  
• Removing situation descriptions from situational judgment test items: Does the impact differ for video‐based versus text‐based formats?. Journal of Occupational and Organizational Psychology, 93(2), 472-494.
  Schäpers, Philipp; Lievens, Filip; Freudenstein, Jan‐Philipp; Hüffmeier, Joachim; König, Cornelius J. & Krumm, Stefan
  
• Which kind of situational information is needed to make situational judgment tests situational? [Conference presentation] 19th Convention of the European Association of Work and Organizational Psychology, Turin, Italy
  Schäpers, P.; Lievens, F.; Freudenstein, J.-P.; Schulze, J.; König, C. J. & Krumm, S.
  
• Is it all in the eye of the beholder? The importance of situation construal for situational judgment test performance. Personnel Psychology, 73(4), 669-700.
  Freudenstein, Jan‐Philipp; Schäpers, Philipp; Roemer, Lena; Mussel, Patrick & Krumm, Stefan
  
• The role of Situations in Situational Judgment Tests: Effects on construct saturation, predictive validity, and applicant perceptions. Journal of Applied Psychology, 105(8), 800-818.
  Schäpers, Philipp; Mussel, Patrick; Lievens, Filip; König, Cornelius J.; Freudenstein, Jan-Philipp & Krumm, Stefan
  
• Auf der Suche nach der „Situationalität“ von Situational Judgment Tests [Searching the Situationality in Situational Judgment Tests]. 12 Biennial Conference of the German Psychological Society – Work and Organizational Psychology Section, Chemnitz, Germany
  Krumm, S.; Schäpers, P.; Freudenstein, J.-P.; Reznik, N. & Mussel, P.
  
• The Ability to Identify Criteria (ATIC) in Situational Judgment Tests [Conference presentation]. 16th Biennial Conference of the German Psychological Society - Personality Psychology and Psychological Diagnostics Section, Ulm, Germany
  Reznik, N.; Freudenstein, J.-P.; Heimann, A. L.; Ingold, P.; Kleinmann, M. & Krumm, S.
  
• Über die Relevanz der Bausteine von Situational Judgment Tests für die Testleistung und -validität [Conference presentation]. 52nd Conference of the German Psychological Society, Hildesheim, Germany
  Reznik, N.; Freudenstein, J.-P.; Schäpers, P.; Schulze, J.; Göritz, A. & Krumm, S.
  
• Does the ability to identify criteria predict situational judgment test responses? [Conference presentation]. 2023 SIOP Annual Conference, Boston, USA
  Reznik, N.; Krumm, S.; Freudenstein, J.-P.; Heimann, A. L.; Ingold, P.; Schäpers, P. & Kleinmann, M.
  
• The influence of situational strength on the relation of personality and situational judgment test performance. International Journal of Selection and Assessment, 32(1), 1-11.
  Freudenstein, Jan‐Philipp; Schäpers, Philipp; Reznik, Nomi; Stolte, Talea & Krumm, Stefan