Wie gut sind Ihre diagnostischen Instrumente?

Sowohl in Personalauswahl als auch Personalentwicklung kommen diagnostische Instrumente zum Einsatz, mit deren Hilfe wichtige Entscheidungen getroffen werden: Welche Bewerber werden in ein Traineeprogramm aufgenommen? Welche Mitarbeiter können eine interne Führungslaufbahn beginnen?

Die Qualität solcher Entscheidungen ist dann hoch, wenn Fehlentscheidungen so weit es geht vermieden werden. Eine mögliche Fehlentscheidung ist, dass in der Gruppe der ausgewählten Personen solche sind, die zu Unrecht ausgewählt wurden (auch False Positives genannt). Die andere mögliche Fehlentscheidung ist, dass in der Gruppe der nicht ausgewählten Personen solche sind, die zu Unrecht nicht ausgewählt wurden, also die eigentlich „geeignet“ wären (sogenannte False Negatives).

Wie gut es gelingt, solche Fehlentscheidungen zu vermeiden, hängt nicht nur von den diagnostischen Instrumenten ab, sondern auch von wichtigen anderen Randbedingungen:

  1. Wie viele der „getesteten“ Personen werden aufgenommen (z.B. in ein Trainee- oder Führungsprogramm)? Dies bezeichnet man als Auswahlquote.
  2. Wie viel Prozent der getesteten Personen sind prinzipiell geeignet? D.h. wenn man alle Bewerber aufnehmen würde, wie viele davon wären „erfolgreich“? Dies bezeichnet man als Grundquote.

 

Berechnen Sie nun die Qualität Ihrer diagnostischen Entscheidungen!

 
Anzahl zu testender Personen (Bewerber): 		 
 
Auswahlquote:
0%
Anzahl auszuwählender Personen (offen Stellen):
 
Quote prinzipiell geeigneter Personen in der Bewerbergruppe
(Grundquote, basiert auf Erfahrungswerten): 		 
 
 
 
% 
 
Validität der verwendeten Auswahlmethode*: 		 
 
 
r =
 
 
Mittelwert der verwendeten Auswahlmethode: 		 
Standardabweichung der verwendeten Auswahlmethode :
 

*Angaben zur Validität gebräuchlicher diagnostischer Instrumente

    Assessment
Center		   Intelligenz-
tests		   Struk-
turierte
Interviews		   Unstruk-
turierte
Interviews		   Situational
Judgement
Tests		   Fragebogen
Gewissen-
haftigkeit		   Fragebogen
Leistungs-
motivation
 
Studien, die relativ hohe Vorhersagekraft berichten
Vorhersagekraft   .63   .62   .51   .38   .381   .31   .25
Quelle   Hunter & Hunter (1984)   Kramer (2009)   Schmidt & Hunter (1998)   Schmidt & Hunter (1998)   McDaniel et al. (2001)   Schmidt & Hunter (1998)   Vinchur et al. (1998)
 
Studien, die relativ geringe Vorhersagekraft berichten
Vorhersagekraft   .37   .48   .45   .13   .291   .22   .25
Quelle   Thornton et al. (1992)   Hülsheger et al. (2006)   Wiesner & Cronshaw (1988)   Wiesner & Cronshaw (1988)   McDaniel et al. (2001)   Barrick & Mount (1991)   Hülsheger, Specht & Spinath (2006)

Soweit verfügbar wurden umfangreiche Studien herangezogen, deren Ergebnisse auf der Untersuchung mehrerer Tausend Personen beruhten (sog. Metaanalysen). Angabe von korrigierten Koeffizienten zur Vorhersagekraft.
1 die Werte .38 und .29 entstammen derselben Studie, der höhere Wert bezieht sich auf anforderungsbezogen gestaltete Situational Judgment Tests, der niedrigere Wert auf nicht anforderungsbezogen gestaltete Situational Judgment Tests.

Sehen Sie hier anhand von drei Beispielen, wie Sie diese Berechnungsmethode verwenden können:

1.  Berechnung der Trefferquote: Nehmen wir einmal an, Sie laden 200 Personen ein, an einem Auswahlverfahren teilzunehmen. Sie haben insgesamt 50 offene Stellen, oder Sie wollen 50 der 200 Personen in einen Führungskreis aufnehmen. Sie schätzen, dass von den 200 Personen etwa die Hälfte prinzipiell geeignet ist, die offenen Stellen gut auszufüllen bzw. eine Führungsaufgabe zu übernehmen. Daher liegt die Grundquote in diesem Beispiel bei 50%. Schieben Sie den Regler also auf 50%. Die Validität ihrer Auswahlmethode kennen Sie entweder (weil diese geprüft wurde) oder schätzen Sie anhand der unten aufgeführten Tabelle. Nehmen wir an, Sie führen ein unstrukturiertes Interview durch; ihre Validitätsschätzung liegt bei 0.13. Sie wählen bewusst die untere Grenze unserer Angaben, da Sie wissen, dass die Interviewer unerfahren sind und auch nur ein kurzes Interview führen. Schieben Sie den Regler also auf r = 0.13. Diese Angaben genügen bereits, um die Trefferquote zu berechnen. Klicken Sie auf "Berechnen". Wenn Sie alles richtig eingegeben haben, zeigt Ihnnen das Kreisdiagramm auf der linken Seite, dass von den 50 ausgewählten Personen 28 (genauer 28.3) zu Recht ausgewählt wurden, 21 (genauer 21.7) dagegen zu Unrecht. Die Trefferquote liegt bei 56.6%. Das rechte Kreisdiagramm zeigt die nicht ausgewählten Personen, hier wurden 78 (genauer 78.3) Personen zu Recht nicht ausgewählt.

2. Berechnung von Trennwerten in einem eignungsdiagnostischen Verfahren, ab denen Bewerber angenommen bzw. abgelehnt werden: Gehen Sie vor wie im obigem Beispiel. Geben Sie zusätzlich bei  "Mittelwert der verwendeten Auswahlmethode" den Mittelwert ein, den eine repräsentative Vergleichsstichprobe erreicht (also die Normstichprobe) oder den Mittelwert von Teilnehmern vorangegangener Auswahlverfahren. Zu dem jeweiligen Mittelwert geben Sie auch die Standardabweichung an. Nehmen wir an, sie verwenden ein Interview, bei dem Teilnehmer am Ende bewertet werden auf einer Skala von 0 bis 5, der Mittelwert liegt bei 2.5 und die Standardabweichung bei 1. Geben Sie diese Werte ein und klicken Sie auf berechnen. Der optimale Cut-Off-Wert für dieses Interview liegt dann bei einem Wert von 3.17. Gäbe es keine anderen Randbedingungen, die Sie berücksichtigen wollen, würden Sie Teilnehmer annehmen, die diesen oder höhere Werte erreichen, die übrigen Teilnehmer ablehnen.

3. Ermittlung der Anzahl zu testender Bewerber, um eine bestimmte Trefferquote zu erreichen: Angenommen, das Auswahlinstrument steht fest, z.B. ein Intelligenztest. Sie können daher in einem solchen Fall die Trefferquote nicht verbessern, indem sie ein valideres Auswahlverfahren wählen. Dennoch gibt es auch dann Möglichkeiten, die Trefferquote zu verbessern:
Gehen Sie nun von 100 zu testenden Personen und 50 offenen Stellen aus. Nehmen Sie eine Grundquote von 65% und eine Validität von 0.35 an. Wenn Sie auf "Berechnen" klicken, ergibt sich eine Trefferquote von 75.5%. Sie haben sich aber das ehrgeizige Ziel gesetzt, mindestens eine Trefferquote von 80% zu erreichen. Erhöhen Sie einfach die Anzahl der zu testenden Personen solang, bis die Trefferquote bei 80% liegt. Im dargestellten Beispiel ist dies bei 176 zu testenden Bewerbern der Fall.
Übrigens: Eine weitere Möglichkeit, die Trefferquote zu erhöhen, liegt darin, die Grundquote zu verbessern. Wie kann man auf die Grundquote Einfluß nehmen? Indem Sie ihr Personalmarketing so optimieren, dass sich möglichst viele bereits geeignete Personen bewerbern (z.B. kann dies durch ein Self-Assessment im Internet erreicht werden). Auch eine Vorauswahl (z.B. durch Online-Tests) kann die Grundquote verbessern.

Literaturhinweis

  • Krumm, S. & Schmidt-Atzert, L. (2009). Leistungstests im Personalmanagement. Göttingen: Hogrefe.
  • McLellan, R. A. (1999). Theoretical expectancies: Replacing classic utility tables with flexible, accurate computing procedures. Journal of Human Ressource Costing and Accounting, 4, 35 – 48.