Gütekriterien

Die Qualität wissenschaftlicher Messinstrumente wird in der klassischen Testtheorie anhand der drei Hauptgütekriterien Objektivität, Reliabilität und Validität ermittelt. Als eines der wichtigsten Nebengütekriterien wird hier zudem auf die Normierung eingegangen.

IdentyFi® wurde mit wissenschaftlichen Methoden auf die genannten Kriterien hin untersucht und überprüft. Zusammenfassend kann ausgesagt werden, dass die untersuchten Gütekriterien erfüllt bis sehr gut erfüllt sind. Die Untersuchungen und Ergebnisse sind im Folgenden kurz beschrieben.

Objektivität

Unter der Objektivität einer wissenschaftlichen Untersuchung versteht man die Standardisierung sowie die Unabhängigkeit der Testergebnisse von den Rahmenbedingungen und von der Testleitung bei der Durchführung, Auswertung und Interpretation (Fisseni, 1997).

Die Durchführung der Analyse soll so wenig wie möglich von externen Störfaktoren beeinflusst werden und möglichst standardisiert sein (ebd.). Da es sich bei IdentyFi® um ein computergestütztes Verfahren handelt, erfolgen die Instruktion und die Testdurchführung standardisiert, was die Durchführungsobjektivität gewährleistet. Da während der Durchführung keine weiteren Durchführungsmaterialien als die am Computer dargebotenen Instruktionen und Fragebogen-Items gebraucht werden, es sich um keinen Leistungstest handelt und insofern Abschreiben, Notizen machen oder die Hilfestellung weiterer Personen irrelevant sind, ist die Gefahr von störenden Einflüssen auf die Art der Durchführung gering.

Von Auswertungsobjektivität wird gesprochen, wenn gleiche Antworten auch zu gleichen Resultaten führen (ebd.). Auch dieses Kriterium wird aufgrund der computerbasierten und automatisierten Berechnung der Ergebnisse vollumfänglich erfüllt. Dadurch wird eine Verfälschung der Testresultate verunmöglicht.

Die Interpretationsobjektivität ist dann gegeben, wenn unterschiedliche Personen unabhängig voneinander aus gleichen Werten die gleichen Schlussfolgerungen ziehen und somit die Ergebnisse identisch interpretieren. Auf der Auswertung wie auch in den Interpretationshinweisen dieses Handbuchs (siehe Tabelle A1 bis Tabelle A6) werden die individuellen Ergebnisse ausformuliert entsprechend der Ausprägungen der Merkmale. So wird der Interpretationsspielraum für die Personen, die die Auswertung interpretieren, geschmälert. Durch die detaillierte Beschreibung typischer Eigenschaften und Verhaltensweisen, die aufgrund eines Test-Ergebnisses auf der Auswertung (sowie in Tabelle A1 bis Tabelle A6 dieses Handbuchs) erwartet werden, kann auch die Objektivität der Interpretation als erfüllt bezeichnet werden.

Reliabilität

Unter Reliabilität wird die Zuverlässigkeit im Sinne der Messgenauigkeit eines Testverfahrens verstanden. Die Reliabilität kann unterschiedlich bestimmt werden. Die Retest-Reliabilität sagt aus, ob ein Test bei wiederholter Messung unter denselben Bedingungen und mit denselben Personen zum gleichen Ergebnis führt (Fisseni, 1997). Eine gängige Methode zur Bestimmung der Messgenauigkeit eines Verfahrens ist die Berechnung der internen Konsistenz einer Fragebogenskala (z. B. einer Reihe von Items zur Messung ein und derselben Persönlichkeitseigenschaft). Diese gibt Auskunft darüber, wie stark die einzelnen Items einer Dimension zusammenhängen, also das Gleiche messen, beziehungsweise in welchem Ausmass dieselben Personen die Items in gleicher Weise beantworten (Fisseni, 1997).

Die Retest-Reliabilität der einzelnen Dimensionen von IdentyFi® (siehe Tabelle 2) reicht von r_tt = .76 bis r_tt = .87. Diese Werte können, abgeglichen mit den Richtwerten für Cronbachs Alpha, als akzeptabel bis gut beurteilt werden (George & Mallery, 2002). Retest-Reliabilitäten bei Persönlichkeitsverfahren liegen durchschnittlich bei .79, wobei 50 Prozent Werte zwischen .71 und .86 erreichen (Charter, 2003, zit. nach Schmidt-Atzert & Amelang, 2012). Die Retest-Koeffizienten von IdentyFi® befinden sich ebenfalls in diesem Wertebereich. Die Reliabilität wurde mittels Spearman-Korrelation zwischen den Skalenwerten zu beiden Erhebungszeitpunkten erfasst. Die 52 Personen der Retest-Stichprobe waren Teil der ersten Normierungsstichprobe für den Direktzugang von IdentyFi® im Jahre 2017 und haben die zweite Testung von IdentyFi® mit einem Abstand von rund neun Wochen (Mittelwert = 9.02 Wochen, Standardabweichung = 1.33 Wochen) durchgeführt.

Tabelle 2. Retest-Reliabilität je Dimension von IdentyFi®

Bemerkung: ¹Anzahl Personen Retest-Stichprobe = 52, r_tt = Retest-Reliabilität.

Die interne Konsistenz der einzelnen Dimensionen von IdentyFi® (siehe Tabelle 3), angegeben mit Cronbachs Alpha, reicht von α = .75 bis α = .93 (Direktzugang) respektive von α = .69 bis α = .91 (Firmenzugang). Diese Werte können als akzeptabel bis exzellent beurteilt werden (George & Mallery, 2002). Für die Berechnung der Cronbachs-Alpha-Werte wurden die Stichproben, welche unter Kapitel Normierung beschrieben werden, herangezogen.

Tabelle 3. Interne Konsistenz je Dimension von IdentyFi®

Bemerkung: Anzahl Personen Direktzugang = 249, Anzahl Personen Firmenzugang = 1870

¹ Die Skala Durchhaltevermögen besteht aus zwei inhaltlichen Facetten Leidenschaftliches Engagement und Ausdauernder Einsatz. Durch die Heterogenität der Skala (d. h. die inhaltliche Vielfalt) wird die interne Konsistenz als Mass der Interkorrelation der Items in der Regel unterschätzt (Moosbrugger & Kelava, 2012). Vor diesem Hintergrund können die Werte als akzeptabel betrachtet werden.

Zusammengefasst lässt sich die Reliabilität der verschiedenen Skalen als akzeptabel bis exzellent bewerten. Die Reliabilitätswerte der einzelnen Skalen weisen sowohl für die interne Konsistenz wie auch die Retest-Prüfung eine akzeptable bis exzellente Höhe auf und können somit als gegeben bewertet werden.

Validität

Unter Validität wird die Gültigkeit der Interpretation der Ergebniswerte eines Testverfahrens verstanden. Die Validität gibt an, ob ein Testverfahren misst, was es messen soll. Es gibt verschiedene Arten der Bestimmung der Validität, so zum Beispiel Inhaltsvalidität, Konstruktvalidität und Kriteriumsvalidität. Für IdentyFi® liegen vor allem Nachweise der Konstruktvalidität vor.

Die Konstruktvalidität ist dann hoch, wenn eine Skala (z. B. in einem Fragebogen) das erfasst, was sie erfassen soll (und nicht etwas anderes als vorgegeben). Um Konstruktvalidität zu bestimmen, kann ein empirischer Vergleich mit den Messwerten von Verfahren gemacht werden, die konzeptuell ähnliche (konvergente Validität) beziehungsweise auch konzeptuell stark abweichende Konstrukte (diskriminante Validität) erfassen. Dabei sollten konvergente Zusammenhänge hoch und diskriminante Zusammenhänge niedrig sein.

Mit IdentyFi® werden auf den beruflichen Kontext bezogene Facetten der Dimensionen des universalen Fünf-Faktoren-Modells der Persönlichkeit erfasst. Weil die Fundierung der Persönlichkeitseigenschaften in IdentyFi® im Modell der Big Five (siehe z. B. Goldberg, 1999) ein Kriterium für die konzeptuelle Entwicklung war, wurde als erster Schritt der Bestimmung der Konstruktvalidität der Zusammenhang zwischen den Testwerten von IdentyFi® und einem Messverfahren für die klassischen Big-Five-Faktoren der Persönlichkeit untersucht.

Die Personen der beiden Normierungsstichproben haben zu diesem Zweck zusätzlich einen Kurzfragebogen der Big Five beantwortet. Dabei handelt es sich um das Verfahren BFI-10 (10 Item Big Five Inventory; Rammstedt, Kemper, Klein, Beierlein & Kovaleva, 2013), das mit jeweils zwei Items die Ausprägung der fünf Big-Five-Dimensionen misst. Durch die kurze Bearbeitungszeit ist das Verfahren sehr ökonomisch und weist trotz der geringen Item-Anzahl für Forschungszwecke eine hinreichende Reliabilität auf (Rammstedt et al., 2013).

In Tabelle 4 ist ersichtlich, dass in der vorliegenden Validitätsuntersuchung die IdentyFi®-Dimensionen meist am höchsten mit den jeweils konzeptuell korrespondierenden BFI-10-Dimensionen zusammenhingen (unkorrigierte Spearman-Korrelation). Kontaktbereitschaft sensu IdentyFi® korrelierte wie zu erwarten am höchsten mit Extraversion gemäss Big-Five-Inventar (BFI-10). Emotionale Stärke wies den höchsten Zusammenhang auf mit Neurotizismus (die Werte wurden umgepolt und entsprechen insofern Emotionaler Stabilität). Lernwille hing mit BFI-10-Offenheit für Erfahrungen zusammen, wobei sich hier ebenfalls ein vergleichbar hoher Zusammenhang mit Extraversion und noch deutlicher ein Zusammenhang mit Emotionaler Stabilität (Neurotizismus) und mit BFI-10-Gewissenhaftigkeit zeigte. Lernwille kann so als Aggregat verschiedener Big-Five-Facetten angesehen werden, das neben Wissbegierde auch das Zutrauen in die eigenen akademischen Fähigkeiten und die handlungsbezogene Umsetzungsneigung im Sinne von Fleiss und Sorgfalt (BFI-10-Gewissenhaftigkeit) einschliesst. Wie erwartet ergab sich ausserdem ein Zusammenhang zwischen Bereitschaft zur Teamarbeit und Verträglichkeit sowie mit Extraversion. Allgemein gesellige und sozial ausgleichende Personen mit Vertrauen in ihre Mitmenschen berichten somit konzeptuell stimmig auch eine höhere Bereitschaft zur Teamarbeit. Gewissenhaftigkeit sensu IdentyFi® und BFI-10 korrelieren erwartungsgemäss hoch miteinander. Durchhaltevermögen wurde nicht basierend auf den BFI-10 konstruiert und weist nicht überraschend einen deutlichen Zusammenhang mit mehreren BFI-10 Items auf. Es korreliert am höchsten mit Gewissenhaftigkeit, weist zusätzlich deutliche Zusammenhänge mit Extraversion und emotionaler Stabilität auf,

Tabelle 4. Korrelationen zwischen IdentyFi®- und BFI-10-Skalen (Direktzugang)

Bemerkung: * p < .05, ** p < .01, *** p < .001, N = 249.

Die Skalenkorrelationen zwischen IdentyFi® und BFI-10 (siehe Tabelle 4) können als Befunde für konvergente Validität verstanden werden. Gleichzeitig deuten die Ergebnisse darauf hin, dass IdentyFi® einen inkrementellen Beitrag zur Persönlichkeitsbeschreibung leisten kann, über gängige Big-Five-Verfahren hinaus. Da die Persönlichkeitsdimensionen von IdentyFi® konvergent zu den korrespondierenden Big-Five-Dimensionen stehen, sich jedoch nicht vollständig durch die Zusammenhänge mit diesen beschreiben lassen, kann ein diagnostischer Mehrwert von IdentyFi® erwartet werden (wobei empirische Untersuchungen zur inkrementellen Validität in Bezug auf ein Aussenkriterium bislang noch nicht vorliegen). Die tieferen konvergenten Zusammenhänge der Dimensionen Lernwille und Bereitschaft zur Teamarbeit mit den je korrespondierenden Big-Five-Faktoren (d. h. Offenheit für Erfahrung beziehungsweise Extraversion und Verträglichkeit) lassen sich unter anderem folgendermassen erklären: Diese beiden IdentyFi®-Dimensionen erfassen, anders als die drei übrigen, spezifischere Aspekte von Persönlichkeit als die jeweiligen Big-Five-Dimensionen. «Schmalere» Merkmale (wie z. B. Bereitschaft zur Teamarbeit) haben jedoch den Vorteil, genauere Vorhersagen über das Kriteriumsverhalten (z. B. Vorliebe für die Zusammenarbeit mit anderen) zu ermöglichen als breitere Merkmale (z. B. Geselligkeit als Facette von Extraversion).

Einen weiteren Befund bei der Bestimmung der Konstruktvalidität bilden die erwartungsgemäss niedrigen, diskriminanten Zusammenhänge der sechs Dimensionen von IdentyFi® untereinander, siehe Tabelle 5. Wie in Tabelle 5 ersichtlich, liegen Interkorrelationen in zu erwartender Richtung und in einer Höhe vor, die darauf hinweisen, dass die verschiedenen Messwerte der Skalen trotz inhaltlicher Nähe einiger Dimensionen unterschiedliche Aspekte und Eigenschaften bei der Persönlichkeitsbeschreibung repräsentieren. Dabei können die Messwerte von Lernwille und Gewissenhaftigkeit mit einem niedrigen bis mittleren Zusammenhang leicht ähnlich interpretiert werden. Inhaltlich ist dieser Befund nachvollziehbar, kann doch eine allgemeine Leistungsmotivation als charakteristischer Aspekt sowohl von Gewissenhaftigkeit als auch von Lernwille genannt werden. Der Zusammenhang der Messwerte der Dimensionen Durchhaltevermögen und Emotionale Stärke, Lernwille und Gewissenhaftigkeit kann als mittlerer bis hoher Zusammenhang interpretiert werden. Dieser Befund war zu erwarten, da inhaltlich eine gewisse Überlappung der Konstrukte besteht und zum Beispiel eine allgemeine Leistungsmotivation sowohl für Durchhaltevermögen wie auch für Lernwillen zentral ist.

Tabelle 5. Interkorrelationen der IdentyFi®-Dimensionen (Firmenzugang)

Bemerkung: * p < .05, ** p < .01, *** p < .001, N = 1870

Studien für die Bestimmung der Kriteriumsvalidität von IdentyFi® stehen noch aus. Kriteriumsvalidität liegt vor, wenn ein relevantes Aussenkriterium (z. B. Grösse des sozialen Netzwerks und dessen Nutzung für das Merkmal Kontaktbereitschaft) mit dem Testwert eines Verfahrens systematisch zusammenhängt (Westhoff et al., 2010). Zusammenfassend kann festgehalten werden, dass zwar nicht für alle Validitätsarten Nachweise vorliegen, die Ergebnisse der Überprüfung der Konstruktvalidität von IdentyFi® dabei aber als gut bewertet werden können.

Normierung

Die Normierung eines Tests ermöglicht es, die individuellen Testergebnisse von Personen im Vergleich zu den Ergebnissen einer aussagekräftigen Stichprobe von Teilnehmenden in ein normatives Bezugssystem einzuordnen (Amelang & Schmidt-Atzert, 2006). Weil IdentyFi® sowohl im Rahmen von Bewerbungsprozessen als auch ausserhalb von Rekrutierungsverfahren Einsatz finden kann, sind der Auswertung zwei verschiedene Normierungsstichproben zugrunde gelegt.

Beide Normierungen sollen gemäss den Anforderungen der DIN 33430 (Westhoff et al., 2010) in regelmässigen Abständen, mindestens alle acht Jahre, mit neu erhobenen Daten überprüft und verfeinert werden.

Die folgenden Informationen beziehen sich auf beide Normierungsstichproben und betreffen damit sowohl den Direktzugang wie auch den Firmenzugang. Die ungleiche Geschlechtsverteilung der Normierungsstichprobe wurde bei der Berechnung der Normwerte mittels Gewichtung berücksichtigt. Die Stanine-Bereiche werden mittels Ableitung der entsprechenden Prozentrangwerte (4%, 11%, 23%, 40%, 60%, 77%, 89%, 96%, 100%) bestimmt. Dies führt dazu, dass die Verteilung der Messwerte in neun gleich grosse Bereiche unterteilt wird, welche die prozentualen Anteile entsprechend der Abbildung 2 beinhalten.

Da bei der Umwandlung der Rohwerte in Stanine-Werte eine Vereinfachung stattfindet, ist eine Reduktion des Differenzierungsgrades der Werte unvermeidbar. Dies hat zur Folge, dass die ermittelten prozentualen Verteilungen von der gewünschten Verteilung leicht abweichen. Um die prototypische Verteilung entsprechend der Stanine-Norm zu erreichen, wurden deshalb bestimmte Rohwert-Grenzen zur Optimierung minim angepasst. Dadurch hat sich die Abweichung der prozentualen Anteile der Personen je Stanine-Bereich der gewünschten Verteilung der Werte angenähert.

Die aktuelle Normierung mit zwei verschiedenen Normstichproben nimmt Rücksicht auf zwei verschiedene Einsatzmöglichkeiten von IdentyFi® (private Nutzung aus Eigeninteresse im Direktzugang und Nutzung für Bewerbungsprozesse im Firmenzugang). Hingegen wurde auf sonstige gruppenspezifische Normen (beispielsweise für Geschlecht, Alter oder Ausbildungsstand) verzichtet. Zwischen manchen Gruppen (z. B. Personen mit unterschiedlichem Ausbildungsstand) lassen sich bei manchen Persönlichkeitsdimensionen systematische Unterschiede finden. Spezifische Normen könnten so zu einer ungleichen Behandlung verschiedener Personen führen, was vor allem in der Eignungsbeurteilung starke Konsequenzen für die Biografien von Bewerbenden haben kann. Die Verwendung spezifischer Testnormen kann zudem als eine Gefährdung für die Interpretationsobjektivität des Verfahrens gesehen werden.

Direktzugang

Die aktuelle Normierung wurde anhand einer Stichprobe von 249 Personen der deutschsprachigen Schweiz durchgeführt, welche die Persönlichkeitsanalyse zwischen Mitte September 2020 und Juni 2024 absolviert hatten. Die Personen waren zum Zeitpunkt der Durchführung zwischen 11 und 25 Jahre alt (Mittelwert = 16.2 Jahre, Standardabweichung = 2.8 Jahre), wobei 90% der Personen zwischen 11 und 21 Jahre alt sind. Das Verfahren ist somit nicht geeignet für Personen, die von diesem Referenzalter abweichen. Von der Normierungsstichprobe sind 109 Personen (43.6 %) weiblich, 141 sind männlich (56.4 %).

Firmenzugang

Die aktuelle Normierung wurde anhand einer Stichprobe von 1870 Personen der deutschsprachigen Schweiz durchgeführt, welche die Persönlichkeitsanalyse zwischen Ende September 2020 und Juni 2024 absolviert hatten. Die Personen waren zum Zeitpunkt der Durchführung zwischen 13 und 25 Jahre alt (Mittelwert = 15.8 Jahre, Standardabweichung = 2 Jahre), wobei 90% der Personen zwischen 13 und 18 Jahre alt sind. Das Verfahren ist somit nicht geeignet für Personen, die von diesem Referenzalter abweichen. Von der Normierungsstichprobe sind 529 Personen weiblich (28.3 %), 1341 sind männlich (71.7 %).