Gütekriterien

Die Qualität wissenschaftlicher Messinstrumente wird in der klassischen Testtheorie anhand der drei Hauptgütekriterien Objektivität, Reliabilität und Validität ermittelt. Als eines der wichtigsten Nebengütekriterien wird hier zudem auf die Normierung eingegangen.

IdentyFi® Pro wurde mit wissenschaftlichen Methoden auf die genannten Kriterien hin untersucht und überprüft. Zusammenfassend kann ausgesagt werden, dass die untersuchten Gütekriterien erfüllt bis sehr gut erfüllt sind. Die Untersuchungen und Ergebnisse sind im Folgenden beschrieben.

Objektivität

Unter der Objektivität einer wissenschaftlichen Untersuchung versteht man die Standardisierung sowie die Unabhängigkeit der Testergebnisse von den Rahmenbedingungen und von der Testleitung bei der Durchführung, Auswertung und Interpretation (Fisseni, 1997).

Die Durchführung eines Testverfahrens soll möglichst unbeeinflusst durch externe Störfaktoren sowie standardisiert sein. Da es sich bei IdentyFi® Pro um ein computergestütztes Verfahren handelt, erfolgen die Instruktion und die Testdurchführung standardisiert, was der Durchführungsobjektivität zugutekommt. Während der Durchführung werden keine weiteren Durchführungsmaterialien als die am Computer dargebotenen Instruktionen und Fragebogen-Items gebraucht. Ausserdem handelt es sich nicht um einen Leistungstest und insofern sind Verfälschungen durch Abschreiben, Notizenmachen oder die Hilfestellung weiterer Personen nicht zu erwarten.

Von Auswertungsobjektivität wird gesprochen, wenn gleiche Antworten auch zu gleichen Resultaten führen (Fisseni, 1997). Auch dieses Kriterium wird aufgrund der computerbasierten und automatisierten Berechnung der Ergebnisse vollumfänglich erfüllt.

Interpretationsobjektivität ist dann gegeben, wenn unterschiedliche Personen unabhängig voneinander aus gleichen Werten die gleichen Schlussfolgerungen ziehen und somit die Ergebnisse identisch interpretieren. Auf der Auswertung wie auch in den Interpretationshinweisen dieses Handbuchs (siehe Tabelle A1 bis A10 im Anhang) werden die individuellen Ergebnisse mit Textelementen ausformuliert, entsprechend den Ausprägungen der Merkmale. So wird der Deutungsspielraum für die Personen, die die Auswertung interpretieren, geschmälert. Die detaillierte Beschreibung typischer Eigenschaften und Verhaltensweisen, die im Testergebnis (sowie in Tabelle A1 bis Tabelle A10 im Anhang dieses Handbuchs) enthalten sind, begünstigt die Objektivität der Interpretation.

Reliabilität

Unter Reliabilität wird die Zuverlässigkeit im Sinne der Messgenauigkeit eines Testverfahrens verstanden. Die Reliabilität kann unterschiedlich bestimmt werden. Eine gängige Methode zur Bestimmung der Messgenauigkeit eines Verfahrens ist die Berechnung der internen Konsistenz einer Fragebogenskala (z. B. einer Reihe von Items zur Messung ein und derselben Persönlichkeitseigenschaft). Diese gibt Auskunft darüber, wie stark die einzelnen Items einer Dimension zusammenhängen, also das Gleiche messen, beziehungsweise in welchem Ausmass dieselben Personen die Items in gleicher Weise beantworten (Fisseni, 1997).

Die interne Konsistenz der einzelnen Dimensionen von IdentyFi® Pro (siehe Tabelle 3), angegeben mit Cronbachs Alpha, reicht von α = .81 bis α = .95 respektive von α = .68 bis α = .91 für IdentyFi® Pro im Rahmen der Kompetenzanalyse Gesundheit HF. Diese Werte können als gut bis exzellent beurteilt werden (George & Mallery, 2002). Für die Berechnung der Cronbachs-Alpha-Werte wurden die Stichproben, welche unter Kapitel 5.4 Normierung beschrieben werden, herangezogen.

Tabelle 3. Psychometrische Eigenschaften der IdentyFi®-Pro-Skalen

Anmerkung: Anzahl Personen IdentyFi® Pro = 391 / Anzahl Personen IdentyFi® Pro Kompetenzanalyse Gesundheit HF = 7298.

Validität

Unter Validität wird die Gültigkeit der Interpretation der Ergebniswerte eines Testverfahrens verstanden. Mit der Bestimmung von Validität gibt man an, ob ein Testverfahren misst, was es messen soll. Es gibt verschiedene Arten der Bestimmung der Validität, so zum Beispiel Inhaltsvalidität, Konstruktvalidität und Kriteriumsvalidität. Für IdentyFi® Pro werden unten Ergebnisse für den Nachweis der Konstruktvalidität behandelt.

Die Konstruktvalidität ist dann hoch, wenn eine Skala (z. B. in einem Fragebogen) das erfasst, was sie erfassen soll (und nicht etwas anderes als vorgegeben). Um Konstruktvalidität zu bestimmen, kann ein empirischer Vergleich mit den Messwerten von Verfahren gemacht werden, die konzeptuell ähnliche (konvergente Validität) beziehungsweise auch konzeptuell abweichende Konstrukte (diskriminante Validität) erfassen. Dabei sollten konvergente Zusammenhänge hoch und diskriminante Zusammenhänge niedrig sein.

Mit IdentyFi® Pro werden auf den beruflichen Kontext bezogene Facetten der Dimensionen des universalen Fünf-Faktoren-Modells der Persönlichkeit erfasst. Weil die Fundierung der Persönlichkeitseigenschaften in IdentyFi® Pro im Modell der Big Five (siehe z. B. Goldberg, 1999) ein Kriterium für die konzeptuelle Entwicklung war, wird als erster Schritt zur Bestimmung der Konstruktvalidität der Zusammenhang zwischen den Testwerten von IdentyFi® Pro und einem Messverfahren für die klassischen Big-Five-Faktoren der Persönlichkeit untersucht.

Zur Bestimmung der konvergenten Validität haben N = 393 Personen im allgemeinen Zugang zur Online-Durchführung des Verfahrens sowohl IdentyFi Pro® bearbeitet als auch einen Fragebogen zur Erfassung der Big Five Persönlichkeitsmerkmale. Dabei handelt es sich um das Verfahren BFI-10 (10 Item Big Five Inventory; Rammstedt et al., 2013), das mit jeweils zwei Items die Ausprägung der fünf Big-Five-Dimensionen misst. Durch die kurze Bearbeitungszeit ist das Verfahren sehr ökonomisch und weist trotz der geringen Item-Anzahl für Forschungszwecke eine hinreichende Reliabilität auf (Rammstedt et al., 2013). Die Korrelationen zwischen IdentyFi Pro® und den Big Five Persönlichkeitsmerkmalen sind in Tabelle 4 dargestellt.

In Tabelle 4 ist ersichtlich, dass in der vorliegenden Validitätsuntersuchung die IdentyFi® Pro-Dimensionen oft am höchsten mit den jeweils konzeptuell korrespondierenden BFI-10-Dimensionen zusammenhingen.

Gewissenhaftigkeit mit den Facetten Zuverlässigkeit und Sorgfalt im IdentyFi Pro® und Gewissenhaftigkeit erfasst mit dem BFI-10 korrelieren erwartungsgemäss hoch miteinander.

Lernwille hing wie erwartet mit den BFI-10-Skalen Gewissenhaftigkeit und Offenheit für Erfahrungen zusammen, wobei sich hier noch weitere Zusammenhänge mit Extraversion und noch deutlicher ein Zusammenhang mit BFI-10-Neurotizismus zeigte. Lernwille kann so als Aggregat verschiedener Big Five Facetten angesehen werden, welches neben Wissbegierde auch das Zutrauen in die eigenen akademischen Fähigkeiten und die handlungsbezogene Umsetzungsneigung im Sinne von Fleiss und Sorgfalt (im Sinne von BFI-10-Gewissenhaftigkeit) einschliesst.

Belastbarkeit mit den Facetten Funktionieren unter Belastung und Leistungsbezogene Sicherheit wies den höchsten Zusammenhang mit Neurotizismus auf. Personen, die sich im IdentyFi Pro® als belastbar beschrieben, hatten tiefere Werte in Neurotizismus (und somit eine höhere emotionale Stabilität) als Personen, die sich als weniger belastbar beschrieben.

Führungsmotivation mit den Facetten Durchsetzungsvermögen und Führungswille zeigte einen Zusammenhang vor allem mit Extraversion. Die Neigung, in sozialen Situationen mit Selbstsicherheit und Bestimmtheit aufzutreten (im Sinne von Durchsetzungsvermögen), gilt als Facette von Extraversion (vgl. Ostendorf & Angleitner, 2004). So ist es konzeptuell stimmig, dass Personen mit hoher Führungsmotivation sich als extravertierter beschreiben im Vergleich zu Personen mit niedriger Führungsmotivation.

Geselligkeit und Offenheit mit den Facetten Kontaktbereitschaft und Einfühlungsvermögen des IdentyFi Pro® korrelierte wie zu erwarten am höchsten mit Extraversion gemäss dem Big Five Inventar. Hierbei zeigte sich auch ein Bezug von Geselligkeit und Offenheit zu Neurotizismus: emotional stabilere Personen hatten höhere Werte in Geselligkeit und Offenheit als emotional weniger stabile Personen.

Wie zu erwarten, ergaben sich Zusammenhänge zwischen Bereitschaft zur Teamarbeit einerseits und Extraversion und Verträglichkeit andererseits. Allgemein gesellige und sozial ausgleichende Personen mit Vertrauen in ihre Mitmenschen berichten somit konzeptuell stimmig auch eine höhere Bereitschaft zur Teamarbeit als weniger extravertierte und verträgliche Personen. Ausserdem zeigte sich ein Zusammenhang zwischen Bereitschaft zur Teamarbeit und Neurotizismus sowie Gewissenhaftigkeit: Personen mit höheren Werten in Bereitschaft zur Teamarbeit können als gewissenhafter und emotional stabiler charakterisiert werden im Vergleich zu Personen mit niedrigeren Werten in Bereitschaft zur Teamarbeit.

Tabelle 4. Korrelationen zwischen IdentyFi Pro®- und BFI-10-Skalen

Anmerkung. BFI-10: 10 Item Big Five Inventory (Rammstedt et al., 2013), N = 391. /* p < .05, ** p < .01, *** p < .001

Die Skalenkorrelationen zwischen IdentyFi Pro® und BFI-10 können als Befunde für konvergente Validität verstanden werden. Gleichzeitig deuten die Ergebnisse darauf hin, dass IdentyFi Pro® einen inkrementellen Beitrag zur Persönlichkeitsbeschreibung leisten kann, über gängige Big Five Verfahren hinaus. Da die Persönlichkeitsdimensionen von IdentyFi Pro® konvergent zu den korrespondierenden Big-Five-Dimensionen stehen, sich jedoch nicht vollständig durch die Zusammenhänge mit diesen beschreiben lassen, kann ein diagnostischer Mehrwert von IdentyFi Pro® erwartet werden (wobei empirische Untersuchungen zur inkrementellen Validität in Bezug auf ein Aussenkriterium bislang noch nicht vorliegen). «Schmalere» Merkmale (wie z. B. Bereitschaft zur Teamarbeit) haben gegenüber den globalen Persönlichkeitsmerkmalen der Big Five den Vorteil, genauere Vorhersagen über das Kriteriums-Verhalten (z. B. Vorliebe für die Zusammenarbeit mit anderen) zu ermöglichen als breitere Merkmale (z. B. Extraversion).

Einen weiteren Befund bei der Bestimmung der Konstruktvalidität bilden die diskriminanten Zusammenhänge der sechs Dimensionen von IdentyFi Pro® untereinander, siehe Tabelle 5. Wie in Tabelle 5 ersichtlich, liegen Interkorrelationen in zu erwartender Richtung und in einer Höhe vor, die darauf hinweisen, dass die verschiedenen Messwerte der Skalen trotz inhaltlicher Nähe einiger Dimensionen unterschiedliche Aspekte und Eigenschaften bei der Persönlichkeitsbeschreibung repräsentieren. Dabei können die Messwerte von Führungsmotivation und Geselligkeit und Offenheit mit einem mittleren Zusammenhang leicht ähnlich interpretiert werden. Inhaltlich ist dieser Befund nachvollziehbar, kann doch ein allgemeines Interesse für Gruppenaktivität als charakteristischer Aspekt sowohl von Führungsmotivation als auch von Geselligkeit und Offenheit genannt werden.

Tabelle 5. Interkorrelationen der IdentyFi® Pro Gesundheit HF-Dimensionen

Anmerkung: *** p < .001, N = 7298.

Normierung

Die Normierung eines Tests ermöglicht es, die individuellen Testergebnisse von Personen im Vergleich zu den Ergebnissen einer aussagekräftigen Stichprobe von Teilnehmenden in ein normatives Bezugssystem einzuordnen (Amelang & Schmidt-Atzert, 2006). Es liegen Daten von deutschsprachigen Erwachsenen vor.

Es wurde auf gruppenspezifische Normen (z. B. für Geschlecht oder Alter) verzichtet. Zwischen manchen Gruppen (z. B. Personen mit unterschiedlichem Ausbildungsstand) lassen sich bei manchen Persönlichkeitsdimensionen systematische Unterschiede finden. Spezifische Normen könnten so zu einer ungleichen Behandlung verschiedener Personen führen, was vor allem in der Eignungsbeurteilung starke Konsequenzen für die Biografien von Bewerbenden haben kann. Die Verwendung spezifischer Testnormen kann zudem als eine Gefährdung für die Interpretationsobjektivität des Verfahrens gesehen werden.

IdentyFi® Pro (Allgemein)

Die aktuelle Normierung wurde anhand einer Stichprobe von 391 Personen der deutschsprachigen Schweiz durchgeführt, welche die Persönlichkeitsanalyse zwischen April 2019 und Mai 2024 absolviert hatten. Die Personen waren zum Zeitpunkt der Durchführung zwischen 16 und 64 Jahre alt (Mittelwert = 33.3 Jahre, Standardabweichung = 11.5 Jahre). Das Verfahren ist somit nicht geeignet für Personen, die von diesem Referenzalter abweichen. Von der Normierungsstichprobe sind 226 Personen (57.8 %) weiblich, 165 sind männlich (42.2 %).

IdentyFi® Pro Kompetenzanalyse Gesundheit HF

Die Normierung für den Einsatzbereich der Kompetenzanalyse Gesundheit HF wurde anhand einer Stichprobe von 7298 Personen der deutschsprachigen Schweiz durchgeführt, welche die Analyse zwischen Mai 2021 und Februar 2024 absolviert haben. Die Personen waren zum Zeitpunkt der Durchführung zwischen 17 und 64 Jahre alt (Mittelwert = 24.9 Jahre, Standardabweichung = 7.8 Jahre). Von der Normierungsstichprobe sind 5889 Personen (80.3 %) weiblich, 1439 männlich (19.7 %).