4. Anwendung
Die Eignungsanalyse Multicheck® Wirtschaft und Administration findet ihre Anwendung in der Regel im Übergang von der obligatorischen Schule in die berufliche Grundbildung in der Schweiz. Eingesetzt wird der Multicheck® Wirtschaft und Administration vornehmlich in zwei Anwendungsgebieten: Einerseits dient sie Jugendlichen als objektive Eignungs- und Standortabklärung, andererseits werden sie durch Unternehmen als Rekrutierungsinstrument verwendet. Der Multicheck® Wirtschaft und Administration ist eine von acht verschiedenen Multicheck® Eignungsanalysen: um den unterschiedlichen Anforderungen der Berufslehren gerecht zu werden, gibt es Eignungsanalysen für sieben unterschiedliche Berufsgruppen sowie eine besondere Eignungsanalyse für Ausbildungen mit dem Abschluss eidgenössisches Berufsattest, EBA. Im aktuellen Kapitel finden sich Erläuterungen zur Durchführung und zur Auswertung des Multicheck® Wirtschaft und Administration.
4.1 Durchführung
Der Multicheck® Wirtschaft und Administration wird rein computerbasiert in den Testcentern von gateway.one in 40 Städten in der Schweiz durchgeführt. Die Durchführung dauert je nach individuellem Tempo zwischen 3,5 und 4 Stunden und kostet 100 Schweizer Franken.
4.1.1 Zielgruppe
Zur Zielgruppe zählen überwiegend Jugendliche, die eine von vier Berufslehren mit eidgenössischem Fähigkeitszeugnis (EFZ) im Bereich Wirtschaft und Administration absolvieren möchten (diese Berufe sind Entwickler/in digitales Business EFZ, Fachmann/-frau Information und Dokumentation EFZ, Fachmann/-frau öffentlicher Verkehr EFZ sowie Kaufmann/Kauffrau EFZ). Der Multicheck® Wirtschaft und Administration hat grundsätzlich keine Alterseinschränkungen. Bei der Entwicklung wurde jedoch auf Schülerinnen und Schüler am Ende der 8. Klasse beziehungsweise zu Beginn der 9. Klasse Bezug genommen und die Testinhalte, nebst der primären Orientierung an den Anforderungen der Wirtschaft und Praxis, dem Wissensstand dieser Altersgruppe gemäss Lehrplan 21 (D-EDK Geschäftsstelle, 2015) angepasst. Die Aufgaben wurden mit Jugendlichen dieser Altersstufe vorgetestet. Es wird empfohlen, den Multicheck® Wirtschaft und Administration am Ende des 8. Schuljahrs (HarmoS 10) oder im 9. Schuljahr (HarmoS 11) zu absolvieren. Trotzdem kann das Testverfahren rein administrativ auch von jüngeren oder älteren Personen durchgeführt werden.
4.1.2 Testformen
Zu Beginn der Testdurchführung wählen die Teilnehmenden aus, ob sie als zweite Fremdsprache (neben Englisch) Französisch oder Italienisch bearbeiten möchten. Daraus ergeben sich zwei Testformen des Multicheck® Wirtschaft und Administration, die bis auf die Aufgaben in der zweiten Fremdsprache identisch sind. Die Testwerte der Bereiche Fachkompetenzen und Fach- und Methodenkompetenzen werden unter Ausschluss der zweiten Fremdsprache berechnet, sodass eine einheitliche Normstichprobe für beide Versionen der Durchführung verwendet werden kann (für die zweite Fremdsprache werden die normbezogenen Ergebnisse des Gebiets mit zwei unterschiedlichen Normstichproben berechnet).
4.1.3 Durchführungszeit
Die Durchführung der Testbearbeitung dauert je nach individuellem Tempo zwischen 3,5 und 4 Stunden. Die Durchführung kann auch schneller absolviert werden, wenn bei den einzelnen Untergebieten nicht die gesamte zur Verfügung stehende Zeit in Anspruch genommen wird. Die Zeit, die für die Bearbeitung der einzelnen Untergebiete zur Verfügung steht, ist in Tabelle B1 als Bearbeitungszeit angegeben. Wohlgemerkt können Teilnehmende sich für das Lesen der Instruktionen und das Bearbeiten der vorbereitenden Beispielaufgaben während der Durchführung quasi unbegrenzt Zeit nehmen. Die Teilnehmdenen werden ungefähr in der Mitte der Durchführung an festgelegter Stelle von der Applikation zu einer mindestens zehnminütigen Pause angehalten. Während der Instruktionsblöcke und der Beispielaufgaben gibt es keine Zeitbeschränkung: die Teilnehmenden starten ein Untergebiet selbstbestimmt, wenn sie die Aufgabe verstanden haben.
4.1.4 Material und Softwareergonomie
Der Multicheck® Wirtschaft und Administration wird in Testcentern sowie ausgewählten privaten und öffentlichen Institutionen an lokal bereitgestellten Computern durchgeführt. Die gewählten Rechner und Bildschirme erfüllen die Anforderungen an Geschwindigkeit und Auflösung der Applikation. Zusätzlich brauchen die Teilnehmenden für die Bearbeitung des Aufgabenuntergebiets Rechnen Papier und Stift. Diese Materialien erhalten die Teilnehmenden zum entsprechenden Zeitpunkt von der Testleitung.
Bei einem technisch bedingten Unterbruch gibt es die Möglichkeit zu einem Wiedereinstieg: per Verwendung der bei der Registrierung verwendeten E-Mail-Adresse und dem bei der Registrierung gesetzten Passwort kann an genau der Stelle eingestiegen werden, bei der unterbrochen wurde.
4.1.5 Instruktionen
Bei der Durchführung im Testcenter gibt die Testleitung eine Einführung, in der standardisiert nochmals alle nötigen Informationen und Hinweise gegeben werden. Diese betreffen Regeln, Durchführungszeit, Pausen, je nach Analyse erlaubte Hilfsmittel sowie Instruktionen zur Registrierung und zum Ablauf der Eignungsanalysen (siehe Kapitel «Ablauf der Durchführung»).
Die Instruktionen zu den einzelnen Aufgabenblöcken werden schriftlich direkt in der Applikation präsentiert. Bei Fragen können sich die Jugendlichen an die Testleitung wenden. Diese hat klare Vorgaben, welche Fragen sie beantworten dürfen und wie diese zu beantworten sind. Es wird ein Vorbereitungstool (Demoversion) kostenlos auf der Internet-Seite www.gateway.one/demo angeboten. Diese Demoversion beinhaltet für sämtliche Aufgabengebiete die originalen Instruktionen und Beispielaufgaben. Die Demoversion kann beliebig oft durchgeführt werden. Dies wird allen Teilnehmenden in der auf die Anmeldung zur Teilnahme folgenden Bestätigungs-E-Mail empfohlen, um die Vertrautheit mit den Aufgabentypen und die Vorkenntnis der Instruktionen zu standardisieren.
4.1.6 Ablauf der Durchführung
Grundsätzlich ist bei jeder Durchführung eines Multicheck® Wirtschaft und Administration eine Testassistentin oder ein Testassistent als Testleitung und Aufsichtsperson anwesend. Zu Beginn wird eine Identitätsprüfung vorgenommen. Nach der standardisierten mündlichen Instruktion durch die Testleitung (siehe Kapitel «Instruktionen») starten die Teilnehmenden mit der individuellen Durchführung. Um mit der Durchführung beginnen zu können, müssen sie sich in der Applikation registrieren. Zunächst wählen die Teilnehmenden den gewünschten Lehrberuf aus (damit sie den Ergebnisbericht mit den Anforderungsprofilen dieses Berufs erhalten) und entscheiden sich für die zu prüfende zweite Fremdsprache (Italienisch oder Französisch). Anschliessend lesen sie allgemeine Hinweise, die sich auf den Gesamttest beziehen. Ab diesem Zeitpunkt finden die Testpersonen sämtliche Instruktionen und Informationen, die sie zur Durchführung brauchen, in schriftlicher Form in der Applikation vor. Weitere Anleitungen seitens der Testleitung sind ab hier nicht mehr notwendig. Die Teilnehmenden dürfen dennoch Fragen stellen, die die Testleitung entsprechend ihrer Richtlinien beantwortet.
Vor den ersten Aufgaben wird den Teilnehmenden eine Übersichtsseite mit dem Ablauf und den Aufgabengebieten in der entsprechenden Reihenfolge angezeigt. Diese Seite wird bei jedem Gebietswechsel eingeblendet, damit ersichtlich wird, welches Gebiet als nächstes folgt beziehungsweise, wo im Testablauf sich der oder die Teilnehmende befindet. Ist ein Aufgabengebiet einmal abgeschlossen, kann nicht wieder dorthin zurückgekehrt werden.
Damit sichergestellt werden kann, dass alle Teilnehmenden die Funktionsweise des Aufgabentypus verstanden haben, wird vor jedem Untergebiet eine Beispielaufgabe ohne Zeitbeschränkung präsentiert. Wird diese falsch gelöst, erscheint auf dem Monitor eine entsprechende Meldung und auf Wunsch kann die korrekte Lösung angezeigt werden. Bei Unklarheiten können Fragen an die Testleitung gestellt werden. Anschliessend kann mit der Bearbeitung der Aufgaben gestartet werden, wobei die zur Verfügung stehende Bearbeitungsdauer innerhalb der Untergebiete bei den Aufgaben zu Fach- und Methodenkompetenzen (nicht aber bei denen zu Selbst- und Sozialkompetenzen) zeitlich begrenzt ist. Während der Durchführung der Testung darf Notizmaterial ausschliesslich für das Aufgabenuntergebiet Mathematik Rechnen benutzt werden. Dieses wird von der Testleitung bereitgestellt.
4.1.7 Beantwortungsmodus und Aufgabentypen
Zwischen den geprüften Untergebieten variiert die Art der Fragen- und Antworttypen. Je nach Aufgabe müssen einzelne oder mehrere korrekte Antworten ausgewählt (Einfach- oder Mehrfachauswahl) oder in ein Eingabefeld geschrieben werden (freie Eingabe). Darüber hinaus gibt es auch Aufgaben, bei welchen Bild- oder Texteinheiten in die richtige Reihenfolge verschoben oder angeklickt werden müssen. Um die maximale Rohwert-Punktzahl zu erreichen, muss jede Aufgabe korrekt beantwortet werden. Es gibt keinen Punktabzug für falsche Antworten, nur entgangenen Punktbonus.
Wenn mit den Aufgaben eines Untergebiets begonnen wird, zeigt eine rückwärtslaufende Uhr die verbleibende Zeit an. Die Zeitbegrenzung ist grosszügig gewählt, sodass die meisten Teilnehmenden alle Aufgaben beantworten können. Eine Ausnahme sind dabei die Untergebiete im Gebiet Konzentration, bei denen auch möglichst schnell gearbeitet werden soll und so mehr Aufgaben zur Verfügung stehen als im Durchschnitt beantwortet werden. Wenn die Zeit abgelaufen ist, wird der Aufgabenblock automatisch beendet. Innerhalb eines Untergebiets kann beliebig zwischen den Aufgaben hin- und hergesprungen werden und somit eine nicht bearbeitete Aufgabe später noch gelöst werden. Es muss also – bis auf wenige Ausnahmen (wie zum Beispiel das Untergebiet «Koordinaten») – keine strikt vorgegebene Reihenfolge eingehalten werden. Auch können bereits eingegebene Antworten geändert werden. Aufgaben können aber auch unbearbeitet bleiben. Für jedes Untergebiet wird unten auf der Seite jeweils eine Navigationsleiste als Übersicht mit allen Aufgaben angezeigt. Es wird farblich hervorgehoben, bei welcher Aufgabe man sich aktuell befindet und ob die Aufgaben bereits bearbeitet worden sind oder nicht. Ein Aufgabengebiet ist beendet, wenn entweder die Zeit abgelaufen ist (automatische Beendigung) oder die durchführende Person den Aufgabenblock selbst beendet hat. Die Aufgaben im Bereich der Selbst- und Sozialkompetenzen sind zeitlich nicht beschränkt, allerdings führt jede Aktion (Anklicken einer Antwortalternative) direkt zur nächsten Seite und es kann nicht zu vorherigen Seiten zurückgekehrt werden.
4.1.8 Durchführungsvoraussetzungen
Da der Multicheck® Wirtschaft und Administration am Computer durchgeführt wird, sind Grundkenntnisse im Umgang mit der Tastatur und der Maus des Computers nötig. Die computerspezifischen Anforderungen werden jedoch so tief wie möglich gehalten und die Testleitung ist angewiesen, bei auftretenden technischen Schwierigkeiten zu helfen. Weil das Testmaterial (Instruktionen und Aufgaben) zu grossen Teilen sprachgestützt ist, werden bei der teilnehmenden Person gute Deutschkenntnisse benötigt, um aussagekräftige Ergebnisse zu erhalten.
4.2 Auswertung für die Bereiche Fachkompetenzen und Methodenkompetenzen
Die Eingaben der Teilnehmenden zu den Testaufgaben werden applikationsgestützt per Computer ausgewertet. Pro Aufgabenuntergebiet (zum Beispiel Verbale Analogien im Gebiet Logik) werden die korrekt gelösten Aufgaben als Summe zusammengezählt und an der Anzahl der gestellten Aufgaben relativiert als «korrekt gelöst in Prozent». Enthält ein Gebiet (zum Beispiel Logik) mehrere Untergebiete, so wird zur Berechnung des Rohwerts pro Gebiet ein Durchschnittswert der Rohwerte der Untergebiete per arithmetischem Mittelwert gebildet als Summe der Rohwerte («korrekt gelöst in %») dividiert durch Anzahl der Untergebiete. Um die Rohwerte der Gebiete mit der Normstichprobe in Bezug setzen zu können, werden diese mittels Standardabweichung und Mittelwert der Normstichprobe standardisiert (z-Transformation). Erläuterungen zur Normstichprobe finden sich unter Kapitel «Eigenschaften der Normgruppe». Der daraus resultierende z-Wert kann dann über die kumulative Dichtefunktion der Standardnormalverteilung in einen Prozentrangwert überführt werden. Einem Prozentrangwert kann somit entnommen werden, an welcher Position sich ein Teilnehmer oder eine Teilnehmerin in der Verteilung der Ergebnisse in der Normstichprobe befindet.
4.2.1 Rohwerte und Prozentrangwerte
Die Rohwerte der Gebiete werden numerisch auf Seite 2 der Ergebnisberichts wiedergegeben (siehe Abbildung A1). Für die Bereiche Fachkompetenzen und Methodenkompetenzen werden die Rohwerte der zugehörigen Gebiete per arithmetischem Mittelwert zu einem Durchschnitt verrechnet und anschliessend wird unter Anwendung von Mittelwert und Standardabweichung der Verteilung des Aggregats der Rohwerte in der Normstichprobe (z-Transformation) der individuelle Prozentrangwert ermittelt. Auf gleiche Weise werden für den Gesamtbereichswert Fach- und Methodenkompetenzen die zwei Rohwerte der Bereiche Fachkompetenzen und Methodenkompetenzen zu einem Durchschnittswert verrechnet und anschliessend wird per Normbezug der individuelle Prozentrang bestimmt.
Abbildung A1. Darstellung der Rohwerte auf dem Ergebnisbericht (Auszug).
Eine ausführliche Erläuterung zur Darstellung der Rohwerte in Abbildung A1 und zu weiteren Elementen des Ergebnisberichts findet sich in den Handhabungshinweisen (Interpretationshilfe: https://wiki.gateway.one/docs/multicheck/wirtschaft-administration-und-detailhandel-service/interpretation-des-zertifikats).
4.3 Auswertung der Aufgaben im Bereich Selbst- und Sozialkompetenzen
Die drei Aufgabengebiete («Szenarien») im Bereich Selbst- und Sozialkompetenzen enthalten je eine Reihe von Aufgaben, die als Situational Judgment Test konzipiert wurden. Anders als bei den Aufgaben aus den anderen Bereichen (also Fachkompetenzen und Methodenkompetenzen) reicht der mögliche Item-Score bei diesen Aufgaben von 0 bis 3. Pro Aufgabe stehen vier Handlungsalternativen oder Reaktionen zur Auswahl. Jede Antwortalternative ergibt entsprechend der Güte der Handlungsalternative im Sinne des Messgegenstands im Auswertungsschlüssel einen anderen Score, wobei jeder Score in der Spannweite der ganzen Zahlen zwischen 0 und 3 pro Aufgabe einmal vertreten ist. Der Rohwert eines Gebiets ergibt sich aus der Summe der Item-Scores relativiert am maximal möglichen Summen-Score (als Prozentanteil). Die Testleistung wird als «Leistungslevel» im Sinne von Quintilen (also «Fünfteln») ausgegeben, indem der Leistungsraum in der Normstichprobe in fünf gleiche Teile zerlegt wird. Das individuelle Ergebnis drückt also aus, ob eine Testperson mit ihrer Testleistung in einem Gebiet zum besten, zweitbesten, drittbesten, viertbesten oder fünftbesten Fünftel der Normstichprobe zählt. Technisch werden dazu die Grenzwerte angewendet, die in der Normstichprobe die Verteilung beim 20. Perzentil (erstes Quintil), beim 40. Perzentil (zweites Quintil), beim 60. Perzentil (drittes Quintil) und beim 80. Perzentil (viertes Quintil) abschneiden. Für den Bereich der Selbst- und Sozialkompetenzen wird kein Bereichswert ausgewertet, sondern es werden die Ergebnisse für die drei Gebiete zurückgemeldet.