Welche, der am Markt befindlichen Testwerkzeuge (Potenzial-Analyse, Personal-Diagnostik) sind von ausreichend hoher Qualität, um einen echten Wert für das Unternehmen zu schaffen – Stichwort Validität? Gute Frage. Dem geht dieser Artikel auf den Grund:
Gastautor Reliabilität: Master HR Consulting (Psychologen-Team von Master HR)
Wenn die Reliabilität (Zuverlässigkeit) die Schiene ist, dann ist die Validität (Gültigkeit) der Zug. Beide müssen einwandfrei funktionieren, damit die Fahrgäste dorthin gelangen, wo sie hinmüssen. Aber während man die Gleise ohne einen Zug verlegen kann, kann der Zug nicht ohne die Gleise fahren. Ebenso ist die Reliabilität zwar eine Voraussetzung für die Validität, sie sagt aber nichts über die tatsächliche Validität eines Tests aus.
Die Essenz der Validität
Es erfordert Expertenwissen, um die Validität eines Tests eingehend zu beurteilen. Dies ist einer der Gründe, warum viele internationale Unternehmen verlangen, dass ihre Testinstrumente von einer großen, unabhängigen Institution wie BPS (British Psychological Society) oder DNV (Det Norske Veritas) zertifiziert bzw. registriert werden. Wenn ein Test nur in einer einzigen Sprache zertifiziert ist, bedeutet dies in der Regel, dass Sie sich auf eine bestimmte hohe Qualität verlassen können. Beachten Sie jedoch, dass der Test von einer vertrauenswürdigen Organisation psychometrisch ausgewertet wurde.
Wenn Sie sich in einer Situation befinden, in der Sie beurteilen müssen, ob ein Test gut genug ist, dann empfehlen wir, nach diesen drei Elementen Ausschau zu halten: (1) Der Test muss auf einer soliden Theorie basieren, (2) Theorie und Praxis sollten miteinander verknüpft sein und (3) der Test muss in der Lage sein, relevante Ergebnisse „vorherzusagen“.
1. Wählen Sie einen theoretisch basierten Test
Heute basiert die Testkonstruktion fast immer auf einer (psychologischen) Theorie. Zum Beispiel basiert die überwiegende Mehrheit der Persönlichkeitstests für Unternehmen auf der Eigenschaftentheorie (den so genannten „Big Five Traits“), da es eine Vielzahl von Forschungsergebnissen gibt, die Assoziationen zu einer Vielzahl von relevanten Ergebnissen wie Teamarbeit, Leistung, Bindung, Engagement, usw. zeigen. Ohne weiter auf eine Diskussion über psychologische Theorien einzugehen, ist ein guter Ratschlag, einen Test zu wählen, der eine theoretische Grundlage in einer psychologisch anerkannten Theorie hat. Im Allgemeinen kann dies ein guter erster Maßstab für eine hohe Qualität sein.
2. Überprüfen Sie, ob Theorie und Praxis miteinander verbunden sind
Jeder Testhersteller kann behaupten, dass seine Tests auf einer Theorie basieren, aber wie kann man überprüfen, ob das stimmt?
Hierzu werden Sie höchstwahrscheinlich etwas Arbeit investieren müssen, weil es nicht den einen richtigen Weg gibt, einen Test zu validieren. Als Minimum sollten Sie sich das Datenblatt eines Tests ansehen. Und am besten gehen Sie noch etwas weiter und lesen die Testdokumentation, die der Herausgeber des Tests Ihnen zur Verfügung stellen sollte. Dabei suchen Sie nach der Konstruktvalidität, oder mit anderen Worten: Misst der Test das, was er vorgibt zu messen?
Dies sollte im Datenblatt skizziert und im Dokumentationshandbuch ausführlich erläutert werden.
Basierend auf dem Rahmenwerk der European Federation of Psychologists‘ Associations (EFPA) für die Evaluation von Tests, sollte ein Testanbieter in der Lage sein, mindestens eine und vorzugsweise mehrere der folgenden Arten von Studien zu seinen Tests vorzulegen:
- Test-Item-Korrelationen
- Korrelationen mit anderen ähnlichen Tests
- Testverzerrung
- Gruppenunterschiede
- Faktoranalyse
- Multi-Methoden-Design
Item-Korrelationen testen
Damit eine Skala in einem Test gültig ist, sollten alle Fragen innerhalb dieser Skala stark miteinander verbunden sein. Das heißt, wenn eine Person einer Frage „stark zustimmt“, sollte sie in der Regel auch allen anderen Fragen innerhalb dieser Skala zustimmen. Dies kann mit Hilfe von Test-Item- (oder Gesamt-Item) Korrelationen analysiert werden, wobei als Faustregel gilt, dass die Assoziationen zwischen jedem Item und der Skala höher als 0,3 und mit einem Durchschnitt von mindestens 0,5 sein sollten.
Korrelationen mit anderen ähnlichen Tests
Wenn ein Test auf den „Big Five“ basiert und auch ihre Merkmale misst, dann sollte er außerdem eine starke Übereinstimmung mit anderen etablierten Tests aufweisen, welche die „Big Five“-Merkmale messen. Dies kann auch für jede andere theoretische Grundlage gesagt werden. Die Methode besteht dann darin, die gleichen Personen mit verschiedenen Tests, die das gleiche Konstrukt messen, zu testen und anschließend zu analysieren, wie gut die Ergebnisse korrelieren. In der Regel werden hier Korrelationen, die höher als 0,55 sind, akzeptiert.
Testverzerrung
Die Testverzerrung ist ein sehr dehnbarer Begriff. Um es kurz zu fassen: Verschiedene Personengruppen sollten die gleiche Voraussetzungen haben, den Test zu beantworten. Wenn zum Beispiel eine Frage in einem kognitiven Test die Kenntnis einer Stadt in Österreich voraussetzt, dann wären alle Österreicher klar im Vorteil. Natürlich entwerfen kompetente Testentwickler Tests niemals auf diese Weise. Wenn eine bestimmte Übersetzung schlecht ist, sind typischerweise diejenigen, die den Test in dieser Sprache ablegen, im Nachteil. Testanbieter müssen in der Lage sein, entweder durch einen äußerst gründlichen Übersetzungsprozess oder durch Analysen nachzuweisen, dass ihre Tests frei von Verzerrungen sind.
Gruppenunterschiede
Wenn das, was Sie zu messen versuchen, „natürliche“ Unterschiede zwischen verschiedenen Gruppen aufweist, dann muss der Test auch die Unterschiede aufzeigen. Zum Beispiel stellen wir bei Persönlichkeitstests oft fest, dass ältere Menschen auf der Skala „Neurotizismus“ (der „Big Five“-Dimensionen) niedrigere Werte haben. Wenn der von Ihnen verwendete Test also die „Big Five“ misst, dann sollte er auch in der Lage sein, diesen Zusammenhang aufzuzeigen. Natürlich werden diese Unterschiede unweigerlich variieren. Aber der Testanbieter sollte in der Lage sein, eine gewisse Sensibilität gegenüber festgestellten Gruppenunterschieden innerhalb des Tests zu zeigen.
Faktorenanalyse und Multi-Methodenentwurf
Wir werden hier nicht auf die Faktorenanalyse oder das Multimethodendesign eingehen, da diese wesentlich komplexer sind. Es gibt viele gute Beschreibungen, die Sie online finden können, wenn Sie daran interessiert sind. In der Regel sind das nicht die ersten Arten von Studien, die Testverlage ohnehin zur Verfügung stellen. Daher werden Sie diese kaum benötigen, um einen Test auswerten zu können.
3. Finden Sie heraus, ob der Test funktioniert
Aus Benutzersicht ist der vielleicht wichtigste Aspekt der Validität, den es zu berücksichtigen gilt, das Kriterium Gültigkeit. Die Kriteriumsvalidität zeigt Ihnen, wie gut der Test ein externes Ergebnis vorhersagt, typischerweise einen wichtigen Leistungsindikator (KPI) für das Unternehmen. Wenn der Test (z.B. OPTO von Master) in der Lage ist, die Leistung wiederholt vorherzusagen, dann wissen Sie, dass er für diesen Zweck geeignet ist. Ein Beispiel für ein Maß der Kriteriumsvalidität ist der Zusammenhang zwischen dem Testergebnis (oder der Skala) und dem Umsatz als KPI in einem Unternehmen. Im Allgemeinen werden Korrelationen über 0,2 als akzeptabel und über 0,35 als gut angesehen. Wenn Sie nach einem einzigen guten Maß für die Validität suchen, dann suchen Sie nach der Kriteriumsvalidität. Und wählen Sie Tests, die Ergebnisse mit Korrelationen von mindestens 0,35 zu einem KPI dokumentieren können.
Wie inzwischen klar sein sollte, ist es ein recht umfangreicher Prozess, die Validität richtig zu bewerten. Es wird dringend empfohlen, Tests mit einer unabhängigen, externen Akkreditierung auszuwählen. Wenn das jedoch nicht möglich ist, dann hat Ihnen dieser Artikel hoffentlich eine etwas bessere Vorstellung davon vermittelt, wie Sie die Validität selbst beurteilen können.
Validität in der Potenzial-Analyse | 3 Schritte, um die Qualität eines Tests festzustellen
Gast-Autor
Text bereitgestellt von Master HR Consulting, übersetzt von Mag. Bernhard Dworak.
Mag. Bernhard Dworak verfügt aufgrund seiner jahrelangen Erfahrung im HR Bereich und als Geschäftsführer von Master HR Consulting über eine umfangreiche praktische und theoretische Expertise im Bereich der Personaldiagnostik. Der kontinuierliche Austausch mit HR Abteilungen ermöglicht ihm einen tiefen Einblick in die Bedürfnisse und Herausforderungen. Das wiederum kommt seinem Gegenüber zugute.
bernhard.dworak@master-hr.at
https://www.master-hr.at
Validität in der Potenzial-Analyse feststellen: 3 konkrete Schritte
