Nieuwe kijk op de waarde van assessment tools

Het R&D departement van Hudson analyseert voortdurend de resultaten van onze eigen assessment tools en houdt de vinger aan de pols van de wetenschappelijke evoluties, om de focus te houden op evidence-based methodologieën en een maximale validiteit te garanderen voor onze klanten.

Als doctor in de psychologie en Senior Consultant Research & Development, nam collega Amelie Vrijdags de nieuwe metastudie grondig onder de loep, besprak hem in detail met prof. dr. Filip Lievens (co-auteur van de studie) en licht enkele cruciale inzichten toe in de paper "The value of assessment tools in personnel selection".

Wat is er zo nu baanbrekend aan deze metastudie? Wat vooral opvalt zijn de statistische technieken die gebruikt worden. De auteurs tonen op overtuigende wijze aan dat oudere meta-analyses de voorspellende waarde van tools systematisch overschatten. Als meer correcte analysetechnieken gebruikt worden (wat de auteurs dan ook doen), zien we dat de predictieve validiteit van de meeste tools toch wat lager ligt dan dat de oudere studies beweerden. 

Maar los van deze vernieuwde statistische technieken. Hoe kunnen wij de resultaten van deze metastudie goed begrijpen? Welke assessment tools zijn nu het nuttigst? Deze vraag beantwoorden is minder evident dan het lijkt.

We zoomen in op enkele aspecten die belangrijk zijn om in het achterhoofd te houden bij het interpreteren van de resultaten van meta-analyses.

1) Eerst en vooral: de nieuwe validiteitscijfers zijn over het algemeen wat lager dan in voorgaande studies, maar ze scoren nog steeds heel goed. Zo is het verband tussen cognitieve testen en de werkprestatie (validiteit van 0.31 in de nieuwe metastudie) bijvoorbeeld een stuk sterker dan het effect van ibuprofen op pijnreductie (validiteit van 0.14).

2) Meta-analyses vatten de resultaten van een groot aantal 'primaire' studies samen. In deze studies wordt een grote verscheidenheid aan beroepen, instrumenten en werksettings onderzocht. De validiteitscoëfficiënten uit meta-analyses zijn dus geen precieze getallen, maar gemiddelden. De voorspellende waarde van een bepaalde assessment tool varieert namelijk aanzienlijk naargelang welke studie je zou bekijken. Gestructureerde interviews hebben in de nieuwe meta-analyse bijvoorbeeld de hoogste gemiddelde validiteit, maar hun voorspellende waarde varieert ook sterk over studies heen. Soms voorspellen ze heel goed en soms heel slecht.

3) Dat de voorspellende waarde van assessment tools zo sterk varieert is ook te verwachten, omdat ze afhangt van een groot aantal factoren, waaronder:

• De relevantie van de gebruikte tool voor de job waarvoor men selecteert.

Zo is een persoonlijkheidskenmerk als extraversie een relevante voorspellende factor voor een functie in sales, maar is dat veel minder voor een functie in boekhouding bijvoorbeeld.

• De kwaliteit van de gebruikte tool (de testinhoud, de scoringsmethode, …).

Zo groepeert de meta-analyse onder de noemer “cognitieve vaardigheidstest” bijvoorbeeld een heel scala aan tools die echter allemaal net iets anders meten en volgens verschillende standaarden werden ontwikkeld.

• De expertise van de assessor/interviewer/testadministrator.

We weten uit onderzoek dat de juiste toepassing van een selectietechniek erg afhankelijk is van de opleiding van degene die hem gebruikt. Denk bijvoorbeeld maar aan de cognitieve biases bij interviewers die puur vanuit hun “buikgevoel” werken. In een degelijk interviewopleiding leer je echter dat buikgevoel geen betrouwbare raadgever is en leer je ook technieken om de betrouwbaarheid van een interview te vergroten.

4) Validiteit is niet de enige "heilige graal". Voor sommige organisaties zijn gelijke kansen, de kostprijs en praktische haalbaarheid, of de manier waarop kandidaten de selectieprocedure beleven minstens even belangrijk als de predictieve validiteit ervan.

5) Tenslotte nemen HR-professionals best niet enkel algemene metastudies in overweging. Het is ook belangrijk de validiteit van de instrumenten die zij zelf in hun specifieke context gebruiken te bestuderen; om zo te toetsen of de resultaten in lijn liggen van de metastudie. Op deze manier kan gecontroleerd worden of de eigen instrumenten voorspellen zoals het hoort. Indien niet, dan is dit een teken dat het proces of de tool moet worden aangepast.

De belangrijkste conclusie is eigenlijk dat er geen pasklare oplossing bestaat. Heel wat types selectie-instrumenten zijn nuttig, op voorwaarde dat ze onder de juiste omstandigheden en op de juiste manier worden gebruikt. De selectietechniek die perfect scoort voor alle belangrijke parameters (een sterke voorspellende validiteit, zonder minderheden te discrimineren, tegen een lage kost en met een positieve kandidaat ervaring) bestaat helaas niet. Het uitwerken van een selectieprocedure zal altijd een soort van trade-off inhouden. Het is daarbij cruciaal dat men streeft naar een goede balans tussen de noden en behoeften van de kandidaat en die van de selecterende organisatie.

Daarom adviseren we HR-professionals zich aan vier eenvoudige richtlijnen te houden:

1) Stem selectiemethoden zoveel mogelijk af op de functievereisten.

2) Schakel ervaren (en idealiter ook gecertificeerde) testbegeleiders, assessoren en interviewers in, die grondig werden opgeleid.

3) Kies voor instrumenten die ontwikkeld werden volgens de hoogste kwaliteitsnormen.

4) Combineer verschillende assessment tools. Elke tool levert andere inzichten op. Door ze slim maar ook correct te combineren, zoals in een assessment center, krijg je een completer beeld van de eigenschappen van kandidaten die relevant zijn voor de functie.

Download de summary van de paper "The value of assessment tools in personnel selection”