Over de voorspellende waarde en de kostprijs van selectietesten (en waarom hr-professionals zo weinig kennis nemen van en rekening houden met wetenschappelijk onderzoek) Door Hendrik Derycke



Dovnload 26.21 Kb.
Datum26.08.2016
Grootte26.21 Kb.
Bijlage 13.1.2 Slimmer gebruik van selectietests

Postuum eerbetoon aan Dr. Hendrik Derycke (overleden in 2006)


Opinions

Over de voorspellende waarde en de kostprijs van selectietesten (en waarom HR-professionals zo weinig kennis nemen van en rekening houden met wetenschappelijk onderzoek)
Door Hendrik Derycke (Universiteit Antwerpen Management School - UAMS).

Momenteel heerst er in Belgische/Vlaamse HR-kringen enige commotie over de (predictieve) waarde van selectie-instrumenten. De aanleiding is een commentaar van een vakpublicatie (HR Square - De Week) op een eigen onderzoekje naar het gebruik en de waardering van de verschillende tools door HR-professionals. Dat commentaar was gebaseerd op een (niet bij naam vernoemde) artikel van de hand van de Amerikaanse wetenschappers Frank Schmidt en John Hunter: The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings. Het is in 1998 verschenen in hét wetenschappelijke referentieblad op het vlak van psychologie: Psychological Bulletin. Dat meta-onderzoek gebeurde op basis van gegevens afkomstig uit 85 jaar wetenschappelijke research. Het staat met andere woorden als een huis. Tot hiertoe is er, bij mijn weten, geen studie die de bevindingen van Schmidt & Hunter (overtuigend) weerlegt.

Regelmatig wordt er in de vakliteratuur een antwoord gegeven op de vraag of job performance kan voorspeld worden en zo ja: hoe dan wel?. Om een antwoord te vinden op deze vraag gaat men (onderzoeksmatig) dan als volgt te werk: men verzamelt gegevens over de intelligentie van sollicitanten die dan nadien gerelateerd worden aan hun werkprestaties. Als een vooraf afgenomen test een maximaal voorspellende waarde ten opzichte van arbeidsprestaties zou hebben, dan is de verkregen rangorde op de instrumentscores (de voorspeller) hetzelfde als op arbeidsprestaties (het criterium). Dan kunnen we stellen dat de test (de voorspeller) een predictieve validiteit heeft van 1,00 : de voorspelling klopt als een bus. Dit is theorie, we hebben in de praktijk te maken met onvolmaakte tests. Meestal worden instrumenten met voorspellende waarden gebruikt tussen de .20 en de .50.
Hoe wordt nu (in geld) berekend hoeveel het gebruik van een bepaalde test een bedrijf kan opleveren? Stel dat alle kandidaten voor een functie ongeveer gelijk zouden presteren, dan maakt het niet uit hoe je selecteert en wie er wordt aangenomen : iedereen haalt dezelfde beoordeling bij zijn chef. De validiteit in dat geval is dus nul. Maar als er anderzijds grote verschillen tussen de prestaties van kandidaten zijn, dan loont het de moeite om de best presterende kandidaat/kandidaten aan te stellen.
Uit onderzoek van Schmidt & Hunter (1998) is gebleken dat de verschillen in prestatie van werknemers zeer groot kunnen zijn. Aangenomen dat het arbeidsvolume normaal verdeeld is, wijst het onderzoek voor één standaarddeviatie op 40% meer dan het gemiddelde werk.

Laten we even een concreet voorbeeld nemen: Stel dat het gemiddelde jaarsalaris van een jurist € 100.000 is. Iemand die een standaarddeviatie boven het gemiddelde presteert, presteert dan in geld dus minimaal 40% van 100.000 euro = 40.000 euro meer dan een gemiddelde werknemer (er van uitgaande dat prestaties normaal verdeeld zijn) (Schmidt & Hunter, 1998, 2004). Voor organisaties is het dus van belang om vooral kandidaten aan te nemen die boven het gemiddelde presteren, dat levert geld op, want tegenover kosten staan dan opbrengsten. En die kandidaten kan je kiezen door intelligentietests te gebruiken. De meer-opbrengsten na een selectieprocedure zijn recht evenredig met de validiteit van de test.

Uit recent onderzoek van Schmidt & Hunter (2004) blijkt dat de beroepen in de VS in vijf niveaus van moeilijkheidsgraad kunnen ingedeeld worden. In de categorie met de hoogste moeilijkheidsgraad, bijvoorbeeld een jurist, is de predictieve validiteit van een intelligentietest .58. In de categorie met de laagste moeilijkheidsgraad, bijvoorbeeld van een haarkapper, is de validideit .23. Veruit de meeste werknemers zitten in de middencategorie en voor hen bedraagt de predictieve validiteit van een intelligentietest .51.

Wat is nu die predictieve validiteit van de andere selectie-instrumenten? Schmidt & Hunter geven in Psychological Bulletin van februari 1998 een overzicht van de beste voorspellers voor job performance. Bovendien geven zij ook weer in hoeverre de validiteit van een voorspelling wordt verhoogd door toevoeging van of combinatie met een tweede voorspeller (zie tabel hier onder).



Voorspeller voor job performance


Validiteit


Toegenomen validiteit door
combinatie met intelligentietest


Intelligentietest

.51

_

Arbeidsproeven

.54

24%

Gestructureerd interview

.51

24%

Tests voor functiekennis

.48

14%

Integriteitsvragenlijsten

.41

27%

Ongestructureerd interview

.38

8%

Assessment Center Methode

.37

4%

Collega-beoordelingen

.36

14%

Biografische gegevens

.35

2%

Vragenlijsten Gewetensvolheid

.31

18%

Referenties

.26

12%

Genoten jaren opleiding

.10

2%

Interesse

.10

2%

Grafologie

.02

0%

Jaren werkervaring

.18

6%

Leeftijd

-.01

0%

Hoewel de arbeidsproeven een hogere waarde hebben dan de intelligentietest, neemt de intelligentietest volgens Schmidt & Hunter toch een speciale plaats in. Zij geven daarvoor o.a. twee belangrijke argumenten:

1. Van alle instrumenten heeft de intelligentietest de hoogste validiteit en de laagste kosten. Arbeidsproeven en assessment centers bijvoorbeeld kunnen alleen gebruikt worden bij ervaren werknemers en zijn veel duurder.


2. De theoretische onderbouwing voor de werking van algemene intelligentie is sterker dan voor enig ander selectie-instrument. Men weet preciezer wat men meet dan met bijvoorbeeld een interview of met een assessment center.

Hoe komt het toch dat het gebruik van IQ-tests bij personeelsselectie op zoveel weerstand stuit, terwijl het nut ervan ontegensprekelijk is bewezen? Bij de personeelsselectie speelt de IQ-test, als hij dan gebruikt wordt, zeer beperkte rol. De selectieprocedure omvat gewoonlijk brievenselectie, enige interviews, misschien een intelligentietest en wat persoonlijkheidsvragenlijsten, en eventueel een assessment. Wat is de grondreden waarom meer begaafde werknemers beter kunnen presteren? Meer begaafde werknemers kunnen beter presteren omdat ze gemakkelijker en sneller hun taken begrijpen en eigen maken. Dus intelligentie heeft op een indirecte manier invloed op de job performance, namelijk door een betere jobkennis. Een afgeleide meerwaarde : bij change verloopt het proces vlotter dankzij een vlugger en juister inzicht in wat komen gaat.

Desondanks zijn er selecteurs die blijven zweren bij selectie-instrumenten die weinig of geen significante predictieve waarde hebben (zoals grafologie of de eigenlijke beroerpservaring zoals blijkt uit het cv) terwijl ze intelligentietests, die een grote voorspellende waarde hebben, links laten liggen. “Experience doesn’t equal excellence”.
We zien drie verklaringen:.

1. Bij een schaarse arbeidsmarkt moet de selecteur alle moeite doen om geschikte kandidaten te rekruteren en met een IQ-test trek je meestal niet echt veel kandidaten aan. Die prefereren een interview of een uitgebreid assessment.

2. Een tweede factor, hiermee samenhangend, is het willen aantrekken van 'kwalitatief goede' kandidaten. Deze kandidaten hebben een zekere machtspositie en kunnen tot op zekere hoogte zelf de selectieprocedure bepalen. Meestal gaat het dan over oriënterende gesprekken en niet over een intelligentietest.

3. Een derde factor is dat personeelsmanagers en selecteurs hun persoonlijke en subjectieve overtuiging hoger achten dan objectieve testsgegevens. Een intelligentietest geeft harde cijfers over de verstandelijke competenties van een kandidaat. De klinische selecteur, zich beroepend op zijn “gut feeling”, voelt zich net iets beter in zijn oordeel.



Ideale testbatterij

De Nederlandse psycholoog en consultant Paul van der Maesen de Sombreff, die in 1992 promoveerde Universiteit van Groningen op een doctoraal proefschrift over het rendement van personeelsselectie (zie ook de bibliografische referentie onderaan dit artikel) deed vorig jaar wat HR Square onlangs bij Vlaamse HR-professionals deed (al is het aantal respondenten op de mini-bevraging van HR Square niet bekend) : hij ondervroeg honderdtal managers de vraag voor : welk selectie-instrument voorspelt het best het succes van mensen in hun werk? Van alle managers gaf 83% aan dat het de persoonlijkheidstest was. (In het geval van HR Square deed 65 % dat), 9% koos voor de intelligentietest en 7,5 % koos voor referenties.

Zowel de Nederlandse als Vlaamse/Belgische HR-professionals dwalen. Op basis van de beschikbare wetenschappelijke gegevens kan immers gesteld worden dat de de IQ_test het meest geschikte selectie-instrument is (want de grootste voorspelelnde waarde heeft). De ideale testbatterij ziet er als volgt uit: een IQ-test (.51), een gestructeerd interview (+ 24%), een”work sample” (+24%) en een integriteitstest (+ 27%) . Deze combinatie is dus de 'beste koop'.

Conclusie: selecteurs zouden er goed aandoen meer kennis te nemen van en rekening te houden met de resultaten van het wetenschappelijk onderzoek aangaande de predictieve validiteit van selectie-instrumenten. De rol van de selecteur kan/dient te worden bijgesteld in de richting van creatief coördinator van de diverse (objectieve) testresultaten en als schepper van een abstract in een levend profiel.


Dat personeelsmanagers de academische vakliteratuur niet lezen (terwijl academici er niet toe komen om te publiceren in de meer populaire managementbladen) is een spijtige zaak. De vaststelling werd o.m. gemaakt door Rynes, Colbert & Brown (2002). Hopelijk is met dit artikel kloof tussen de wereld van de kennis en de wereld van de praktijk op het gebied van personeelsselectie een beetje gedicht, smaller gemaakt.

Sinds 1996 werkt Hendrik Derycke als cursusontwikkelaar en als docent aan de Universiteit Antwerpen Management School (UAMS).
Hij is auteur van het boek Het Selectie-Interview. Handboek voor het gedragsgericht interviewen bij het werven van personeel (Acco 2002).




Voor meer info

Maesen de Sombreff, P. van der, (2003). Overbenutting van persoonlijkheids- vragenlijsten. (Web document: klik hier)

Latham, G. P. & G. Whyte (1 994). The futility of utility analysis. Personnel Psychology, 47, pp. 3 1 A6.

Maesen de Sombreff, P. van der, (2003). Overbenutting van persoonlijkheids- vragenlijsten. Web document: http://www.managementsite.net.

Rynes, S.L., A.E Colbert & K.G. Brown (2002). HR professionals beliefs about effective human resource practices: correspondence between research and practice. Human Resource Management, 41, pp. 149-174.

Schmidt, F.L. & J.H. Hunter (2004). General Mental Ability in the World of Work: Occupational attainment and Job Performance.

Schmidt, F.L. & J.H. Hunter (I 998). The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings. Psychological Bulletin, 124, pp. 262-274.

Drasgow, F. (2003). Intelligence and the workplace, In: W.C. Borman, D.R. Ilgen, R.J. Klimoski, & I.B. Weiner (Eds.) Handbook of Psychology, Volume 12, Industrial and Organizational Psychology, pp. 107-130, NY: John Wiley & Sons, Inc.

Hough, L. & Furnham, A. (2003). Use of personality variables in work settings. In: W.C. Borman, D.R. Ilgen, R.J. Klimoski, & I.B. Weiner (Eds.) Handbook of Psychology, Volume 12, Industrial and Organizational Psychology, pp. 131-169, NY: John Wiley & Sons, Inc.

McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., and Braverman, E.P. (2001). Predicting job performance using situational judgment tests: A clarification of the literature. Journal of Applied Psychology, 86, 4, 730-740.



Rynes, S.L., Colbert, A.E., & Brown, K.G. (2002). HR professionals beliefs about effective human resource practices: correspondence between research and practice. Human Resource Management, 41, 2, 149-174.

(01/07/2004)





De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina