Assessment-apps: de volledige gids

Het woord assessment wordt gebruikt voor alles van een instaptoets bij een cursus tot een selectieprocedure voor een directiefunctie. De kern is steeds hetzelfde: iemand maakt opdrachten, de app scoort ze, en het resultaat heeft gevolgen.

Een assessment-app is een meetinstrument met een oordeel eraan. De kwaliteit zit in het instrument, niet in de app.

Dat onderscheid bepaalt het hele project. Een quiz-app mag speels zijn en mag fout zitten; niemand verliest er iets bij. Een assessment-app die een kandidaat afwijst op een vraag die dubbelzinnig was, heeft iemand onterecht benadeeld. Elke vraag in de bank moet daarom gemaakt en getoetst zijn door iemand die weet wat de vraag meet en of hij dat betrouwbaar doet. Dat is werk van een vakinhoudelijk expert of een testpsycholoog, niet van een ontwikkelaar.

De toepassingen lopen uiteen. Een opleider wil een instaptoets die bepaalt op welk niveau iemand instroomt. Een werkgever wil een vaardigheidstoets vóór het gesprek, zodat het gesprek over de juiste kandidaten gaat. Een brancheorganisatie wil een certificeringsexamen dat overal hetzelfde is en waarvan de uitslag standhoudt. Een bedrijf wil zijn eigen medewerkers periodiek toetsen op veiligheidskennis, met een bewijs per persoon.

Wat het niet is: een leeromgeving. Leren en toetsen zijn twee dingen die elkaar raken maar andere eisen stellen. Een leeromgeving mag hints geven en fouten laten herstellen; een assessment niet. Wie beide wil, bouwt ze als twee delen die gegevens delen, niet als één scherm.

De app kan nog zo goed scoren; als de vragen niet deugen, meet hij niets. De vragenbank is daarom het eerste en het langstlopende onderdeel van het project.

Doel

welk kennisdomein of welke vaardigheid de vraag meet, en op welk niveau

Vorm

meerkeuze, open, rangschikken, een casus met vervolgvragen, een praktijkopdracht

Zwaarte

hoe moeilijk de vraag bleek: het percentage kandidaten dat hem goed had

Onderscheid

of goede kandidaten hem vaker goed hebben dan zwakke; zo niet, dan meet hij niets

De laatste twee kolommen komen pas na gebruik. Een vraag die iedereen goed heeft, onderscheidt niemand; een vraag die de beste kandidaten vaker fout hebben dan de rest, is dubbelzinnig of fout. Een assessment-app die per vraag bijhoudt hoe hij presteert, maakt de bank elke ronde beter. Een app die alleen de totaalscore bewaart, leert niets.

Meerkeuzevragen zijn het makkelijkst te scoren en het moeilijkst goed te maken. De afleiders moeten geloofwaardig zijn zonder verdedigbaar te zijn; dat is een vak. Open vragen meten meer maar vragen een beoordelaar, of een geautomatiseerde beoordeling die u dan moet kunnen verantwoorden. Praktijkopdrachten meten het meest en schalen het minst. Kies per doel, en meng.

Zodra een assessment meebeslist over wie een baan of een opleiding krijgt, kijkt de wet mee. Niet om het te verbieden, maar om te eisen dat het uitlegbaar en eerlijk gebeurt.

De praktische vertaling: bouw de app zo dat elke uitkomst terug te voeren is op onderdelen die een mens kan lezen. 'Score 62 op rekenvaardigheid, 48 op ruimtelijk inzicht, beide onder de norm voor deze functie' is een oordeel dat een recruiter kan uitleggen en een kandidaat kan begrijpen. 'Geschiktheid 41%' is dat niet, ook als het model erachter goed is.

Voor toetsen buiten werving, zoals een certificeringsexamen of een interne kennistoets, is het regime lichter, maar de uitgangspunten blijven: de kandidaat weet wat wordt gemeten, krijgt uitleg bij de uitkomst, en kan bezwaar maken bij een mens.

Een assessment dat de verkeerde mensen laat slagen, is erger dan geen assessment: het geeft een vals gevoel van zekerheid. Drie patronen komen steeds terug.

Toezicht op afstand verdient een eigen afweging. Een webcam die de kandidaat filmt, een browser die niets anders toelaat, een algoritme dat oogbewegingen volgt: het houdt fraude buiten en het maakt van elke kandidaat een verdachte. Voor een certificeringsexamen met een groot belang kan dat gerechtvaardigd zijn; voor een instaptoets is het buiten proportie. En het verwerkt beelden en biometrie, wat de AVG-lat weer verhoogt. Kies het toezicht dat past bij wat er op het spel staat.

Het derde patroon is de norm die niemand heeft vastgesteld. Wat is 'geschikt'? Als het antwoord na de eerste ronde wordt bepaald op basis van wie er toevallig goed scoorde, meet het assessment de groep, niet de eis. Stel de norm vast met mensen van wie u het niveau kent, vóór de eerste echte kandidaat.

Tussen het laatste antwoord en het oordeel zit een rekensom, en daarna een rapport. Beide bepalen of de app bruikbaar is voor wie ermee moet beslissen.

Adaptief toetsen is aantrekkelijk omdat het korter is en nauwkeuriger rond het niveau van de kandidaat. Het werkt alleen als elke vraag een betrouwbare moeilijkheid heeft, en die komt uit eerder gebruik. Een nieuwe bank kan niet adaptief beginnen; hij begint vast, verzamelt gegevens, en wordt adaptief als de moeilijkheden bekend zijn. Wie meteen adaptief wil, koopt een gekalibreerde bank of accepteert een seizoen van meten.

De rapportage is waar de meeste apps te weinig aandacht aan besteden. De recruiter, de docent of de examencommissie wil per kandidaat zien wat er is gemeten, hoe dat zich verhoudt tot de norm en tot de groep, en waar de twijfel zit. De kandidaat wil hetzelfde in begrijpelijke taal. Een pdf met een cijfer is voor geen van beiden genoeg.

Honderd of tienduizend kandidaten per jaar maakt voor de bouw weinig uit. Wat de prijs drijft, is hoe rijk de vragen zijn, hoe streng het toezicht en hoe zwaar de gevolgen.

Vraagvormen

meerkeuze is bekend werk; open vragen met beoordeling en praktijkopdrachten zijn eigen modules

Bank

de vragen zelf zijn geen bouwwerk maar vakwerk; reken die uren apart, bij een expert

Toezicht

een tijdslimiet en willekeurige volgorde is licht; webcam en browservergrendeling is een eigen laag

Toetsing

bij selectie: juridische toets, documentatie en een bias-onderzoek vóór ingebruikname

Wat meestal meevalt: het afnemen zelf. Een kandidaat uitnodigen, laten inloggen, vragen tonen, antwoorden bewaren, scoren: dat zijn bekende onderdelen. Wat tegenvalt: alles eromheen. De bank vullen en valideren, de norm vaststellen, de rapportage ontwerpen die een mens kan lezen, en bij selectie de documentatie die de wet vraagt. Dat is meer dan de helft van het werk en het is grotendeels uw werk.

Vraag ook wat er al bestaat. Voor kennistoetsen en certificering zijn er platforms met gekalibreerde banken; voor selectie zijn er aanbieders met gevalideerde tests en de juridische verantwoording erbij. Zelf bouwen wordt interessant als uw vragen uniek zijn, als de toets in uw eigen proces moet zitten, of als u de gegevens en de uitleg in eigen hand wilt.

De volgorde hieronder begint niet bij de app maar bij de vraag wat u wilt weten en wat u ermee doet. De app is de laatste stap.

1. Bepaal doel en gevolgWat meet het assessment, en wat gebeurt er met de uitkomst. Bij selectie: laat een jurist meelezen.
2. Stel de norm vastMet mensen van wie u het niveau kent. Wat scoren zij, en waar ligt dus de grens.
3. Bouw de bankPer vraag doel, vorm en verwachte zwaarte. Minstens een paar keer de toetslengte.
4. Toets de bankTien tot twintig bekende mensen. Vragen die niet onderscheiden, gaan eruit of worden herschreven.
5. Bouw de appAfnemen, scoren, rapporteren, en per vraag bijhouden hoe hij presteert. Toezicht passend bij het belang.
6. Meet en herijkElk kwartaal: welke vragen presteren, klopt de norm nog, wijkt een groep systematisch af.