Samenvatting
De commotie over de PISA-resultaten toont hoe snel één meting uitgroeit tot een oordeel over een volledig systeem. Ook HR gebruikt diploma’s, persoonlijkheidskenmerken, benchmarks en rankings als signalen van kwaliteit. Die kunnen richting geven, maar vertellen nooit het hele verhaal. De les voor HR: kijk kritisch naar wat precies wordt gemeten, toets of dat aansluit bij de eigen doelstellingen en onderzoek of een afwijkende score wijst op een bewuste sterkte of op een blinde vlek.
Wat de PISA-resultaten ons leren over de beperkingen van signalen, benchmarks en rankings
Het nieuws van de week kwam deze keer van de OESO, dat een nieuw PISA-rapport publiceerde. De resultaten van dat rapport werden gretig ingezet door de media om de bouwstenen van ons onderwijs nog schever voor te stellen dan de beroemde Italiaanse toren. Maar klopt dat eigenlijk wel? Als HR-professional heb je zeker redenen om toch op een andere manier met jouw organisatie en werknemers om te gaan.
Laten we die resultaten even kaderen. De Vlaamse eer werd in de studie verdedigd door 3.987 leerlingen uit 129 scholen, allemaal 15 jaar oud en verdeeld over vier nogal verschillende onderwijsaanpakken (aso, bso, kso en tso). Deze column is niet bedoeld om de discussie over de VRT-studie Foto van Vlaanderen weer op te rakelen (de PISA-studie rapporteert trouwens wél cijfers over migratieachtergrond), maar het moet wel helpen kaderen dat bezorgde ouders niet meteen de leerkracht van hun eigen kind met de vinger moeten wijzen. De overgrote meerderheid van de 15-jarigen nam niet deel aan de studie en de overgrote meerderheid van de leerkrachten geeft les aan niet-15-jarigen.
Sign of sample?
Daarmee komt men eigenlijk terecht bij de sign-methode, waarbij een signaal wordt gebruikt om tot een conclusie te komen. HR-professionals kennen die sign-methode uiteraard vanuit de rekruteringsfase. Denk bijvoorbeeld aan een diploma, wat garant moet staan dat bepaalde competenties verworven zijn, of onderzoek dat aantoont dat extraverte persoonlijkheden het vaak beter doen in sociale beroepen zoals leerkracht of vertegenwoordiger. De logica is dan eerder simpel: je ziet het signaal (diploma behaald of extraverte persoonlijkheid) dus werf je aan of je ziet het signaal niet (diploma niet behaalt of eerder introvert) dus wijs je af. Toegepast op de PISA-studie zien de media dus de leeftijd van het niet-deelnemende kind en diens achtergrond en studiekeuze als signaal, waarna conclusies worden getrokken over diens opleidingsniveau.
De tegenhanger van de sign-methode is de sample-methode, waarin elke deelnemer gevraagd wordt om tijdens de test een staaltje te tonen van wat men kan. De logica is dan dat wanneer men de test goed kan afleggen, men het ook in het echte leven zal kunnen. Het mag duidelijk zijn dat het gesprek tussen ouders en leerkracht danig zal verschillen afhankelijk van of men voortgaat op de sign- of de sample-methode.
Hoe goed is een goede score?
Bovendien gaven de media amper aandacht aan de paragraaf waarin het PISA-rapport stelt geen informatie te verschaffen “over curriculum-gebonden onderwijskwaliteit of in welke mate de minimumdoelen van een onderwijssysteem worden behaald”, maar “inzicht in de mate waarin het onderwijssysteem erin slaagt om leerlingen functionele kennis en vaardigheden bij te brengen die volgens PISA nodig zijn om volwaardig te kunnen participeren aan de samenleving”. Het doet me terugdenken aan mijn tijd aan de universiteit van de Seychellen. Hoewel ik toen al tien jaar hetzelfde HRM-vak had gegeven aan de veel hogere gerangschikte KU Leuven, met wat ik vond dat studenten moesten weten om goed te kunnen functioneren in moderne bedrijven, slaagden mijn Seychelse studenten toch niet voor alle vragen op het examen dat door een Brits netwerk opgemaakt en verbeterd werd. Dat falen lag niet aan de onderwijskwaliteit of het intellect van de studenten, maar aan de accenten die door mij en het netwerk werden gelegd.
De eigen sterktes én zwaktes beïnvloeden de keuzes
Voor hr-professionals zijn de PISA-resultaten een herinnering dat best practices, benchmarks, awards en rankings nooit absoluut zijn en niet per definitie boven de eigen doelstellingen hoeven te gaan. Ze staan vaak symbool voor een bepaalde kijk op de wereld. Wie toevallig eenzelfde kijk heeft of zich gewillig in de aangewezen richting plooit, gooit hoge ogen en krijgt schouderklopjes, een kus van de juf en een bank vooruit. Wie contrair is kan helemaal onderaan een ranking belanden, terwijl voortschrijdend inzicht misschien net dat contrair gedrag over vijf jaar tot best practice zal uitroepen en er een award voor zal geven.
De PISA-resultaten moeten nu door leerkrachten kritisch worden gebruikt als reflectie op het eigen curriculum en de gestelde minimumdoelen. Moeten hun leerlingen dit kunnen en zouden ze dit kunnen? Wie eerst ja en dan nee antwoordt, kan een reden vinden om bij te sturen. Daarin moet hun werkgever hen wel goed ondersteunen. Onderzoek toont immers aan dat job crafting sterk gebonden is aan autonomie en tijdsdruk. Wie niet mag of eenvoudig kan bijsturen zal minder geneigd zijn om bij te sturen en kan daardoor frustratie ervaren. En wie vandaag amper lesuren genoeg heeft om de huidige leerstof over te brengen, zal minder geneigd zijn om nog bijkomende thema’s uit te werken. Vanuit dat perspectief is het dus zeker ook de taak van hr-professionals om de werknemers én het management er op te wijzen dat kiezen voor de eigen aanpak niet alleen gebaseerd hoeft te zijn op de eigen sterktes, maar soms ook een weerspiegeling is van de eigen zwaktes.
Laten we deze week dus maar gebruiken om eens na te gaan waarmee wij vandaag contrair zijn tegenover andere organisaties die geroemd worden in de markt en of dat voorkomt uit een (on)bekende sterkte of zwakte. Iemand leerde me ooit dat we vreemd kijken naar de vreemde eendjes in de bijt, terwijl zij even vreemd naar ons kijken. Het probleem is niet het kijken, maar doorhebben wie eigenlijk het vreemdste is.
Ralf Caers
===
In zijn wekelijkse rubriek ‘Chili con Caers’ geeft Ralf Caers smaak aan de HR-actualiteit en roept hij op tot kritische reflectie
