De draaglijke zwaarheid van het effectonderzoek

Leesbevorderaars zijn net mensen. Onmiddellijke behoeftebevrediging is hun eerste natuur. Resultaat willen ze, en snel een beetje. Dus vraagt de overheid, in een poging inzicht te krijgen in de return on investment, om een evaluatie of effectmeting? Dan komt er een onderzoek naar de directe impact van een programma. Gevolg: er is vooral oog voor effecten op korte termijn.

Dat doet geen recht aan de veel complexere werkelijkheid. JD Carpentieri buigt zich in het overtuigende essay Evidence, Evaluation and the 'Tyranny of Effect Size': a proposal to more accurately measure programme impacts in adult and family literacy over een vraag die veel leesbevorderaars bezighoudt: hoe komt het dat geletterdheidsprogramma's, met name die voor volwassenen, weinig opleveren? Antwoord: niet omdat ze slecht ontworpen zijn, maar omdat de uitkomstmaten onvolledig zijn. In combinatie met hooggespannen verwachtingen kan dat leiden tot enorme misvattingen.

Neem een schrijfcursus voor laaggeletterden. Als de gewenste stijging in taalvaardigheid uitblijft, luidt de conclusie al gauw dat het 'medicijn' niet werkt. Onterecht, aldus Carpentieri. Er bestaat ook nog zoiets als de subjectieve beleving. Carpentieri interviewde een deelnemer die eindelijk een vakantiekaart durfde te schrijven aan haar familie. Hoewel in verre van perfect taalgebruik, had de cursus gezorgd voor net dat beetje extra zelfvertrouwen.

Carpentieri bepleit daarom óók zulke tussen-, zij- en subeffecten in kaart te brengen. Idealiter worden deelnemers daarnaast langdurig gevolgd, om grip te krijgen op effecten op lange termijn. Dat is nodig, omdat de winst in geletterdheid mogelijk pas later gerealiseerd wordt. Programma's zetten van alles in gang dat vooraf niet werd beoogd, maar wél de einddoelen in zicht brengt. De laaggeletterde vrouw bijvoorbeeld klimt dankzij haar toegenomen zelfvertrouwen vaker in de pen. Het blijft niet bij leuke kaartjes. En we weten allemaal: wie vaker leest of schrijft, wordt steeds taalvaardiger.

Toen ik dit las, moest ik denken aan BoekStart, dat pasgeboren baby's aan het boek wil brengen. Kersverse ouders ontvangen in de bibliotheek een koffertje met boekjes en informatie over voorlezen én een gratis lidmaatschap voor hun spruit. Met zo'n klein zaadje zet je weinig in bloei, zou je denken. En toch blijkt de oogst enorm. Blijkens recent onderzoek van Heleen van den Berg (Universiteit Leiden) neemt de winst in taalvaardigheid alleen maar toe: de voorsprong van BoekStart-kinderen is op een leeftijd van 22 maanden gróter dan op een leeftijd van 15 maanden.

Komt dat door BoekStart? Nee, natuurlijk niet. Ten minste, het is geen rechtstreeks gevolg. Eerder doet dat ene kleine zaadje een heleboel andere zaadjes ontkiemen. Samen leiden ze (uiteindelijk) tot de gewenste toename in geletterdheid. Zo bezoeken BoekStart-ouders vaker de bibliotheek om boeken te lenen, hebben ze meer kennis van babyboekjes en lezen ze vaker voor. Nogal wiedes dat hun kinderen daarvan profiteren - dat heeft wetenschappelijk onderzoek herhaaldelijk aangetoond.

Laat dit een boodschap zijn voor politici, beleidsmakers en leesbevorderaars. Stop niet met meten als de eerste oogst tegenvalt, want de gouden bergen liggen achter de horizon. En belangrijker: staar je niet blind op grootse vergezichten. Houd het bescheiden, kijk wat je realistisch kunt verwachten. Zeker in de beginfase van een programma. Geduld is, nee blijft, een schone zaak. En wat zeggen ze ook alweer over bescheidenheid? Yep, dat siert de mens. Het zou me niet verbazen als de zelfbewuste postkaartschrijver deze uitdrukkingen inmiddels ook kent.