Herkent u dat? Je leest iets en ineens ga ja daardoor anders kijken naar de wereld om je heen. Mijn overkwam dat afgelopen zaterdag, bij het lezen van het wetenschapskatern van NRC Handelsblad.
Onder de kop “De vloek van het winnende bod” maakt de lezer kennis met het fenomeen “decline effect”. Het speelt in allerlei takken van de wetenschap. In essentie: na aanvankelijke euforie over een gevonden effect, blijkt dat later bij replicatie steeds minder terug te vinden of zelfs steeds vaker weerlegd te worden en uiteindelijk helemaal af te brokkelen (zie figuur). We verkennen dit “decline effect” eerst even verder. Dan maak ik u deelgenoot van mijn eye-opener, als we met die nieuwe “decline”-bril naar andere maatschappelijke hypes kijken.
De waarheid weerlegd, en dat ook weer
Het NRC-artikel is geïnspireerd door de publicatie “The thruth wares off” van wetenschapsjournalist Jonah Lehrer (The New Yorker, 13 december 2010). Hij brengt in beeld dat een nieuw onderzoeksresultaat aanvankelijk grote impact kan hebben, zeker als dat wordt gepubliceerd in toptijdschriften als Science en Nature, die daarmee zelf vaak ook een communicatiehype lanceren. Vorig jaar hadden we nog het voorbeeld van NASA die een heel nieuwe bouwsteen van het leven zou hebben gevonden. Wauw, voorpaginanieuws! Onder dit nieuws zitten allerlei mechanismen, als publicatiedrift van onderzoekers, werven van grote fondsen voor vervolgonderzoek, het eerste tijdschrift willen zijn dat de concurrenten voor is en ga zo maar door. Maar dan komen de eerste tegensignalen, als andere wetenschappers –aangespoord door intellectuele concurrentie en groepsdynamische processen- proberen de resultaten te repliceren met betere onderzoeksmethoden en grotere onderzoekspopulaties. Dat levert steeds vaker weerlegging van de oorspronkelijke resultaten op, het effect blijkt veel kleiner of zelfs niet “significant” te zijn. Mmm.., dat leidt tot herbezinning, vragen of regelrechte wetenschappelijke polemiek. Actie geeft reactie, en zo ontstaat de derde ronde van de oorspronkelijke en andere onderzoekers die toch weer positieve resultaten laten zien, zij het minder en genuanceerder dan in de eerste ronde. Hé, het is toch weer terug! Uiteindelijk komt de genadeslag, vaak door zogenoemde meta-reviews die onweerlegbaar vaststellen dat het oorspronkelijke effect er helemaal niet blijkt te zijn als je alle resultaten bij elkaar neemt, gebruik makend van alleen de kwalitatief goede studies die netjes voldoen aan de regelen der wetenschappelijke kunst (denk aan dubbelblind gerandomiseerde studies met vergelijkbare experimentele en controle groepen). Oh dear!
Eye-opener
Als je deze “decline”-bril opzet, ga je ook anders kijken naar allerlei ontwikkelingen om je heen en berichtgeving in de media. Bijvoorbeeld de pyamadagen in verpleeghuizen (vreselijk!) of de recente Brandon-casus (ook niet fijn!). Op het startmoment groot voorpaginanieuws. Een negatief incident trekt aandacht en verenigt mensen, om welke reden dan ook. Maar later blijkt dat er in totaal circa 40 van dergelijke situaties zijn (stuk voor stuk een persoonlijk drama, maar er zijn tienduizenden gevallen waar het goed gaat). En vervolgens nog wat kleine berichtjes en ebt het weg. Een ander voorbeeld: na euforie uit praktijk en onderzoek in kleinschalig wonen voor dementerenden, worden de verwachting nu getemperd door nieuwe onderzoeksresultaten. Ook binnen organisaties zie je dergelijke fenomenen: euforie als er nieuwe strategie, bestuurder, innovatie of verbeterprogramma wordt gelanceerd, maar dan wordt het weerbarstiger en zitten er toch meer haken en ogen aan. Vervolgens zetten we er na een tijdje nog een keer met z’n allen de schouders onder, maar het blijkt uiteindelijk toch niet te werken. Groepsdynamiek kan je ook duiden: na een gebeurtenis (positief of negatief) rent iedereen er achteraan, dan komen er toch wat andere dimensies en geluiden bij, volgt nog eenmaal een opflikkering en dooft het uiteindelijk uit.
De waarheid?
Maar terwijl ik zo aan het “decline”-denken ben, komt het inzicht dat ook die bril zelf ook weer weerlegd kan worden. Je komt tot de erkenning dat “de waarheid” nogal meerduidig is. Wellicht creëerde ik mijn eigen “decline effect”: nu vol overtuiging iets nieuws zien, maar later wellicht tot zinnen komen…
Prof.dr. Robbert Huijsman
MBA, hoogleraar integraal zorgmanagement