Het AD presenteerde onlangs weer haar top 100 van Nederlandse ziekenhuizen, met het Albert Schweitzer ziekenhuis in Dordrecht als “beste ziekenhuis van Nederland”. Is het dat? Hoe valide, betrouwbaar en bruikbaar is het onderzoek?
Is het onderzoek valide ? (meet het wat het zegt te meten?). De AD ziekenhuis Top 100 zegt te meten welk ziekenhuis het beste ziekenhuis van Nederland is. Doet het dat? Het AD onderzoek gebruikt 37 indicatoren. Ziekenhuizen gebruiken zelf (soms) meer dan 1300 indicatoren. Als het AD onderzoek er 3% van neemt, kun je dan op basis daarvan het beste ziekenhuis van Nederland kiezen?
Natuurlijk niet. Dat is alsof je het beste Chinese restaurant van Nederland kiest nadat je overal alleen maar een halve loempia geproefd hebt. Het is alsof je alleen op basis van het hoogspringen de beste tienkamper kiest. Op basis van het AD-onderzoek mag je heus wat zeggen over de verschillen in kwaliteit voor wat betreft de onderzochte indicatoren (de interne validiteit). Maar als je op basis van 37 (vrij willekeurig gekozen) indicatoren pretendeert het beste ziekenhuis van Nederland te kunnen kiezen, dan ga je te ver. Veel te ver. Dan pretendeer je dat die 37 indicatoren representatief zijn voor pakweg 1300 indicatoren (is externe validiteit). En dat is onzin.
Betrouwbaar
Is het onderzoek betrouwbaar? (leveren herhaalde metingen vergelijkbare resultaten op?). Als u elk jaar het IQ van uw kind laat testen en er komt elk jaar de score 130 uit, dan trekt u terecht de conclusie dat uw kind slim is. Als de scores van opeenvolgende jaren in willekeurige volgorde variëren tussen de 80 en 130, dan trekt u (terecht) de conclusie dat u geen idee heeft hoe slim uw kind is (en dat de metingen onbetrouwbaar zijn).
Hoe zit dat met de ziekenhuizen in de AD top 100? Gemiddeld (over zes jaar) verschuift elk ziekenhuis in de top 100 elk jaar 25 plaatsen (naar boven of naar beneden). Sommige ziekenhuizen verschuiven veel meer, bijvoorbeeld van plaats 2 in 2010 naar plaats 91 in 2011. Van de ziekenhuizen die in een willekeurig jaar in de top 10 staan, staan er het jaar erop nog maar 2 a 3 in de top 10. De correlatie tussen de ranglijst van een bepaald jaar en de ranglijst van het jaar erop is 0,26 (zwak). Anders gezegd: de score van een ziekenhuis in een bepaald jaar zegt vrijwel niets over de score in het daarop volgende jaar. De betrouwbaarheid is laag. Erg laag. Te laag. De scores lijken meer door toeval tot stand te komen. Of door de verandering van onderzochte indicatoren, hetgeen de vergelijkbaarheid verstoort. Op basis van de score van een enkel jaar kun je in elk geval vrijwel niets met zekerheid zeggen over de kwaliteit van een ziekenhuis het jaar erop.
Gemiddelde score
Je zou wellicht beter kunnen kijken naar de best scorende ziekenhuizen over een periode van bijvoorbeeld zes jaar. Want die leveren betrouwbare kwaliteit. Welke zijn dat? Meander Medisch Centrum, Amersfoort (Baarn, Soest); Sint Franciscus Gasthuis, Rotterdam; Ziekenhuis Rijnstate (Alysis), Arnhem (Velp); Ikazia, Rotterdam; ZorgSaam Ziekenhuis, Terneuzen (Oostbrug, Hulst); Orbis Medisch Centrum, Sittard; St. Antonius Ziekenhuis, Nieuwegein/ Utrecht; Maasstad Ziekenhuis, Rotterdam; Elkerliek Ziekenhuis, Helmond (Deurne); St. Anna Ziekenhuis, Geldrop. Van deze top 10 over zes jaar, staan er maar 2 in de top 10 van 2014. Als u een ziekenhuis moet kiezen voor een door het AD onderzochte behandeling (!), zou u dan een ziekenhuis kiezen dat toevallig een keer in de top 10 staat, of voor een ziekenhuis dat al jaren bovenin prijkt? Als u wilt beleggen in aandelen, kiest u dan voor aandelen die (toevallig?) dit jaar een hoog rendement opleveren, of voor aandelen die al jarenlang een hoog rendement leveren?
Bruikbaar
Is het onderzoek bruikbaar (hebben ziekenhuizen en patiënten en het AD er iets aan?). Ziekenhuizen kunnen zien hoe goed ze scoren ten opzichte van andere ziekenhuizen voor wat betreft de onderzochte indicatoren. Niet meer en niet minder. Slecht scorende ziekenhuizen kunnen hun praktijk verbeteren. Dat is nuttig. Ziekenhuizen zouden zich niet moeten laten tooien en fêteren met het predicaat “beste ziekenhuis van Nederland”. Dat is potsierlijk en hovaardig. Ze kunnen beter melden dat ze –net als andere ziekenhuizen- hun stinkende best doen en dat dat –voor wat betreft de onderzochte indicatoren- succesvol is geweest.
Te veel hoogmoed komt hier zeker voor de val, want (nogmaals): het jaar erop staat elk ziekenhuis gemiddeld 25 plaatsen hoger of lager, en hoe leg je dat laatste dan uit? Voor patiënten is de lijst (vrijwel) zinloos. Het AD bekijkt slechts enkele indicatoren, die wel of niet van belang kunnen zijn voor een individuele patiënt. Bovendien is de lijst (zeer) onbetrouwbaar, dus het ziekenhuis dat in 2014 goed scoorde, doet dat (waarschijnlijk) in 2015 niet meer. Je zou even goed een (slechter) scorend ziekenhuis kunnen kiezen, want dat is wellicht zeer gemotiveerd om het beter te doen (en stijgt het jaar erop 25 plaatsen), terwijl het goed scorende ziekenhuis op de lauweren rust (en daalt).
Oliebollen
Tenslotte is het maar zeer de vraag of Nederlandse patiënten nu massaal naar Dordrecht afreizen om daar behandeld te worden. Het AD scoort qua publiciteit met de top 100, en dat mag. Maar op dit moment scoort de ziekenhuis top 100 qua validiteit, betrouwbaarheid en bruikbaarheid nog onder de oliebollen top 100, en dat is schandelijk voor een aangelegenheid die vele malen belangrijker is. Advies aan AD: gebruik meer indicatoren, gebruik dezelfde indicatoren en maak een lijst met ziekenhuizen die consequent (over meerdere jaren) boven of onder het gemiddelde scoren (zonder rangorde). Vermijd het predicaat “beste ziekenhuis van Nederland”; dat kan het onderzoek niet waarmaken (en het ziekenhuis ook niet).
Herm Joosten
Universitair Docent bij het Institute for Management Research van de Radboud Universiteit Nijmegen.