Het Utrechtse probiotica onderzoek bij patienten met pancreatitis : een nadere analyse van arts-bioloog E. Valstar

31 maart 2013: Bron: arts-bioloog drs. E. Valstar

N.a.v. publicatie in de NRC van afgelopen weekend over de probiotica studie bij pancreatitis maakte arts-bioloog Engelbert Valstar in 2008 een analyse van het studierapport die we hier ongewijzigd plaatsen. De verantwoording voor dit artikel ligt voor 100% bij Valstar en is uiteraard onze disclaimer op van toepassing.

Het Utrechtse probiotica-onderzoek bij patienten met pancreatitis : een nadere analyse

Inleiding

In de Lancet van 23 februari 2008 (blz. 651-9) verscheen onlangs het probiotica onderzoek waarover in de media zoveel te doen geweest is en waarnaar ik al in mijn artikel over probiotica in TvOG nummer 3, 2008 , refereerde.
Daarnaast heb ik de beschikking over het onderzoeksprotocol.

Allereerst ga ik in op dit onderzoeksprotocol (zie ook referentie 16 van voornoemd onderzoek). Gesteld wordt dat patienten binnen 72 uur na het begin van acute pancreatitis (= AP) gerandomiseerd moeten worden. Per ziekenhuis was sprake van blokrandomisatie. Deze 2 feiten houden in dat variabelen binnen 72 uur nog konden veranderen ; juist daarom ook had voor belangrijke risicofactoren als organ failure en zeker multiorganfailure op het laatste moment nog stratificatie moeten plaatsvinden (d.w.z. patienten met een sterk verhoogd risico op overlijden hadden binnen hun subgroep op basis van loting separaat fifty/fifty ingedeeld moeten worden), hetgeen dus echter niet gebeurde.

Ook is duidelijk dat er een probioticum met prebioticum werd gegeven aan 152 patienten en dat deze combinatie vergeleken werd met het prebioticum als placebo (gegeven aan 144 patienten). In het onderzoeksprotocol werden het totaal aantal infectieuze complicaties, maar ook o.a. de frequentie van multi-organ-failure (verhoogt de sterftekans aanzienlijk) als primaire parameters opgevoerd. In het uiteindelijke artikel werden zowel multi-organ-failure voor randomisatie als multiorganfailure erna als secundaire parameter opgevoerd. Dit kan niet, want secundair betekent dat achteraf naar multi-organ-failure is gekeken ; primair betekent, dat dit van het begin af aan steeds is gedaan. Een primaire evaluatie geldt statistisch als veel betrouwbaarder!! (aangezien onvoldoende rekening houden met deze parameter, zoals we verder zullen zien, er toe leidde dat er door toeval en dus niet terecht een nadelig effect van de probiotica werd gevonden, is dit extra verwijtbaar).

We gaan nu naar het artikel zelf. In het probioticummengsel zaten geen stammen waarvan wel eens een infectie was beschreven. Het had ook een veiligheidscertificaat van de EU.

Bij de baseline characteristics zien we dat multi organ failure in de probioticumgroep bij 5 en bij de controlegroep bij slechts 1 patient wordt aangegeven. Organfailure (met daarin de multiorgan failure-gevallen) kwam bij 9 respectievelijk 5 patienten voor. Een probleem is echter dat randomisatie eerst tot 72 uur na het stellen van de diagnose en de clinical characteristics plaats vond. Organfailure en multiorgan failure trad juist erg vaak voor het eerst op in de eerste dagen na diagnosestelling, maar voor de echte randomisatie. Kijk naar tabel 2 op blz. 655.

De aantallen voor multiorgan failure gedurende het onderzoek waren voor de probiotica- en placebogroep respectievelijk 33 en 15 ; na randomisatie waren deze aantallen respectievelijk 18 en 11 ; conclusie voor randomisatie waren er dus in wachtperiode van enkele dagen in de voorbestemde probiotica- en placebogroep 15 en 4 gevallen van multiorgan failure ; de eerder genoemde getallen 5 en 1 slaan op het moment van diagnose. In dit onderzoek traden dus juist in een vroeg stadium van de AP gevallen van multiorgan failure op (iets wat ik op pubmed uitgebreid als een bij AP passend fenomeen heb gesignaleerd). De getallen 15 en 4 verschillen zeer significant (tweezijdig met chikwadraat vind ik P kleiner dan : 0,02 ; zie referentie 1).
Bij de multiorgan failure gevallen werd in dit onderzoek een sterftekans gezien van 80 procent. Derhalve sowieso 8 doden teveel door ongelijkheid der groepen in de probioticagroep ; 24 versus 9 doden wordt dan al 16 versus 9 doden. Zestien versus negen verschilt tweezijdig (maar ook eenzijdig) niet meer significant. Gezien de getallen zal een aanvullende correctie voor organ failure anders dan multiorgan failure dit verschil van 7 verder verkleinen.
Het feit dat verder noch multiorgan failure, noch organ failure totaal na randomisatie statistisch verschilden zegt verder niets, daar zoals aangegeven juist multiorgan failure vlak na de diagnosestelling vaak optreedt.

De grote fout in dit onderzoek is dat het gezonde boerenverstand niet gebruikt is ; toch ook een conditio sine qua non in de methodologie en statistiek. Ook al was er niet op het laatste moment voor randomisatie gestratificeerd, een correctie zoals ik heb voorgerekend dan wel een echte multivariate analyse hadden geholpen om tot een juiste conclusie te komen d.w.z. probiotica beinvloeden net als in het in mijn vorige artikel (TvOG no 3 ; 2008) genoemde Hongaarse onderzoek de sterfte bij patienten met AP niet.
Steeds weer blijkt een niet goed opgezet, maar vooral verkeerd geëvalueerd onderzoek met de informatie van de onderzoekers zelf onderuit te halen.
Ik denk dat de onderzoekers verkozen hun resultaten als toeval te interpreteren dan wel als : klaarblijkelijk hebben probiotica ook nadelen, liever dan alsnog te moeten toegeven dat hun analyse niet deugt.

Ernstig is ook de bewering in de discussie dat organ failure (inclusief de multiorgan failure, die natuurlijk veel zwaarder weegt) niet vaker voorkwam in de probioticagroep voor randomisatie : een rekensom mbv tabel 2 leert : 41 min 21 versus 23 min 16 is 20 versus 7, wat uiterst significant verschillend is ; P is tweezijdig met de chikwadraattoets : kleiner dan 0,02.
Referent Rahusen had derhalve in de NRC volkomen gelijk door feitelijk te stellen dat de groepen aantoonbaar verschilden (met de probiotica-groep duidelijk in het nadeel) en het resultaat dus nietszeggend was.

Literatuur

1)ML Wijvekate ; Verklarende statistiek ; Het Spectrum 1972 ; Utrecht.

Analyse UMCU probiotica-onderzoek : een correctie (en een verfijning).

In mijn analyse in het vorige nummer van het NvOG , stelde ik dat het sterfterisico bij de patienten met multiorganfailure 80% was. Welnu dat las ik, zo ontdekte ik vlak na het ter perse gaan van mijn artikel, verkeerd (te snel) : de multiorganfailurepatienten die overleden waren, waren verantwoordelijk voor 80% van de totale sterfte, wat iets anders is. Het sterfterisico in die groep is zoals uit het artikel blijkt ca. 60%, terwijl het gemiddelde sterfterisico ca 10% was, zoals in veel ander vergelijkbaar onderzoek. Zoals aangegeven waren er in de probiotica en controlegroep bij loting respectievelijk 5 en 1 patienten met multiorganfailure, terwijl dat bij het echte begin van het onderzoek 15 en 4 waren. Duidelijk is ook dat het sterfterisico van de niet multiorgan-failurepatienten slechts ca. 2% was. Vermenigvuldigen we (60-2=58)% met de 33 en 15 patienten met multiorganfailure in het hele onderzoek en trekken wij de resulterende getallen van elkaar af : 0,58 keer 18, dan is de correctie geen 8 doden, maar zeker 10. We krijgen dan 14 versus 9. Enzovoorts. De conclusies worden zo dus alleen maar sterker, namenlijk probiotica waren helemaal niet de oorzaak van de verhoogde sterfte in de probiotica-groep.

NRC, UMC - Utrecht, probiotica, pancreatitis, alvleesklierkanker