Erwten effectief tegen impotentie

Na het debacle met Diederik Stapel van een paar jaar terug, heeft de wetenschap reputatieschade geleden. Wetenschappers, voorheen de edelmoedige zoekers naar de waarheid, stonden nu opeens in een slecht daglicht. Er was gesjoemeld. Resultaten waren niet betrouwbaar. En voor de wetenschap - wiens uiteindelijke doel de zuivere waarheidsvinding is - kon dit natuurlijk niet door de beugel.

Maar Stapel was niet de enige die sjoemelde. Er wordt veel meer gesjoemeld. Niet per se bewust en vaak zonder opzet in het spel, maar met hetzelfde resultaat: de meeste wetenschappelijke vondsten zijn niet waar.

De zuivere waarheid is bedoezeld.

Hoe komt dit?

Het levensbloed van de wetenschap is experimenteren. Bij de analyse van de resultaten van vrijwel elk experiment komt hetzelfde kijken: statistiek. En ook al loop ik het risico dat ik trauma’s bij sommigen oproep, is het toch nodig om hier een basis statistiek te geven. Maar ik beloof dat ik het kort zal houden.

We hebben de nulhypothese: we gaan ervan uit dat het onderzochte geen effect heeft. Dan doen we onderzoek en komen er resultaten uit. De p-waarde is de kans dat we de behaalde resultaten zouden hebben verkregen als de nulhypothese klopt. Deze waarde wordt vaak neergezet op 5 procent. Dus als je voor je resultaten een p-waarde van 0,05 hebt, dan (als er geen effect zou zijn) is de kans dat je deze resultaten gehaald zou hebben 5 procent. Dan luidt de conclusie als volgt: het is onwaarschijnlijk dat we deze resultaten behaald zouden hebben als er geen effect was, dus moet er wel effect zijn. Logisch toch?

Nee.

En dat komt door de manier waarop wetenschappelijke tijdschriften publiceren.

Als ik in een hypothetisch geval met mijn entourage van wetenschappers onderzoek doe naar het effect van erwten op impotentie (ervan uitgaande dat het geen effect heeft, anders was er wel hard bewijs) en ik voer dat onderzoek uit met mijn onderzoeksgroep dan kan er een p-waarde van 0,05 uitkomen. Significant! Nulhypothese verwerpen! Erwten helpen bij impotentie! We haasten ons om de resultaten te publiceren en Big Erwt ziet opeens een spike in aankopen van zestigplussers.

Maar het enige wat een p-waarde van 0,05 zegt, is dat deze resultaten onwaarschijnlijk zijn. Om precies te zijn: één op de twintig experimenten zal een significant resultaat geven, ook al is er geen effect! Dus als dit experiment meerdere malen over de hele wereld wordt uitgevoerd, zal één van de twintig onderzoeksgroepen denken dat er effect is. En omdat negatieve resultaten nou eenmaal niet worden gepubliceerd, weet die ene onderzoeksgroep niet dat ze de statistische uitschieter zijn.

En dit is het probleem. We weten dus niet of de resultaten betrouwbaar zijn. Is er echt effect? Of is het de statistische uitschieter?

In ons hypothetische experiment hebben we dus geluk gehad met onze resultaten. Maar we weten niet (!) dat we geluk hebben gehad, want het is onbekend dat het experiment al negentien keer zonder resultaat is uitgevoerd.

En zo is de wetenschap een nieuw – onwaar – fenomeen rijker.