'De werkelijkheid is zo ingewikkeld dat je met louter kwantitatieve methoden onvermijdelijk vastloopt'

Body: 
Methodologen wijzen op beperkingen vansimulatiemodellen

'De werkelijkheid is zo ingewikkeld dat je met louterkwantitatieve methoden onvermijdelijk vastloopt'

Meten is weten. Dat was de optimistische slogan dielange tijd opgeld heeft gedaan in de wetenschap. Maar inmiddels isduidelijk dat kwantitatief onderzoek lang niet altijd toteenduidige uitkomsten leidt. Dat heeft de rel over deonderzoeksmethoden van het RIVM nog weer eens laten zien. Deze weekverschijnt een boek waarin Nederlandse methodologen de grenzen vanhun vak verkennen. "De werkelijkheid is zo ingewikkeld dat je metlouter kwantitatieve methoden onvermijdelijk vastloopt."

"Ik moet bekennen dat ik niet echt ongelukkig was met deRIVM-affaire. Eindelijk kreeg de publiciteit oog voor de zaken waarwij al zolang op hameren. Simulatiemodellen zijn hoogstbelangwekkende hulpmiddelen voor wetenschappelijk onderzoek, maarbeleidsmakers en trouwens ook onderzoekers zelf verliezen veel tegemakkelijk uit het oog dat modellen ook hun beperkingenhebben.

De Kwaadsteniet had groot gelijk met zijn kritiek op het RIVM.Als minister Pronk vraagt om een voorspelling over zoietsgecompliceerds als de toekomstige milieubelasting van Schiphol, danzou het RIVM veel vaker moeten zeggen: daar kunnen wij op basis vanonze huidige modellen geen zinnig woord over zeggen. Laat jecollega Hermans eerst maar eens over de brug komen met geld vooronderzoek naar de voorwaarden waaronder simulatiemodellen geldigzijn. Want daar weten we nog veel te weinig van."

Methodoloog dr. Cor van Dijkum geeft onmiddellijk toe dat dat inzijn kraam te pas zou komen. Werkend in de capaciteitsgroepMethodenleer en Statistiek in Utrecht is hij één van deweinigen binnen de sociale wetenschappen die simulatiemodellenzoals het milieumodel van het RIVM op hun toepasbaarheidonderzoekt. Twee jaar geleden organiseerde Van Dijkum samen metandere methodologen onder wie ook een medewerker van het RIVM, eenconferentie waar de stand van zaken in simulatieland onder de loepwerd genomen. Deze week werd in Utrecht het boek gepresenteerd datde neerslag vormt van die conferentie. En daaruit blijkt dat onzekennis van simulatiemodellen nog beperkt is.

Experimenten

Het gebruik van modellen is bijna zo oud als de wetenschap zelfen gaat terug op ontwikkelingen in de zestiende eeuw wanneer hetexperiment zijn intrede doet in het onderzoek. Doel van de nieuwegeneratie onderzoekers (Galileï, Kepler, Newton) is om opbasis van experimenten de wetten te achterhalen die bepalen hoenatuurlijke processen verlopen. Door die wetmatigheden te gieten inde vorm van wiskundige vergelijkingen ontstaan in feite de eerstemodellen, die niet alleen duidelijk maken wat zich afspeelt maardie ook een grote voorspellende kracht hebben.

Die laatste eigenschap zorgt ervoor dat de modelbouw al snel ookbuiten de exacte wetenschappen haar intrede doet. Meteorologen,economen, demografen en sociologen raken in de ban van de gedachtedat de gecompliceerde processen die zij bestuderen kunnen worden'vertaald' in een stelsel wiskundige vergelijkingen. Maar omdatniet alle vergelijkingen oplosbaar zijn, beperkt men zichvooralsnog tot relatief simpele modellen waarin gevolgen min ofmeer rechtstreeks uit oorzaken kunnen worden afgeleid.

Pas met de komst van de computer begint de opmars van meergecompliceerde modellen die in de jaren zeventig voor het eerst opgrote schaal worden ingezet voor de sombere voorspellingen van deClub van Rome over de toekomst van ons milieu. Behalve door zijngrote omvang (enkele honderden vergelijkingen) onderscheidt ditmodel zich vooral door het feit dat voor het eerst het verschijnsel'feedback' in een simulatiemodel wordt geïntroduceerd, zegtVan Dijkum.

"De lineaire modellen bleken niet te voldoen in situaties waarinde tijd een rol speelde. Dat kwam omdat in die modellen geenrekening werd gehouden met het feit dat de uitkomst van het modelop moment A wel eens invloed zou kunnen hebben op de vorm van debasisvergelijkingen en daarmee op de uitkomst op moment B. Zo zoueen toename van de milieuvervuiling ertoe kunnen leiden dat deprijs van het openbaar vervoer een minder grote rol gaat spelen bijde keuze van reizigers voor de trein. Dat betekent dus dat devergelijking in het model die het gebruik van de trein relateertaan de prijs van een spoorkaartje verandert. Dankzij de computerkonden in de jaren zeventig voor het eerst meer gecompliceerdemodellen worden gebruikt waarin wél met dit soort feedbackrekening wordt gehouden."

Chaos

Behalve hun grotere realisme bleken de niet-lineairesimulatiemodellen echter ook een andere en nogal verrassendeeigenschap te bezitten. Want zelfs bij minieme verschillen in deinvoergegevens vertoonden die modellen zulk chaotisch gedrag dat opde uitkomst vaak geen peil te trekken viel. Van Dijkum noemt alsvoorbeeld het model waarmee hij zelf werkt om te kunnen voorspellenhoe mensen omgaan met vermoeidheidsklachten.

"Ons model is gebaseerd op psychologische leertheorieën enprobeert antwoord te geven op de vraag hoe artsen, gegeven demanier waarop mensen met hun gezondheid omgaan, het best opvermoeidheidsklachten kunnen reageren. Op basis van dertigvariabelen en met behulp van ongeveer vijftig vergelijkingenvoorspelt het model wat mensen afhankelijk van onder meer hungeslacht, hun leeftijd en hun opleiding doen als ze zich gedurendelangere tijd vermoeid voelen en wat de invloed zal zijn van medischhandelen op hun gedrag.

"Dat leek heel simpel, maar toen we dat model gingen gebruiken,zagen we iets merkwaardigs. Als we er gegevens instopten van tweemensen die in vrijwel elk opzicht identiek waren, bleken deproblemen van die mensen zich volgens het model soms op twee totaalverschillende manieren te ontwikkelen. Nadat we een paar honderdpatiëntgegevens in het model hadden ingevoerd, zagen wegrofweg drie groepen ontstaan met drie totaal verschillendereactiepatronen. Voor ons was dat een complete verrassing, maartoen wij het resultaat aan artsen voorlegden, bleken zij het teherkennen, ook al hadden zij zich dat nooit zo duidelijkgerealiseerd."

Turbulentie

Het interessante van dynamische modellen is dus dat ze nieuwekennis opleveren, of beter gezegd dat ze helpen om verschijnselenzichtbaar te maken die voordien niemand waren opgevallen,constateert Van Dijkum. "Je krijgt er een andere denkrichting dooraangereikt. Natuurwetenschappers zijn er bijvoorbeeld tot dan toeonbegrepen turbulenties in vloeistoffen door gaan begrijpen."

Zoals mag blijken uit het feit dat hijzelf ook regelmatiggebruik maakt van simulatiemodellen, is Van Dijkum zeker geentegenstander van de kwantitatieve aanpak. "Modellen kunnen jedichter in de buurt van de werkelijkheid brengen dan welke anderetechniek ook." Maar daar staat tegenover dat het voorspellen van detoekomst op basis van zulke modellen per definitie een hachelijkezaak is. En dat realiseren de gebruikers van modellen zich helaasnog te weinig, vindt de Utrechtse onderzoeker.

"De werkelijkheid is zo ingewikkeld dat je met louterkwantitatieve methoden onvermijdelijk vastloopt. Dat geldt zelfsvoor puur fysische verschijnselen. De Utrechtse wiskundige Verhulstgeeft een voorbeeld van een simulatiemodel voor de getijdestromingin de Waddenzee dat weliswaar een redelijk beeld oplevert van deglobale stroming en van de daarin optredende chaotische patronen,maar dat geen exacte voorspelling kan doen over de plaats waar diepatronen zullen optreden. Om daar een beeld van te krijgen zul jeop een aantal plaatsen in de Waddenzee metingen moeten verrichten,stelt Verhulst."

Van Dijkum denkt dat zo'n aanpak waarbij modelmatig onderzoekwordt aangevuld met observaties en interviews ook in de socialewetenschappen aanbeveling verdient. Met als bijkomend voordeel dater dan wellicht ook een einde kan komen aan de onvruchtbarerichtingenstrijd tussen kwantitatieven en kwalitatieven. Voorwaardeis dan wel dat er meer onderzoek wordt gedaan naar de theorieachter dynamische modellen. Maar daarover is hij betrekkelijksomber. "Een groot probleem is dat er te weinig geld is voor ditsoort innoverend onderzoek, dat blijkens de RIVM-discussie toch ookmaatschappelijk van groot belang is. Maar als ik een artikel overdynamische modellen probeer te slijten aan een tijdschrift op hetterrein van de sociale wetenschappen, dan is de kans klein dat hetgeaccepteerd wordt. Want ja, de reviewers van die tijdschriftenhebben maar weinig tijd, en zodra zij een differentiaalvergelijkingzien, kun je het vaak wel schudden. De universiteiten en NWO zoudendit soort zeer innoverend onderzoek van harte moeten ondersteunen.Maar er gebeurt precies het omgekeerde en het geld gaat,bijvoorbeeld in de Breedtestrategie, naar mensen die voor deduizendste keer hetzelfde verschijnsel gaan onderzoeken. Heeljammer."

Erik Hardeman

Validation of Simulation Models, Cor van Dijkum,Dorien DeTombe, Etzel van Kuijk (Editors), (1999). Amsterdam:SISWO.