Hoe meet je het effect van publieksactiviteiten? ‘Dit moet uit de hobbysfeer’

Aan niet-wetenschappers uitleggen wat je doet en waarom je werk belangrijk is. Dat is een taak voor onderzoekers die steeds meer aandacht krijgt. Als kinderen, jongeren of volwassenen die niet zo bekend zijn met wetenschappelijk onderzoek horen hoe je als onderzoeker te werk gaat en wat je wel en wat je niet weet, vergroot dat het vertrouwen in de wetenschap en het begrip daarvoor. En als onderzoeker kun je weer leren van de vragen die je krijgt.

Die insteek past helemaal in het nieuwe denken over ‘Erkennen & Waarderen’ binnen de Nederlandse universiteiten. Daarin zijn publicaties in toptijdschriften niet langer het enige dat telt. Goed onderwijs geven en het betrekken van het brede publiek zijn net zo goed belangrijke opdrachten voor wetenschappers.

Om die reden zien we alleen in Utrecht al tal van initiatieven voor publieksevenementen voor allerlei doelgroepen, zoals het kennisfestival Betweter, de wetenschapsshow Operatie Breinbreker en de Summer School Junior voor scholieren. Veel Utrechtse onderzoekers werken mee aan de activiteiten die vanuit het Centrum voor Wetenschap & Cultuur (CWC) van de UU worden georganiseerd.

Dergelijke activiteiten krijgen ook allerlei financiële impulsen. Zo kunnen wetenschappers die iets met wetenschapsvoorlichting of -communicatie willen doen een subsidie aanvragen van maximaal 2000 euro. Daarvan profiteerde bijvoorbeeld de ‘Klimaathelpdesk’, het initiatief waarbij wetenschappers vragen over klimaatverandering proberen te beantwoorden.

Ook op landelijk niveau kwamen er nieuwe fondsen. Zo kregen vier Utrechtse projecten eind vorig jaar subsidie uit een pot van 1 miljoen vanuit de Nederlandse Wetenschapsagenda van onderzoeksfinancier NWO.

Maar bij al dit soort activiteiten is er ook vaak twijfel: Ze zijn leuk en interessant, maar hebben ze ook echt ‘impact’? Bereik je je doelgroep? Steken mensen er iets van op? Verandert hun houding of hun gedrag? Wanneer doe je het als wetenschapper en als organisator goed?

Het moet nu echt professioneler

Om daar meer duidelijkheid over te krijgen werd de Utrechtse sociaal wetenschapper Madelijn Strick door NWO gevraagd om onderzoekers en organisatoren van evenementen te helpen om het effect van hun inspanningen te meten. Dat doet ze samen met twee medewerkers uit de groep van de Leidse hoogleraar Wetenschapscommunicatie Ionica Smeets, Anne Land – Zandstra en Ward Peeters. De laatste is overigens ook deels in dienst van de UU.

Strick: “We werken aan instrumenten waarmee de impact van de evenementen in beeld gebracht kan worden. Tegelijkertijd gebruiken we die instrumenten om te onderzoeken wat nu werkt en wat niet?”

Je zou Strick een ‘oudgediende’ kunnen noemen in de wereld van de publieksvoorlichting over wetenschap. Zo was ze betrokken bij een project dat burgers bewust moest maken van hun onbewuste vooroordelen en bij de theatershow Mindlab over ongewenst gedrag binnen de universiteit. Onlangs werd ze door de KNAW beloond voor haar werk op dit vlak met een KNAW-stimuleringsprijs.

Zelf spreekt Strick overigens liever van ‘public engagement’ dan ‘wetenschapsvoorlichting’. Dat is volgens haar een term die de interactie tussen wetenschappers en burgers meer accentueert en ook door de UU is omarmd. De universiteit stelde in de afgelopen jaren een Public Engagement-plan (link alleen met Solis-id) vast en maakte Public Engagement een van de pijlers van het Open Science-programma.

De onderzoeker onderstreept het belang van het grondig evalueren van publieksactiviteiten. “Dit heeft heel lang in de hobbysfeer gezeten. Onderzoekers vonden het leuk en deden het erbij, zonder dat ze daar tijd of veel waardering voor kregen. Nu zijn we op een punt aanbeland dat het echt professioneler moet.” (Foto Madelijn Strick: Studium Generale)

We zoeken patronen; wat werkt in welke setting?

Binnen de sociale wetenschappen is volgens Strick veel ervaring opgedaan met meetinstrumenten, methoden en vragenlijsten om attitudes en gedrag te analyseren. “Ik ben erachter gekomen dat die heel goed bruikbaar zijn voor het meten van het effect van public engagement. Het is natuurlijk vrij lastig om aan te tonen dat een activiteit leidt tot maatschappelijke verandering op de lange termijn, maar je kunt wel kijken of het juiste effect tot stand is gebracht.”

Inmiddels heeft Strick met haar collega’s een toolbox samengesteld met zo’n 30 instrumenten waarvan wetenschappers en ondersteuners gebruik kunnen maken om hun bijeenkomsten te evalueren. Voorbeelden daarvan zijn bijvoorbeeld post-its op muren laten plakken, (video-) dagboeken laten bijhouden, mindmaps laten maken. “Publieksactiviteiten kunnen zo divers zijn. De doelgroep is steeds anders, de plek waar het gebeurt, de specifieke doelen die beoogd zijn … . Dat vraagt om een scala aan mogelijkheden waar mensen uit kunnen kiezen.”

Daarnaast werken de drie aan een ‘basisinstrument’, een korte vragenlijst die altijd kan worden afgenomen. Op dit moment vindt de validatie daarvan plaats, onder meer door de vragenlijst voor te leggen tijdens publieksactiviteiten van de 90 onderzoekers die net als Strick een KNAW-prijs kregen.

Strick: “Sommige wetenschappers willen gewoon een simpele template. Het voordeel voor ons is dat we meta-analyses kunnen doen als veel wetenschappers die gaan gebruiken. Aan de hand van de data die we aangeleverd krijgen, kunnen we patronen ontdekken, wat werkt wel en wat niet? Voor welke doelgroep? In welke setting? Maar als een onderzoeker of ondersteuner heel specifiek wil weten of het publiek iets heeft opgestoken van de uitleg over mitochondriën om maar wat te noemen, kan hij beter iets uit de toolbox halen.”

We kunnen onderzoekers straks adviezen geven die beter onderbouwd zijn

Volgens Stephanie Helfferich, projectleider Public Engagement binnen het CWC, zijn de instrumenten zeer welkom. “Wij zijn continu bezig onze evenementen te verbeteren. Dat deden we voorheen vooral op basis van onze eigen ervaringen en inzichten, onze onderbuik zou je kunnen zeggen. Maar nu kunnen we dat veel gerichter doen, met een betere onderbouwing. Dat helpt ook als we wetenschappers die meedoen met onze activiteiten of die zelf een activiteit organiseren advies moeten geven.”

Bij recente activiteiten heeft Helfferich al enkele instrumenten uit de toolbox van Strick en haar collega’s ingezet. De ervaring wijst inmiddels uit dat het nog niet altijd zo gemakkelijk is om informatie te verzamelen, zeker als het om kinderen gaat. “De kunst is om je publiek te bevragen zonder dat dat afbreuk doet aan je evenement, dat moet vooral leuk en interessant zijn. Tijdens de laatste Summerschool Junior lieten we kinderen in de Botanische Tuinen op een speelse manier vragen beantwoorden die ons konden helpen om de week te evalueren, maar door tijdgebrek in het programma sloeg een deel van de kinderen dat onderdeel over.”

Volgens Helfferich begrijpen de meeste wetenschappers met wie ze samenwerkt het belang van goede evaluaties, ook al leggen die extra beslag op hun schaarse tijd. “Ze weten hoeveel moeite en energie het kost om een breed publiek te betrekken bij je werk. En dan wil je wel weten of die tijd en moeite goed besteed is.” (Foto Stephanie Helfferich: UU)

Het is niet zo van: na een 10 van je publiek volgt een promotie

Strick waarschuwt overigens dat haar meetinstrumenten niet zonder meer gebruikt kunnen worden door leidinggevenden om de public engagement-activiteiten van individuele wetenschappers te beoordelen. “Daar zou ik ook echt op tegen zijn. De instrumenten zijn bedoeld om activiteiten te beoordelen, niet personen. Het kan niet zo zijn van: je kreeg een 10 van je publiek, jij krijgt promotie.”

Wel hebben wetenschappers volgens haar straks de mogelijkheid om – ook in beoordelingsgesprekken - aan te geven hoe ze werken aan het vergroten van het effect van hun inspanningen. “Ze kunnen nu aantonen wat ze wilden bereiken, hoe dat heeft uitgepakt en wat ze daarvan geleerd hebben. In feite gaat het dan om een soortgelijke evaluatiecyclus die we in ons onderwijs hebben.”

De sociaal wetenschapper hoopt overigens dat de universiteit medewerkers die zich willen ontwikkelen op het vlak van public engagement nog meer gaat ondersteunen. Dat onlangs in Utrecht Erik van Sebille werd aangesteld als eerste hoogleraar in Nederland met public engagement in zijn taakomschrijving, is volgens haar een positief signaal.

Strick: “Maar niet iedereen kan hoogleraar worden, het zou al mooi zijn als er een ontwikkeltraject mogelijk was. Net als we nu een basiskwalificatie onderwijs hebben, zou het interessant zijn om na te denken over een basiskwalificatie impact en welke vaardigheden daar onderdeel van zouden moeten zijn.”

We gaan niet iemand het podium optrekken die dat niet wil

Strick en Helfferich benadrukken dat nu niet van elke wetenschapper ‘outreachactiviteiten’ wordt geëist. Helfferich: “We gaan niet iemand het podium optrekken als die persoon dat niet wil. Maar voor de universiteit als geheel en voor vakgroepen is het wel een opdracht om zich te laten zien. Leidinggevenden moeten wetenschappers die daar talent voor hebben en dat graag willen, ruimte bieden.”

Strick hoopt vooral dat de nieuwe instrumenten en het onderzoek dat op basis daarvan plaatsvindt de komende jaren gaat bijdragen tot “een cultuur van nieuwsgierigheid”. “Onderzoekers zijn van nature nieuwsgierig, dat is de kern van hun werk. Ik hoop eraan bij te kunnen dragen dat ze ook nieuwsgierig worden naar hoe hun publiekscommunicatie wordt ontvangen.”

Het niveau kan in veel gevallen best wat omhoog

De twee kunnen uit eigen ervaring al wel wat valkuilen noemen waar wetenschappers zich aan bezondigen als ze voor een lekenpubliek komen te staan. “Too many details”, noemt Helfferich. Strick vindt dat onderzoekers hun gehoor vaak te weinig uitdagen. “Ze richten zich dan helemaal op het eenvoudig uitleggen van hun onderzoek, het niveau kan in veel gevallen best wel wat omhoog.”

Maar er is ook al wat hardere informatie. Uit vragenlijsten die Strick afnam bij bezoekers van de twee laatste edities van het kennisfestival Betweter komt vooral naar voren dat de boodschap vaak het best overkomt als wetenschap ‘persoonlijk’ wordt gemaakt. Strick: “Mensen willen graag begrijpen hoe jouw onderzoek hen raakt. Dat bereik je als wetenschapper vaak het best door je publiek deelgenoot te maken van je eigen worstelingen. “Zelf onderzoek ik bijvoorbeeld hoe je mensen kunt beïnvloeden met humor maar ik twijfel soms of ik mensen wel moet gaan uitleggen hoe je anderen kunt manipuleren. Als ik dat vertel kunnen mensen zich daar iets bij voorstellen.”

Helfferich: “Dat is nu net iets wat we altijd proberen te doen: aansluiten bij de belevingswereld van het publiek. Voor ons was dit een bevestiging dat we op de goede weg zijn.”