Na vier jaar geploeter kiest UU toch voor eigen software voor cursusevaluaties

Op dit moment leveren alle studenten, behalve die van Geneeskunde, hun cursusevaluaties aan via het programma Caracal. Dat is geen vanzelfsprekendheid; lange tijd zag het ernaar uit dat dat zou gaan veranderen.

De UU begon vier jaar geleden een zoektocht naar een evaluatiesysteem dat universiteitsbreed kon worden ingevoerd. Verschillende faculteiten hadden aangegeven niet meer verantwoordelijk te willen zijn voor de software waarmee studenten hun onderwijs beoordelen. Ze hadden liever dat de universitaire directie ITS dat van hen overnam.

De zoektocht verliep zacht gezegd met horten en stoten. Na een eerste aanbestedingsronde leek de keuze te vallen op de Caracal-software die al veel gebruikt werd. Maar door dat besluit ging een streep. Het beleid van de universiteit was destijds immers ook al om geen eigen software te gebruiken wanneer het gaat om standaardprogramma's die ook door externe leveranciers wordt aangeboden. Caracal was ontwikkeld door de Utrechtse bètafaculteit en viel daarom af.

Bij de nieuwe aanbesteding werden vervolgens fouten gemaakt, waardoor het winnende systeem uiteindelijk buiten de boot viel en de aanbesteding wederom moest worden herhaald. In een artikel op DUB over de gang van zaken ging de ITS- directie door het stof.

Software werd overvraagd
Half 2018 wees een stuurgroep met vertegenwoordigers uit de faculteiten en uit de UU-directies ITS en SO & O (Studenten, Onderwijs & Onderzoek) het programma Evalytics aan als het evaluatiesysteem dat alle Utrechtse faculteiten zouden gaan gebruiken. Daarmee leek de kou uit de lucht. Onder meer studenten van de universiteiten in Nijmegen en Rotterdam en enkele hogescholen beoordelen hun onderwijs al geruime tijd via dat systeem.

Maar het liep toch anders. Medewerkers van de Utrechtse faculteiten Sociale Wetenschappen en vooral van Diergeneeskunde die als eersten de nieuwe software gebruikten, meldden al snel problemen. De software bleek niet goed te passen bij de gewenste werkwijze. Er was onder meer sprake van veel handmatig werk voor docenten en ondersteuners, zo legt ITS -woordvoerder Saskia van Dijk uit. “Zo konden docenten niet gemakkelijk op elk gewenst moment zelf een vraag wijzigen of toevoegen.”

Met de leverancier werd getracht om tot oplossingen te komen, maar dat leidde uiteindelijk niet tot een tevredenstellende uitkomst. Volgens Van Dijk beseft de stuurgroep dat het probleem vooral aan de kant van de universiteit lag. De software werd volgens de ITS-woordvoerder overvraagd doordat faculteiten te uiteenlopende wensen hadden. “Evalytics kon natuurlijk niet speciaal voor de UU een afwijkende versie van de software gaan bouwen.”

Vertrouwd op referenties
Halverwege vorig jaar viel in goed overleg met de leverancier het besluit om het gebruik van Evalytics af te bouwen. Ook Diergeneeskunde en Sociale Wetenschappen gebruiken inmiddels weer Caracal.

De vraag is of de mismatch niet voorkomen had kunnen worden. Waarom is er bijvoorbeeld niet de tijd genomen om uit te proberen of de software inderdaad geschikt was voor de Utrechtse werkwijze?

Volgens de directie ITS had een uitgebreide praktijktest de problemen wellicht naar boven kunnen halen, maar wordt zoiets vooral toegepast bij innovatieve technologie. Daarvan was hier geen sprake. Woordvoerder Van Dijk: “We hebben vertrouwd op de ingewonnen referenties en de beantwoorde vragen door de leverancier.”

In samenspraak met de faculteiten is nu besloten om te onderzoeken of het binnen de UU ontwikkelde Caracal toch kan gaan functioneren als universitair systeem. Eerder werd daarvan dus gezegd dat dat niet binnen het beleid paste. “Er moet inderdaad altijd worden onderzocht of standaard software gebruikt kan worden, maar goed beargumenteerd is het wel degelijk mogelijk daarvan af te wijken”, zegt de ITS-woordvoerder nu.

Opboksen tegen Caracal
Tijmen van Dobbenburgh van Evalytics noemt het mislopen van de samenwerking “jammer”, maar hij begrijpt de overwegingen van de UU. Naar zijn idee heeft Evalytics steeds op moeten boksen tegen het feit dat veel UU-medewerkers Caracal gewend zijn. Doordat de universiteit er niet in slaagde de koppeling met UU-data tijdig op te leveren moesten de gebruikers in Evalytics handmatig zaken toevoegen wat niet bevorderlijk werkte.

Van Dobbenburgh ondervond daarnaast dat het de universiteit ontbrak aan een duidelijke visie op wat de cursusevaluaties moeten opleveren. “Je merkt dat daar binnen de universiteit verschillende ideeën en wensen over bestaan.”

Behoefte een visie
Dat ontwikkelen van een visie op evalueren is nu precies wat er in het komende jaar in samenwerking met Caracal en de UU-directies gaat gebeuren. De IT-afdeling van de faculteit Bètawetenschappen waar Caracal is ontwikkeld, zal hierin het voortouw nemen.

Er bestaat bij docenten al langere tijd behoefte aan een herbezinning. Cursusevaluaties zouden nu eerder een klanttevredenheidsonderzoek zijn dan dat ze bijdragen aan een verbetering van het onderwijs. Ook de lage respons en de soms harde oordelen over docenten, baren velen zorgen.

“We gaan nu eerst aan de slag om, samen met de faculteiten, de visie op evalueren en daaruit voortvloeiende wensen en behoeften in beeld te brengen”, zegt Marjon Engelbarts. Het hoofd ICT van de Bètafaculteit was drie jaar geleden ongelukkig met het UU-besluit om met Caracal te stoppen. Nu is ze blij aan een oplossing te kunnen bijdragen, zo mailt ze.

Volgens Engelbarts is de Caracal-versie die nu in gebruik is voldoende stabiel, maar zal er geïnvesteerd moeten worden in doorontwikkeling als de UU inderdaad besluit met Caracal verder te gaan.

Niet de juiste koers
Na vier jaar is de cirkel dus rond. Ondertussen is veel tijd, energie en geld verloren gegaan. En het zal dus nog even duren voordat het gewenste universiteitsbrede evaluatiesysteem er is.

De directies ITS en SO&O erkennen dat de gevolgde koers niet de juiste blijkt te zijn geweest. Saskia van Dijk: “Dan moet je daar ook niet ten koste van alles aan vast blijven houden, maar je herbezinnen en een nieuwe richting kiezen.”