'Het was een extreem heftige periode', zeggen UU-bestuurder en ICT-directeur over brand Almere

Toen op donderdagochtend 7 mei brand uitbrak in het servercentrum van NorthC  in Almere vroeg dat veel van het incasserings- en aanpassingsvermogen van studenten en medewerkers van de Universiteit Utrecht. De servers van de universiteit staan hier en doordat ze uitvielen, functioneerde de IT-diensten dagenlang niet of niet naar behoren. Deuren gingen niet open, computersystemen waren onbereikbaar, communicatiekanalen vielen uit. 

Het duurde ruim een week voordat het universitaire leven weer normaliseerde. Vicevoorzitter Margot van der Starre en directeur Jan-Paul van Staalduinen van de directie Information & Technology Services (ITS) stonden in de frontlinie bij de aanpak van deze crisis. Ze blikken met tevredenheid terug op hoe het crisismanagement heeft gefunctioneerd en hoe iedereen zich plooide naar de nieuwe omstandigheden.

Maar er was ook kritiek. In een artikel van DUB uitten universitair hoofddocent Informatica Slinger Jansen en docent Nishant Saurabh van de UU zich kritisch over de wijze waarop de universiteit een week lang niet goed functioneerde door het stilvallen van de servers in Almere. In geval van een calamiteit, zo betoogden zij, is het noodzakelijk om snel te kunnen wisselen naar andere servers waarop back-ups staan.

Midden in die crisisperiode, hadden Van der Starre en Van Staalduinen geen tijd om inhoudelijk te reageren. Maar nu willen ze  een eerste inkijkje geven in wat volgens hen gebeurde. De ITS-evaluatie van de aanpak van de brand, de analyse van de schade zijn nog wel in volle gang. Naar verwachting worden die begin juli afgerond. Maar er komt nog een tweede evaluatie en wel vanuit het oogpunt van integrale veiligheid. Deze wordt aan het begin van het nieuwe collegejaar verwacht. Mogelijke beleidswijzigingen volgen daarna pas.

“Geleidelijk kregen we grip op de situatie. Ik voel mij terugkijkend ook trots”

Hoe hebben jullie de crisis beleefd? 
ITS-directeur Van Staalduinen: “Het was een extreem heftige en intensieve periode, vooral voor mijn mensen. Ik werd donderdagochtend gebeld met de mededeling dat er een brand was uitgebroken in het datacentrum. In eerste instantie ga je ervan uit dat het om een lokaal brandje gaat en dat ze het met een brandblusser kunnen oplossen. Niet veel later bleek het een gigantische calamiteit te zijn. Je gaat meteen in crisisstand. 

“Het was een spannende operatie. Het komt niet zo vaak voor dat je een heel datacentrum voor je hele bedrijfsvoering opnieuw moet opstarten. De eerste dagen waren lang. Geleidelijk kregen we grip op de situatie. Ik voel mij terugkijkend ook trots. Ik heb al mijn mensen als een malle zien werken, met hart voor de zaak. We hadden dit nog niet eerder meegemaakt, maar we zijn er goed uitgekomen.” 

Vicevoorzitter Van der Starre: “Ik heb zo’n twee jaar geleden het datacentrum in Almere bezocht. Dat heeft mij toen veel vertrouwen gegeven. Ik zag hoe goed en professioneel het datacentrum georganiseerd was. Ik weet nog dat ik toen wel dacht: hopelijk gaat hier niets gebeuren, het is een kwetsbaar onderdeel van de organisatie. En nu dan die brand. Hoewel verschrikkelijk vervelend, kan een brand altijd uitbreken. Ik was vooral ongerust dat er servers zouden zijn aangetast. Gelukkig kwam er vrij snel het bericht vanuit NorthC dat dit waarschijnlijk niet was gebeurd.” 

“Je zult mij niet horen zeggen dat alles 100 procent goed is gegaan. Je kunt er altijd lessen uit trekken”

Zijn jullie door deze brand anders gaan aankijken tegen de digitale kwetsbaarheid van de UU? 
Van der Starre: “Dit was natuurlijk wel een uitzonderlijke situatie. Dat heeft niet zozeer met digitale kwetsbaarheid te maken, maar gewoon met de fysieke kwetsbaarheid van een gebouw waar een brand kan uitbreken. De week ervoor was er een grote Canvas-hack op een aantal universiteiten. We zijn ons ervan bewust dat we kwetsbaar zijn voor hacks en daar zijn we continu mee bezig.”

De storing heeft daar dus niets aan veranderd?
Van der Starre: “Nog niet. We hebben ook een keer gehad dat er een hijskraan op een gebouw is gevallen. Dat verzin je ook niet. Elke crisis moet je goed evalueren. Maar je zult mij niet horen zeggen dat het nu 100 procent goed is gegaan. Je kunt er altijd lessen uit trekken. De evaluatie die wij nu doen, gaat denk ik wel tot een aantal aanpassingen leiden. Het zou heel raar zijn als dat niet zou gebeuren. We leren er ook van.”

Stel dat de internationale situatie escaleert  - je kunt niet managen wat Poetin doet. Het kan dan ook een verdwaalde drone zijn die je cruciale infrastructuur treft.
Van Staalduinen: “Die conversatie moet worden gevoerd in een verband met de Nederlandse universiteiten. Maar eerlijk gezegd, als er drones op datacentra vallen, hebben we vermoedelijk wel andere dingen aan ons hoofd dan ons bezig te houden met tentamens die morgen doorgaan of niet.” 

Waarom Van der Starre en Van Staalduinen allebei vertrekken bij de UU

Het aangekondigde vertrek van Margot van der Starre als vicevoorzitter van het College van Bestuur (CvB), is nog heet van de naald, als we aanschuiven aan de tafel op haar kamer op de vijfde etage van het Bestuursgebouw. De interviewafspraak was gemaakt voor de mededeling van haar vertrek. Directeur Information & Technology Services (ITS) Jan-Paul van Staalduinen had al eerder gemeld de UU te verlaten. Hij vertrekt begin juli en had dat al voor de brand laten weten. Waarom vertrekken zij bij de UU?

Van der Starre: “Ik heb behoefte aan wat meer ruimte in mijn leven. Die behoefte heb ik al langer. Het CvB heeft de afgelopen tijd twee wisselingen doorgemaakt, met als laatste de start van collegevoorzitter Hans Brug afgelopen januari. Hans is snel ingewerkt, waardoor ik nu de beslissing kon nemen om te stoppen.

Van Staalduinen: “Mijn vriendin en ik verwachten deze zomer ons eerste kind. Mijn reistijd vanuit de regio Delft is iedere dag fors – zeker met file. Ik wil graag dichter bij huis werken, zodat ik binnen redelijke tijd thuis ben als er iets is. Dat bewoog mij om te stoppen bij de Universiteit Utrecht. Met pijn in het hart, want ik vind het een fantastisch instituut.”
 

“Je verwacht niet dat een brand uitbreekt in een datacentrum” 

Is de UU voldoende beschermd tegen dit soort IT-calamiteiten? 
Van Staalduinen: “Er zijn altijd risico’s. Daarvoor maak je een risicoanalyse: hoe groot is de kans en hoe groot is de impact? Daarin maak je een afweging. Door maatregelen te nemen kun je sommige risico’s wegnemen. Andere kun je kleiner maken, maar zullen er altijd blijven. Brand zal altijd een risico blijven.”

Werd de universiteit overvallen door de brand? 
Van Staalduinen: “Wat is overvallen? Kijk, je rekent niet op zo’n brand. We hebben bij IT op allerlei scenario’s geoefend, maar je kan niet voorbereid zijn op ieder scenario dat ooit kan gebeuren. We oefenen echt verschrikkelijk veel bij de UU en in mijn optiek hebben we daarvan profijt gehad.” 

Van der Starre:  “Nee we zijn niet overvallen, want we hebben geoefend met een crisis. En we zijn daar ook goed mee omgegaan. Maar zoals ik al zei, je verwacht niet dat er een brand uitbreekt in een datacentrum. Ik heb die plek twee jaar geleden bezocht en het maakte een erg professionele indruk.”

Een brand kan toch gewoon gebeuren, daar kun je toch wel rekening mee houden? 
Van Staalduinen: “Er was brand in de noodstroomvoorziening van het datacentrum ontstaan. NorthC onderzoekt momenteel hoe dat kon gebeuren. Maar de brand in de noodstroomvoorziening heeft ook de normale netstroomvoorziening meegenomen. Dan eindig je met geen stroom. De kans dat zoiets gebeurt, is praktisch nihil.”

Van der Starre: “Als dat je overkomt, is dat ongeveer wel het aller-aller-allerergste. Dat neemt niet weg dat we onze crisisorganisatie op orde hadden. We hebben niet voor niks een tweede datacentrum, naast dat in Almere, dat we weer. In die zin zijn we wel voorbereid. Je kan ook geen tweede datacentrum hebben.” 

Wat zijn jullie eerste conclusies na de storing? 
Van der Starre: “Het is nog te vroeg om conclusies te trekken. Ik ben ook benieuwd naar de evaluatie van NorthC. We hebben daar onze data opgeslagen, omdat we verwachtten dat onze data daar veilig zouden zijn. Die verwachting is niet helemaal waargemaakt. Onze overeenkomst met NorthC en KPN die namens de UU de servers daar heeft gereserveerd, is ook gebaseerd op vertrouwen. Ik zal niet zeggen dat het vertrouwen is geschaad, maar uit hun evaluatie zal ook moeten blijken wat zij ervan hebben geleerd.” 

Van Staalduinen: “We konden uitwijken naar onze back-ups in het datacentrum bij het UMC Utrecht. We hebben van tevoren het uitwijken een aantal keer geoefend, maar in de praktijk bleek het toch anders te lopen als de stroom van een heel datacentrum eraf gaat. Daarvan kunnen we leren.” 

“Er is formeel een claim gelegd bij KPN, die namens de UU de servers bij NorthC heeft gereserveerd”

De UU heeft er al lang geleden voor gekozen om bij calamiteiten handmatig over te schakelen naar haar tweede datacentrum en niet automatisch wat veel sneller zou zijn gegaan. Waarom? 
Van Staalduinen: “De uitwijk- en back-upmogelijkheden die we hebben, dien je op een schaal te zien. Met aan de ene kant dat je alles back-upt op ‘cassettebandjes’. Dat is veilig, maar als iets misgaat ben je even bezig om alles handmatig terug te zetten. Aan de andere kant heb je een systeem dat het meteen overneemt en alles omleidt. Hieraan zitten veel hogere kosten verbonden. We kennen de risico’s en de maatregelen die we kunnen nemen. Voor elk risico moeten we een proportionele oplossing hebben, die enerzijds het risico in acht neemt en anderzijds maatregelen daar tegenover stelt die proportioneel zijn. Binnen die afweging hebben wij gekozen voor de setup die wij momenteel hebben met een tweede back-up en een handmatige omleiding. 

Hebben jullie bij nader inzien de juiste afweging gemaakt in de risico’s en maatregelen?
Van der Starre: “We kunnen daar pas na onze evaluatie iets over zeggen. Er zijn altijd mensen in onze gemeenschap die iets vinden van hoe het gaat, maar anderen zeggen dat het nou eenmaal zo gaat als het nu is verlopen. Er is geen volledig beeld in DUB geschetst door deze twee experts. We moeten het nu goed evalueren. Er zullen echt wel dingen zijn waarvan wij zeggen dat we daarvan hebben geleerd en het anders moeten organiseren. Daarmee zullen ook kosten zijn gemoeid, die van het totaal afgaan. Het zijn keuzes die we in de universiteit met elkaar moeten maken. Want als we meer geld uitgeven aan het één, hebben we automatisch minder over voor het ander. Als het nodig is, gaan we dat natuurlijk doen. Maar we moeten wel goed met elkaar overwegen wat het ons allemaal waard is.” 

Weten jullie al hoe groot de financiële schade is? 
Van der Starre: “Dat zijn we aan het inventariseren. We hebben een aansprakelijkheidsverzekering. De materiële schade kun je goed inventariseren, daar zijn we mee bezig, maar er is ook immateriële schade die moeilijk is uit te drukken in euro’s. Studenten zaten bijvoorbeeld in de onzekerheid of hun tentamen doorging of niet en docenten zaten in de stress omdat ze op het laatste moment de tentamens moesten uitprinten.” 

Van Staalduinen: “De schadespecialisten van de UU zijn er momenteel mee bezig. Ik weet niet wat de exacte stand van zaken is, maar er wordt absoluut aan gewerkt. Er is ook formeel een claim gelegd bij KPN. Een open claim, waarin we hebben aangegeven dat we KPN verantwoordelijk stellen voor de geleden schade en het precieze bedrag nog doorgeven.”

“Ik denk dat we qua beveiliging een niet veel groter risico dan normaal hebben gelopen”

De UU heeft naast de servers in Almere ook servers met back-ups in een tweede datacentrum, hier bij het UMC Utrecht. Er was tijdens de crisis sprake van een mogelijk derde datacentrum. Is dat er? 
Van Staalduinen: “Nee. De Universiteit Utrecht heeft twee datacentra: in Almere en bij het UMC Utrecht. Daarnaast gebruiken we een veelvoud aan clouddiensten. Brightspace bijvoorbeeld draaide gewoon in de cloud. Een aantal van die diensten zijn tijdens de hele situatie beschikbaar gebleven. Behalve dan tijdens de periode dat je niet kon inloggen, omdat we de systemen nog aan het herstellen waren. 

Sommige studenten kwamen toch niet in Brightspace? 
Van Staalduinen: “Ons inlogsysteem was een van de diensten die we in de eerste dagen moesten herstellen. Toen dat eenmaal was hersteld, kon iedereen weer bij Brightspace. Je moet het je zo voorstellen dat het inlogsysteem het toegangspasje is voor Brightspace. Brightspace zelf doet het, maar je toegangspasje niet, waardoor je er niet in kan.”

Hier en daar waren klachten over de volgorde waarmee diensten werden herstart. DUB lag er bijvoorbeeld acht dagen uit. Hebben jullie al een idee wat je de volgende keer anders zou doen? 
Van Staalduinen: “We hebben een herstelplan gemaakt. Als je een datacentrum herstart, moet dat in een bepaalde volgordelijkheid gebeuren. Sommige systemen hebben andere systemen nodig om zelf te kunnen functioneren. Aan het begin van de crisis lag onze prioriteit bij het herstellen van het netwerk waarmee je kunt inloggen. We kozen ervoor onze energie in te zetten op het herstellen van de situatie in Almere. De verwachting was aanvankelijk dat daar snel weer stroom zou zijn. Dat bleek later langer te duren dan verwacht. In de tussenliggende periode hebben we een aantal systemen niet teruggezet. Andere systemen zaten bovendien te ver weggestopt in ons landschap en kun je niet zomaar even makkelijk terugzetten.”

We hoorden achteraf dat de informatiesystemen zelf ook even niet beveiligd waren. En dat een hacker goed zijn gang had kunnen gaan. Klopt dat? 
Van Staalduinen: “Wij hebben beveiliging in meerdere lagen van onze systemen. Toen het datacentrum in Almere uitviel, was niet alles daarvan beschikbaar. Tegelijkertijd hebben we ook maatregelen genomen om de verhoogde dijkbewaking op andere manieren in te richten. Maar kijk, als al je systemen uitvallen, heeft dat gewoon impact. Zo simpel is het. Ik denk dat we qua beveiliging een niet veel groter risico dan normaal hebben gelopen.”