De (bijna) verloren onderzoeksdata in Yoda waren een wake-upcall

Het is begin november als de afdeling ict van de faculteit Geowetenschappen voor het eerst aan de bel trekt. “Er is wat met Yoda, maar we weten niet precies wat.” Op de vijfde verdieping van het Vening Meineszgebouw, waar zowel de afdeling ict als het bestuur zetelt, wordt het contact vlot gelegd. Het is alleen nog niet duidelijk hoe de ernst in te schatten. “De rode vlaggen gingen nog niet omhoog”, herinnert decaan Wilco Hazeleger zich. “Mogelijk waren er wat files kwijt geraakt.” 

Maar met de dag worden de signalen ernstiger. Inderdaad blijken er files kwijt. Die zijn nog niet terug gevonden en erger het zou mogelijk om wat meer gaan dan een paar files. Hazeleger: “Bij een brand is het meteen duidelijk: alles staat in de fik. Maar hier broeide iets. Pas beetje bij beetje werd duidelijk dat mogelijk een grote hoeveelheid onderzoeksdata zou zijn verdwenen. Dan komt het moment dat je zegt ‘nu wordt het tijd om actie te ondernemen’.” Het werd tijd om communicatie in te schakelen.

Twee beveiligde datacentra
Yoda is een door de UU zelf ontwikkeld onderzoeksdatamanagementsysteem. Het is gebouwd voor het het YOUth onderzoek (YODA stond voor YOuth Data, later is daar YOur DAta van gemaakt). YOUth is een langdurig onderzoek naar kinderontwikkeling van de UU en UMCU, gefinancieerd met het Zwaartekrachtproject CID (Consortium on Individual Development). Onderzoekers van verschillende universiteiten moesten grote hoeveelheden data voor langere tijd gingen verzamelen en met elkaar kunnen delen. De databank moest dus niet alleen grote hoeveelheden data kunnen herbergen, maar moest ook veilig zijn vanwege privacygevoelige informatie. Door Yoda hoefden onderzoekers niet met een usb-stick of schijfje in de trein te reizen met het risico dat ze vertrouwelijke informatie kwijt zouden raken. Bovendien is het systeem zo ingericht dat gegevens niet in één, maar in twee beveiligde datacentra zijn opgeslagen, namelijk in Utrecht en in Almere. De data worden live continue met een kleine vertraging in tijd gekopieerd van het ene datacentrum naar het andere. 

Combinatie van menselijke fout en storing
Toch dreigde het in november mis te gaan. Dit gebeurde toen voor het compartiment Geowetenschappen meer ruimte gecreëerd moest worden. Tijdens het toevoegen van de extra digitale ruimte in een van de twee datacentra ging het fout. Een medewerker was bezig met het vervangen van een oude voor een nieuwe schijf met daarop specifieke data van Geo. Bij het vervangen is per ongeluk het pad naar de bronnen met ‘live-data’ verwijderd. Daardoor bleek opeens de informatie met geo-data niet meer toegankelijk. En het was in eerste instantie ook niet makkelijk om de verloren gegane data weer boven water te toveren.  “Door een storing in het Yoda-systeem waren niet alle grote bestanden in Yoda goed gerepliceerd (gekopieerd -red) naar het andere datacenter. Daardoor konden we een deel van de vermiste informatie niet direct terughalen.”

Toen binnen ITS duidelijk werd, dat de actie grote gevolgen had, is er direct contact opgenomen met de faculteit.  “Toen we dat hoorden, schrokken we toch wel”, vertelt Hazeleger. “Voor wetenschap is data een belangrijke basis om onderzoek te kunnen doen. Als je data kwijt raakt, kan dat enorme gevolgen hebben. Het raakt de kern van ons werk.”

Wilco Hazeleger Foto: Ivar Pel, UU

Raakt basis van de wetenschap
Bij Geowetenschappen heb je verschillende soorten data die opgeslagen worden. Dat kan gaan om transcripties van uitgewerkte gesprekken, samples van grondsoorten in een bepaalde regio, resultaten van enquêtes en een verzameling van gegevens van proefpersonen door de jaren heen. Heel verschillend dus. “Je moet er niet aan denken dat zulke data verdwijnt. In het ergste geval kan het onderzoek van jaren op slag verdwenen zijn. En los van dat. Het raakt aan de basis van wetenschap. Je wilt een datasysteem hebben dat ervoor zorgt dat data reproduceerbaar is en vindbaar voor de juiste personen. De betrouwbaarheid van de vindplaats is de basis van de wetenschappelijke reputatie. Dat leek nu allemaal op het spel te staan.”

Crisisteams
Dus richtte de decaan een facultair crisisteam op. Daarin nam hij de rol van voorzitter op zich. Ook  zaten de faculteitsdirecteur, de bestuurssecretaris, iemand van ict en van communicatie in dit team. “Het goede was dat we eerder in het jaar een crisistraining hadden gedaan. Dat kwam nu goed uit. We konden concreet aan de slag gaan volgens de regels die we geleerd hadden. Het plotten, ofwel in kaart brengen van de problemen en die uitwerken via het bob-systeem van beeldvorming, oordelen en besluiten.”

Al snel werd besloten dat er ook een centraal crisisteam kwam. Daarin zat onder meer iemand van het College van Bestuur. Daar werden de grote lijnen uitgestippeld die de faculteit kon uitvoeren. Er werd onder meer contact gelegd met de Autoriteit Persoonsgegevens (hoewel er geen gegevens op straat lagen, maar juist waren verdwenen)  en ook de Raad van Toezicht werd geïnformeerd.

Schade compenseren
De faculteit ging alle hoofdeigenaren van de data informeren. Dat ging om zo’n veertig onderzoekers. “We konden eigenlijk alleen zeggen dat er mogelijk wat weg was. Op dat moment werd er nog keihard gewerkt om data terug te halen.” Meteen de maandag erop was er een online crisisoverleg met de wetenschappers. “Enerzijds wilden we aangeven wat het probleem was en wilden we een inschatting maken van de gevolgen voor de wetenschappers. Anderzijds wilden we ook meteen duidelijk maken dat we eventuele schade wilden compenseren. Gelukkig kregen we op dat punt de volledige steun van het College van Bestuur.”

Het viel Hazeleger mee hoe de wetenschappers reageerden. Het was geen emotionele bijeenkomst. Ook bleek dat best wel wat onderzoekers op de een of andere manier nog een eigen back-up hadden voor het geval dat. “Eigenlijk moet een systeem als Yoda zo betrouwbaar zijn dat een wetenschapper dit niet doet. Maar in dit geval kwam het wel goed uit. Alleen jammer dat mensen die het netste werkten, het sterkst getroffen werden.” 

Twee promovendi getroffen
Achter de schermen werd dag en nacht gezocht naar de verloren gewaande data. Er was een replica (kopieerbestand van de live data die continue gaat tussen de datacentra) met alle data waarmee de fout was gemaakt. Op die replica is veruit het grootste deel van de data teruggevonden. Zo’n 9 procent was echt verloren gegaan. De data die niet in de replica teruggevonden kon worden, is voor een groot deel teruggehaald met behulp van de onderzoekers. “Uiteindelijk zijn twee promovendi twee maanden werk kwijt. Dat zullen we ruimhartig compenseren,” zegt Hazeleger. 

De schade is dus beperkt en er is geen data verloren gegaan dat niet overgedaan kan worden. Want dat was ook nog een risico, dat er samples bij zaten die ergens op de wereld waren verzameld en dat niet zomaar vervangen konden worden. “Dat de schade beperkt is, is natuurlijk goed. Je kunt dit ook een extra wakeup-call noemen. Databeheer is essentieel voor de wetenschap en de betrouwbaarheid daarvan. We hadden al data stewards aangesteld. Dat zijn mensen die gespecialiseerd zijn in het veilig omgaan met data en wetenschappers ondersteunen. We weten  nu hoe belangrijk dit is.”

Kwetsbaarheid systeem
Een andere les is dat we ons nu bewust zijn van de kwetsbaarheid van het systeem. Hazeleger: “Je hebt een goed programma lopen, maar zelfs dan kan het dus fout gaan. Daarom zijn de afspraken aangescherpt om bij veranderingen altijd eerst te overleggen met meerdere collega’s. En hebben we geleerd snel openheid van zaken te geven en transparant te zijn. Ook al is de boodschap pijnlijk.”

“Sinds het incident zijn de procedures voor dataopslag aangescherpt. Eigenlijk moet je in zo’n geval zorgen dat altijd vier ogen meekijken zodat je elkaar kunt corrigeren. Dat hebben we daarna meteen ingevoerd. Vanaf nu wordt in beide datacentra van Yoda strikt volgens het vier ogen-principe gewerkt”, vertelt Jan- Paul van Staalduinen, directeur van Information & Technology Services (ITS).  “We voeren continue controles uit om te borgen dat alle nieuw geüploade data naar behoren wordt opgeslagen in beide datacentra. En verwijderde grote bestanden worden nu minimaal 96 uur in een herstelwachtrij geplaatst. Dus als er per ongeluk een bestand wordt verwijderd, zijn er vier dagen om data terug te halen. Ook zijn er extra kopieën gemaakt in de replica-omgeving in een van de twee datacentra.”

Kracht van Yoda
Hoe vreemd het ook klinkt, de crisis met Yoda toont ook de kracht van dit datasysteem aan. Hazeleger: “We hebben dit datasysteem zelf ontwikkeld en beheren het ook zelf. Hierdoor waren we niet afhankelijk van een derde partij toen het misging. Mensen van ict voelden zich enorm verantwoordelijk en zijn keihard aan de slag gegaan. Als je zo’n systeem laat runnen door een grote internationale partij is die betrokkenheid vaak minder groot.”

Hazeleger hoopt dat wetenschappers vertrouwen blijven houden in Yoda. “Omgaan met data is een essentieel onderdeel van het onderzoek. Dat mogen we niet onderschatten. Yoda biedt de mogelijkheid om op een veilige manier data te delen en publiek toegankelijk te maken waar het nodig is. Het is een onderdeel van de wetenschap dat we niet mogen onderschatten  en we moeten kunnen rekenen op de experts.”