Frank Roor

Mijn grootste angst is de dood. De dood van een van onze servers, welteverstaan. De servers zijn het hart van onze business. Als we daar geraakt worden, worden we diep in ons hart geraakt. Alle 112 alarmbellen zullen gaan rinkelen. We zullen alle manschappen bijeen moeten halen en met man en macht proberen de boel te reanimeren. Het is eigenlijk ‘de natuurramp’ in ons vakgebied. De rillingen lopen door mijn lijf als ik over de verdere gevolgen nadenk. Helaas moet ik mededelen dat mijn grootste angst drie weken geleden werkelijkheid is geworden.

Het was vrijdagmiddag rond half vier, het weekend was in zicht. Ik had eigenlijk een rustige dag achter de rug. Zo’n rustige vrijdag met een aantal eenvoudige taken weg te werken. Geheel ontspannen zat ik te twijfelen om een goudgele rakker te nemen. Op mijn gemak wilde ik mijn uren insturen via Timepost (software voor urenadministratie). De uren worden met dit programma naar onze server gestuurd. Na een aantal maal proberen, lukte het nog steeds niet. De telefoon ging.

“Ha Frank, zijn er problemen met de site of ligt het aan ons?” Je hoopt op dat soort momenten dan eigenlijk dat het aan de internetverbinding van de klant ligt. “Doen andere sites het wel?” Ondertussen zag ik al een foutmelding in mijn mailprogramma. “Ja, andere sites doen het wel.” Uiteraard checkte ik een aantal andere sites en keek ik of de server nog up was. Eigenlijk wist ik het al. “Ik vermoed dat het probleem bij ons ligt, we gaan er naar kijken!” Dat biertje, daar was geen twijfel meer over mogelijk, dat gaat wel even duren voordat ik die kan drinken. Alarmfase 1 ging in.

Na enkele minuten kwamen we erachter dat de voeding van de oude server het had begeven. Op deze server draaiden nog een aantal sites. We zaten midden in een migratieproces naar een nieuwe server. Een groot deel was al verhuisd naar de nieuwe server. De crash betekende dat we alle plannen rondom de migratie aan de kant konden schuiven. Het migratieplan waar het woord downtime niet in voorkwam, werd nu een onverwachte verhuizing met een te lange downtime. Als de sodemieter hebben we alle sites verhuisd naar de nieuwe server. Alle back-upplannen en noodscenario’s ten spijt, er gaat altijd wel iets fout.

Zo kwamen we erachter dat bepaalde back-ups de afgelopen nacht niet gemaakt waren. Onbegrijpelijk. We hebben een aantal back-ups van de nacht dáárvoor terug moeten zetten. Onacceptabel uiteraard. Daarnaast ging het bij een website faliekant mis. De website van de plaatselijke voetbalclub was al verhuisd naar de nieuwe server (ik ben altijd de sigaar vrijwilliger bij de voetbalclub). Helaas had ik een oude kopie van de site nog laten staan op de oude server. Helaas was dit een kopie van 2 maanden terug. Helaas waren we iets te gehaast tijdens het overzetten van back-ups naar de nieuwe server. Helaas zat tussen de back-ups de oude versie van de site. Helaas gaf de software geen melding dat er iets overschreven ging worden. Helaas werd alles uiteindelijk overschreven. Helaas … weg werk van de afgelopen twee maanden door vele vrijwilligers. Ik kon wel janken.

Wat hier gebeurde is echt onacceptabel. Het is één van de rottigste dingen om te doen, het werk dat je al gedaan hebt, nog een keer uitvoeren. Gelukkig heb ik de boel weer aardig op de rit. Naast het overschrijven van de site, was de server crash in het algemeen natuurlijk een enorme domper. Gelukkig hebben we dit ook weer aardig op orde en viel de schade mee. Je probeert je op dit soort situaties altijd zo goed mogelijk voor te bereiden. Toch valt er altijd iets tegen. We moeten hiervan leren. Onze noodscenario’s moeten aangescherpt worden. De fout van het overschrijven zal ons nóóit meer gebeuren. Al deze verbeteringen zullen echter mijn grootste angst niet wegnemen, de angst voor bovenstaand verhaal. Gelukkig slaap ik wel altijd goed :-)