Serverproblemen – database-crash en mea maxima culpa

Het zal jullie niet ontgaan zijn dat we vandaag weer de nodige problemen met de website hebben gehad. Na ons laatste debacle heeft het noodlot vandaag opnieuw toegeslagen in de vorm van een volledige crash van onze (eigen dedicated) database-server door een kapotte RAID-array. Inmiddels is deze weer volledig gerepareerd en ingeschakeld, dus we kunnen weer vol ‘goede moed’ verder. November 2010 is vooralsnog geen goede maand voor ons gebleken. Onze voorlaatste problemen hebben vooral te maken met de toegenomen groei van iPhoneclub.nl en een deel ook onze andere websites iPadPlanet.nl en AndroidPlanet. Die hebben we anderhalve week geleden – na twee dagen compleet offline te zijn geweest – weten op te lossen door een reverse proxy in te zetten, zoals uitgelegd in het eerdere artikel. De crash van de database-server van vandaag heeft daar echter niets mee te maken en is gewoon een zeer onfortuinlijke samenloop van omstandigheden.

Een wijze les voor ons is wel dat we zelf (lees: ondergetekende) veel te laat hebben onderkend dat we serieuzer over redundantie en beschikbaarheid moeten nadenken. Het is natuurlijk niet echt goed te praten als je als ‘grote’ Nederlandstalige website (1,8 miljoen unieke bezoekers per maand) niet in een failover situatie hebt voorzien, waardoor je bij problemen in ieder geval in heel korte tijd naar een backup-oplossing kunt overschakelen en de websites en content weer te lezen zijn voor alle enthousiaste en betrokken bezoekers. Hiervoor steek ik dan ook volledig de hand in eigen boezem. Nodeloos om te zeggen dat we hier aanstaande maandag voor eens en voor altijd korte metten mee gaan maken, ongeacht de kosten die daarvoor gemaakt moeten worden.

We bedanken iedereen die ons via Twitter of e-mail een hart onder de riem heeft gestoken. We hopen en verwachten dat er snel een einde aan deze hopeloze situatie komt en iPhoneclub.nl (en andere websites) ook voorbereid zijn op (onstuimige) verdere groei, met volledige beschikbaarheid. We zijn niet perfect, maar willen daar wel graag naar streven.

Mea maxima culpa