Serverproblemen – database-crash en mea maxima culpa
· Laatst bijgewerkt:
Het zal jullie niet ontgaan zijn dat we vandaag weer de nodige problemen met de website hebben gehad. Na ons laatste debacle heeft het noodlot vandaag opnieuw toegeslagen in de vorm van een volledige crash van onze (eigen dedicated) database-server door een kapotte RAID-array. Inmiddels is deze weer volledig gerepareerd en ingeschakeld, dus we kunnen weer vol ‘goede moed’ verder. November 2010 is vooralsnog geen goede maand voor ons gebleken. Onze voorlaatste problemen hebben vooral te maken met de toegenomen groei van iPhoneclub.nl en een deel ook onze website iPadclub.nl, die op dezelfde machine draait. Die hebben we anderhalve week geleden – na twee dagen compleet offline te zijn geweest – weten op te lossen door een reverse proxy in te zetten, zoals uitgelegd in een eerder artikel. De crash van de database-server van vandaag heeft daar echter niets mee te maken en is gewoon een zeer onfortuinlijke samenloop van omstandigheden.
Een wijze les voor ons is wel dat we zelf (lees: ondergetekende) veel te laat hebben onderkend dat we serieuzer over redundantie en beschikbaarheid moeten nadenken. Het is natuurlijk niet echt goed te praten als je als ‘grote’ Nederlandstalige website (voor met name iPhoneclub.nl) niet in een failover situatie hebt voorzien, waardoor je bij problemen in ieder geval in heel korte tijd naar een backup-oplossing kunt overschakelen en de websites en content weer te lezen zijn voor alle enthousiaste en betrokken bezoekers. Hiervoor steek ik dan ook volledig de hand in eigen boezem. Nodeloos om te zeggen dat we hier aanstaande maandag voor eens en voor altijd korte metten mee gaan maken, ongeacht de kosten die daarvoor gemaakt moeten worden.
We bedanken iedereen die ons via Twitter of e-mail een hart onder de riem heeft gestoken. We hopen en verwachten dat er snel een einde aan deze hopeloze situatie komt en iPhoneclub.nl (en andere websites) ook voorbereid zijn op (onstuimige) verdere groei, met volledige beschikbaarheid. We zijn niet perfect, maar willen daar wel graag naar streven.
Taalfout gezien of andere suggestie hoe we dit artikel kunnen verbeteren? Laat het ons weten!
Geen goede maand voor jullie, maar wel al jaren goede maanden voor ons!
En aangezien jullie ook in het weekend alle problemen snel oplossen, is het echt niet erg!!
Succes maandag met de meeting en mochten jullie hulp/geld nodig hebben, dan is een donate button voor ons geen probleem!!
Thank,
Frank
Ik heb wel geld nodig :O
Blij dat jullie een backup hadden 🙂 Een RAID set die er mee kapt is vaak einde verhaal ja
Dat ben een hoop moeilijke woorden 😉
Statistisch gezien zijn jullie voorlopig klaar met de server-ellende 😉
Ik zeg VMware clustertje 🙂 SLA van 99,98% erbij en we zitten gebijteld.
Het zij u vergeven 🙂
We hebben nog wel een halve Terabyte geheugen in ons VMware cluster 🙂
LOL, hier is flink gemodereerd.
Iig leuk dat de club weer goed te bereiken is.
@Vince: Ik denk niet dat ze 100.000 euro hebben liggen 🙂
Ontopic: vervelend, ben zelf IT’er en kan je vertellen dat Murphy nooit alleen komt 🙁 Succes met het oplossen en investeren in een duurzame oplossing, dat zal niet goedkoop zijn maar wel het beste.
Kom maar op met die Donate button en ik ben de eerste die hem indrukt.
@Tha_Duck
daarom moet je zoiets ook niet zelf kopen, maar uitbesteden en gewoon losse VM’s afnemen. Dan ben je voor 2 VM’s met aanvullende diensten iets tussen de 450 en 750 kwijt per maand. Maar goed, dat is teveel off topic. 🙂
Fijn dat er aan de bereikbaarheid van de site gewerkt wordt.
Gertjan van Laar: Dat zou je wel verwachten ja 🙁 Afkloppen maar.