Life sucks.
Heute morgen stehe ich nichtsahnend auf, um halb zwölf halbwegs ausgeschlafen, mit einer Tasse Kaffee in der Hand setze ich mich an den Rechnen und will wie an jedem (freien) Morgen hier reinschauen.
Forum down. Augenbraue wandert nach oben. Ich versuche mich per SSH einzuloggen. Timeout. Ein unangenehmes Gefühl macht sich breit. Ich will das Wartungspanel öffenen - "geplante Auszeit bis etwa 22 Uhr".
Erstmal ein ungläubiges Staunen - man kann nicht wirklich den Server über zehn Stunden offline nehmen ohne den Kunden darüber zu informieren, denke ich mir... :staun: Kurze Recherche im Netz bringt mich weiter, scheinbar sind fast alle Server4You-Kunden von mysteriösen Ausfällen betroffen. Erste Mails und SMS treffen bei mir ein.
Nach kurzer Zeit erscheint dann die erste Meldung auf der Site des Hosters:
Wichtige Information
Sehr geehrte Kunden,
aufgrund einer unangekündigten Wartungsarbeit unseres Rechenzentrumsbetreibers Avaya-Tenovis kam es heute gegen 9.50 Uhr zu einem Stromausfall in einem Teil unserer Rechenzentrumsfläche in der Avaya Databurg in Frankfurt. Da ein Leistungsschalter bei der Wartung nicht wie erwartet ausgelöst hat, haben vorhandene USV-Anlagen und Diesel-Generatoren nicht gegriffen und ein Stromausfall entstand. Zwar hat dieser Stromausfall nur ca. 10 Minuten gedauert, aber dennoch dafür gesorgt, dass alle Systeme in dem betroffenen Bereich neu starten mussten. Betroffen sind ca. 20 % unserer Kunden.
Zurzeit arbeiten alle verfügbaren Mitarbeiter mit Hochdruck daran, dass Ihre Server schnellstmöglich wieder erreichbar sind.
Der Großteil der betroffenen Server ist bereits jetzt wieder erreichbar. Alle verbleibenden Root-Server sollten innerhalb der nächsten 2-3 Stunden wieder verfügbar sein, alle vServer im Laufe des Tages.
Wir können leider nicht ausschließen, dass es bis in die späten Abendstunden zu Beeinträchtigungen bei internen Systemen wie z.B. dem PowerPanel kommen kann.
Wir werden Sie jederzeit über den Stand der Dinge der Recovery-Maßnahmen auf dem Laufenden halten und Ihnen auch kurzfristige Rückmeldungen zu Ihrem Server-Status geben.
Wir möchten Sie bitten, die aus diesem Vorfall resultierenden Unannehmlichkeiten zu entschuldigen und versichern Ihnen nochmals, dass wir alles daran setzen, um zügig in den Normalzustand zurückzukehren. Darüber hinaus wird unser Rechenzentrumsbetreiber alle Leistungsschalter nochmals überprüfen, um derartige Vorfälle in Zukunft auszuschließen.
Mit freundlichen Grüßen
Ihr SERVER4YOU-Team
Soviel zur "geplanten Wartungsauszeit". Ein paar Stunden später wird die Meldung ergänzt:
Seit 14:30 laufen alle Root-Server und alle internen Systeme (z.B. Powerpanel) wieder im Regelbetrieb, für Kunden mit Root-Servern sollte es deshalb keine weiteren Beeinträchtigungen geben.
Auch ein großer Teil der vSERVER Systeme ist zwischenzeitlich wieder verfügbar, hier rechnen wir aber mit Beeinträchtigungen einzelner Kunden bis in die späten Abendstunden.
Einzelne Kunden, am Arsch. Laut meinen Netzrecherchen waren fast alle vServer bis weit nach 22 Uhr down. Erst danach kamen langsam einige Systeme nach und nach wieder hoch.
Als ich endlich dann gegen 24 Uhr bemerkte dass mein Wartungspanel wieder erreichbar war, kam langsam wieder Freude auf, die war jedoch nur von kurzer Dauer. Status des Hostsystems: Offline.
Ein paar Minuten später war es dann plötzlich wieder da, und auch der Server wieder erreichbar. Doch das sollte noch nicht alles gewesen sein. Nach den ersten Checks und Wartungsarbeiten per SSH gehe ich ins Forum - und schon bombardiert es mich mit Datenbankfehlern. Klar, die DB mag es nicht wenn sie im Betrieb unsanft beendet wird.
Ich schaue nach, welche Tabellen betroffen sind, mache mich an die Reparaturarbeiten, und plötzlich, während die Reparatur der größten Tabelle durchläuft - "The system is going down for halt NOW!". Ich bekomme die ersten grauen Haare und denke mir, welcher grenzdebile Volldepp fährt von aussen meinen Server runter während ich die verdammte Tabelle repariere?!? OMGWTF?!? :staun:
Da war es endgültig vorbei. Klar, im Reparaturzustand gekillt zu werden mag die DB noch weniger. Nach dem Reboot sieht es düster aus, Datenbank halb zerstört. Ich gebe auf, lösche die DB komplett, und spiele das letzte Backup der vorherigen Nacht wieder ein. Fehler endlich verschwunden, Forum wieder benutzbar.
Fazit: Die Beiträge von heute morgen, etwa zwei bis drei Stunden vor dem Ausfall, sind verloren. Ich konnte es leider nicht ändern, das Schicksal war gegen mich wie auch der §$%&'§$%&'§$&-Hoster. Das gleiche gilt für Bilder, die heute morgen evtl. hochgeladen wurden - die Bilder sind evtl. noch da, aber der Zugriff darauf über das Uploadscript sollte nicht mehr möglich sein.
Dieser Ausfall wird als spektakulärer FAIL in die Geschichte eingehen. Meine Motivation, den Hoster zu wechseln, wird immer größer.