großer Ausfall am 16. Juli 2008 a.k.a. SUPERGAU

0 Mitglieder und 1 Gast betrachten dieses Thema.

Offline Nation-on-Fire

  • Das Beste am Norden !
  • Die Großen Alten
    • Not everyone likes Metal - FUCK THEM !!!!
      • Show only replies by Nation-on-Fire

    Offline Flightcrank

    • Die Großen Alten
      • Just a guy stuck in the 80s...
        • Show only replies by Flightcrank

      Offline JasonXtreme

      • Let me be your Valentineee! YEAH!
      • Global Moderator
      • *****
        • Weiter im Text...
          • Show only replies by JasonXtreme
        Zurück Schatzihasi ;)
        Einmal dachte ich ich hätte unrecht... aber ich hatte mich geirrt.


        Meine DVDs


        Offline Bloodsurfer

        • diagonally parked in a parallel universe...
        • Administrator
        • *****
          • Pfälzer mit saarländischem Migrationshintergrund
            • Show only replies by Bloodsurfer
          Zumindest haben wir jetzt auch einen "Worst Case"-Test hinter uns.
          Selbst wenn die Maschine direkt während der Datenbankreperatur abkackt und wir also ein total zerstörtes Forum haben, funktioniert immer noch das Backup vom Vortag!  :biggrin:
          Also alles Bestens!  :D

          Vielen Dank Andi.

          Also angesichst solch einen Asfalls finde ich dass wir echt gut weggekommen sind und Du hast prima Arbeit geleistet!

          Außerdem ist dies der Beweis wie wichtig es ist ein gescheites Backup zu haben. Früher wäre wahrscheinlich alles weg gewesen, oder das Backup 3 Monate alt.

          Bitte, bitte. :)
          Ja, da zahlt es sich aus, dass man ein gescheites Backupscript geschrieben hat, welches jede Nacht um vier durchläuft, und dieses auch mal ab und zu auf korrekte Funktion überprüft anstatt sich blind darauf zu verlassen 8)
          Darauf lege ich wirklich viel Wert, alles zu sichern von der Datenbank über hochgeladene Pics bis zu sämtlichen Konfigurationen - so kann ich selbst im schlimmsten Fall, wenn ich den Server ganz neu aufsetzen müsste, dies in ein bis zwei Stunden tun ohne Probleme. Es kostet Zeit, das einzurichten, aber im Ernstfall ist es Gold wert.

          Ich weiß genau wie einem, in der von dir beschriebenen Situation, der Herzschlag aussetzt und man 2 Liter kalten Schweiß in 5 Sekunden produziert.  :D

          Ohja, du sagst es... Ich hab ja zuerst, als ich weder per Web noch per SSH reinkam, mit dem schlimmsten gerechnet und gedacht jemand hätte den Server gecrackt, da war ich schon fast erleichtert als ich dann herausfand dass der Hoster Schuld war und net sonstwas passiert ist :D


          Offline Bloodsurfer

          • diagonally parked in a parallel universe...
          • Administrator
          • *****
            • Pfälzer mit saarländischem Migrationshintergrund
              • Show only replies by Bloodsurfer
            Im Übrigen funzt seit dem Ausfall der URL-Upload nemmer ;)

            In der Tat, du hast Recht. Ich bin gerade am Knobeln was da lost ist, das sollte eigentlich gehen :confused:


            Offline Bloodsurfer

            • diagonally parked in a parallel universe...
            • Administrator
            • *****
              • Pfälzer mit saarländischem Migrationshintergrund
                • Show only replies by Bloodsurfer
              Ah, Fehler im Upload ist jetzt auch behoben, obwohl ich lange gegrübelt habe.

              Die Namensauflösung hat nicht funktioniert, allerdings nur in PHP. Überall sonst ging sie einwandfrei. Die /etc/resolv.conf war nach dem Neustart des Systems gestern leer, da hatte ich wieder zwei Nameserver von Hand eingetragen - allerdings lief da schon der Apache. Der schaut scheinbar nur beim Start einmal in die Datei, daher hat er die Nameserver erst nach einem Reload gerade eben übernommen. Da muss man auch erstmal drauf kommen :confused:

              Egal, jetzt geht alles wieder.









              Ich habe schon gedacht, ich könnte das Bild von dieser süßen Pussy gar nicht mehr hochladen...








































































































              :D
              « Letzte Änderung: 17. Juli 2008, 19:18:11 von Bloodsurfer »


              Offline Havoc

              • Bürohengst sucht Paragraphenreiterin
              • Die Großen Alten
                • Let me show you its features, hehehe!
                  • Show only replies by Havoc
                Da muss man auch erstmal drauf kommen :confused:
                Stimmt das muss man wissen.
                Du hättest auch den Network Service neu starten können, soviel ich mich erinnere.
                Hatte früher häufiger mit Apache/Tomcat Kombinationen zu tun.  ;)
                « Letzte Änderung: 17. Juli 2008, 19:30:24 von Havoc »
                “When I ride my bike I feel free and happy and strong.  I’m liberated from the usual nonsense of day to day life.  Solid, dependable, silent, my bike is my horse, my fighter jet, my island, my friend.  Together we will conquer that hill and thereafter the world”


                Offline Bloodsurfer

                • diagonally parked in a parallel universe...
                • Administrator
                • *****
                  • Pfälzer mit saarländischem Migrationshintergrund
                    • Show only replies by Bloodsurfer
                  Gerade eben habe ich eine offizielle Stellungnahme per Mail erhalten, die wollte ich der Vollständigkeit halber noch hier posten:

                  Zitat
                  Sehr geehrte Kunden,
                  wir möchten heute die Gelegenheit ergreifen, zu dem Stromausfall in Teilen unseres Rechenzentrums vom 16. Juli 2008 Stellung zu nehmen.
                  SERVER4YOU mietet von der Betreibergesellschaft Avaya GmbH & Co. KG Rechenzentrumsfläche, die mit modernsten Sicherheits- und Versorgungsanlagen ausgestattet ist, selbstverständlich auch mit mehrfach redundanten unterbrechungsfreien Stromversorgungen und entsprechenden Dieselgeneratoren. Der Betrieb und die Wartung der Anlagen obliegt der Avaya und wird in Absprache mit SERVER4YOU durchgeführt. Die Avaya GmbH & Co. KG ist Teil des global operierenden Avaya-Konzerns und wir haben das Unternehmen über viele Jahre als sehr zuverlässigen Dienstleister kennengelernt. Leider unterlaufen aber auch dem zuverlässigsten Dienstleister Fehler, die in diesem Fall zu dem bedauerlichen Ausfall geführt haben. Auf Grund unseres stetigen Wachstums hat Avaya in den letzten Wochen zwei zusätzliche USV-Anlagen installiert, um die Kapazität der Notstromversorgung zu erweitern. Diese Anlagen wurden ausgiebig getestet und zeigten in allen Tests eine technisch einwandfreie Funktion. Bei der Installation dieser Anlagen wurde durch menschliches Versagen versäumt, die Leistungsschalter innerhalb der Anlagen auf die für den Betrieb notwendige Leistung einzustellen. Am 2. Juli 2008 sind die Anlagen dann in den Regelbetrieb übernommen und bis zum Stromausfall ohne Auffälligkeiten betrieben worden.
                  Bei der ersten turnusmäßigen Wartung der betreffenden USV-Anlagen, die am 16. Juli stattfand, wurde eine USV-Anlage abgeschaltet. Als die Last durch eine andere USV-Anlage übernommen wurde, lösten die zugeordneten Leistungsschalter auf Grund der falsch eingestellten Leistungswerte aus und es kam für einen Zeitraum von 10 Minuten zu einem Stromausfall. Hierfür ist allein menschliches Versagen die Ursache. Bei korrekt eingestellten Leistungsschaltern wäre dieser Stromausfall nicht passiert. Auch die Dieselgeneratoren, die normalerweise im Falle eines Stromausfalls einspringen, schalteten sich in diesem Falle nicht selbstständig ein, da das externe Stromnetz nach wie vor vorhanden war. Hier liegt ebenfalls kein technisches Versagen vor. Von dem Stromausfall waren ca. 20% der SERVER4YOU-Kunden betroffen, darüber hinaus weitere Kunden der Avaya GmbH & Co. KG. Nachdem die Server wieder mit Strom versorgt wurden, arbeiteten wir mit Hochdruck daran, alle Systeme wieder in den Normalzustand zu versetzen. Über 90% der Server waren innerhalb von drei Stunden wieder erreichbar, vereinzelt kam es aber auch zu längeren Beeinträchtigungen.
                  Avaya wird nun alle Leistungsschalter überprüfen, um zukünftig solche Vorfälle zu vermeiden. Darüber hinaus werden wir zusammen mit Avaya die internen Prozesse weiter überarbeiten, um Fehler beim "Faktor Mensch" noch unwahrscheinlicher zu machen. Wir bedauern diesen Zwischenfall sehr und bitten Sie, alle daraus entstandenen Unannehmlichkeiten zu entschuldigen.
                  Mit freundlichen Grüßen
                  « Letzte Änderung: 18. Juli 2008, 19:05:26 von Bloodsurfer »