Störungsmeldungen

Störung EGroupware Mail in FRA, daher Umstellung auf Datencenter in KA

egroupware-favicon2
navbar-email_64

Vergange Störungen

EGroupware E-Mail-Dienste FRA: 2021 6. Juli:

Scrub (Filesystem check) läuft, um alles im Detail zu prüfen. Dies wird auf jeden Fall einige Tage dauern. Bis es fertig ist, haben wir die Hälfte der Instanzen nach Karlsruhe verschoben, um den Filesystem-Check nicht zu verlangsamen.

Die betroffenen Mailboxen wurden aus KA wiederhergestellt und funktionieren jetzt auch wieder in FRA.

EGroupware E-Mail-Dienste: 5. Juli 2021 10.30 Uhr
Storage System im Rechenzentrum in Frankfurt zeigt Checksummenfehler und einzelne Mailboxen sind nicht verfügbar.

  • Ticket beim Service Provider des Rechenzentrums IONOS eröffnet und warten auf Antwort bzw. Fehlerbehebung
  • Das Mail-Backend in Frankfurt wurde vorübergehend abgeschaltet, damit die Redundanz übernehmen konnte und die Mail-Dienste laufen nun alle im Rechenzentrum in Karlsruhe.

Ihre Daten sind sicher, aber die Performance wird etwas langsamer sein, bis Frankfurt wieder zugeschaltet werden kann.

Wir werden hier informieren, sobald es Neuigkeiten zu diesem Thema gibt.

Wartungsfenster EGroupware Cloud: 02.06.2021ab 20.00 – 21.30 Uhr

Unsere Vermutung zum Problem von gestern ist, dass eine „fehlerhafte Anfrage“ von einem Client auf einer einzelnen Domain, dann „Traefik“ dazu veranlasst, auf mehr als diesen Client für einige Zeit mit einem „500 Internal Server Error“ zu antworten.

Wir werden „Traefik“ heute Abend wieder aktivieren und versuchen, herauszufinden, welche Anfrage, Domain und IP das Problem verursacht.

Problem wurde mit hoher Wahrscheinlichkeit identifiziert und alles auf Normalbetrieb zurückgestellt.

Internal Server Error in Frankfurt: 01.06.2021 21:00 – 23.59 Uhr

Es gab ein Problem in der EGroupware Cloud Verfügbarkeitszone in Frankfurt, sodass dort immer wieder „500 Internal Server Error“ aufgetreten sind. Die Verfügbarkeitszone in Karlsruhe war von dem Problem nicht oder nur kurzfristig betroffen nach dem wir als Workaround alles auf Karlsruhe umgeschaltet hatten.

Weiterführende Untersuchungen legen nahe, dass es KEINEN direkten Zusammenhang mit dem Update auf 21.1 gibt, sondern ein Problem mit „Traefik“ als Proxy / Kubenetes Ingress Controller, das nur unter ganz bestimmten Bedingungen zum tragen kommt.

Im ersten Schritt haben wir gestern die Version vom „Traefik“ aktualisiert, das hat das Problem zwar veringert, aber nicht beseitigt. Eine Suche in den „Github Foren von Traefik“ gab eine ähnliche Fehlerbeschreibung in dem folgenden Beitrag. Um eine sinnvoll nutzbare EGroupware Cloud heute bereitstellen zu können, haben wir gestern Nacht „Traefik“ entfernt und sprechen direkt mit Nginx, damit gab es dann keine „Internal Server Errors“ mehr.

Ausfall aller EGroupware und Maildienste: 06.04.2021: 17.45 – 19.20 Uhr

IONOS hat ein Netzwerkproblem verursacht, daher der Ausfall der EGroupware und Mail Dienste.
Die Kollegen arbeiten schnellstmöglich an einer Bereinigung und Wiederherstellung der Verbindungen.

06.04.2021: 18.30 Uhr Das Netzwerk von IONOS steht wieder, aber es wird noch etwas dauern, bis EGroupware und Mail wieder verfügbar sind.

06.04.2021: 19.20 Uhr Die Knoten in Karlsruhe und danach auf Frankfurt sind wieder verfügbar, somit sind alle EGroupware und Mail Dienste wieder verfügbar.

STÖRUNG EGROUPWARE KNOTEN KARLSRUHE & FRANKFURT 24.08.2020

Störung EGroupware Knoten Karlsruhe & Frankfurt 24.08.2020 15.40 Uhr
Wir prüfen gerade, wo das Problem liegt. Aktuell scheinen beide Knoten betroffen zu sein. Erste Analyse zeigt ein Verbindungsproblem auf den Loadbalancern, daher kommt von außen keine Verbindung zu Stande.

18.00 Uhr: Alle Systeme (inklusive des Datenbank-Clusters). wurden heruntergefahren. Der erste Datenbankknoten wurde erfolgreich neu gestartet. Aktuell startet der zweite Datenbankknoten und synchronisiert sich mit dem ersten. Sobald das Abgeschlossen ist, starten wir auch wieder die restlichen System.

18.30 Uhr: EGroupware und Mail-System sind wieder verfügbar.