EGroupware Cloud & Mail Services: Samstag 19.08.2023 8:00 – 8:35:

Nach einem Incident Störung bei IONOS mit Ausfall eines Storagesystems am gestrigen Freitag Nachmittag, liefen erst einmal alles System, obwohl 2 wichtige Komponenten vom Ausfall betroffen waren:
Das primäre Mailgateway in Frankfurt und die PFSense (Firewall) in Frankfurt. Die Redundanz hatte gegriffen und alle Daten und Dienste liefen über das sekundäre Mailgateway2 in Karlsruhe und die dortige PFSense.

Gegen Mitternacht brach der Tunnel zwischen beiden Standorten zusammen, die Ursache ist noch in Untersuchung. Damit wurden keine neuen Emails mehr zugestellt seit Mitternacht, das betraf auch die Alarmierungsemails. An sich liefen die EGroupware Cloud und auch Maildienste erst einmal.

Gegen 8 Uhr beim Versuch die hängende PFSense in Frankfurt abzuschalten, brach dann die Verbindung komplett ab und EGroupware Mail & Cloud Dienste sind nicht verfügbar.

Da wir nicht auf die Console der Maschinen kommen, stoppt IONOS die PFSense und startet Sie erfolgreich neu. damit sind alle EGroupware & Maildienste wieder verfügbar, die ausstehenden Emails seit Mitternacht wurden zugestellt.

Das primäre Mailgateway ist noch nicht wieder am Laufen und wir prüfen aktuell wieso neue Emails aktuell verzögert zugestellt werden. Das primäre Mailgateway wird in Rücksprache mit IONOS auch wieder neu gestartet werden, Wir erwarten kein Auswirkungen bzw. Ausfälle.

EGroupware Cloud & Mail Services: Mittwoch 24.05.2023 0:30 – 02:00 Uhr:

Ein Update der Firewall Systeme in Frankfurt erzeugte unerwartete Ausfälle der EGroupware und Mail Dienste. Die Systeme wurden neu gestartet und sind seit 01.10 Uhr wieder verfügbar. Weitere Updateschritte können nochmal kurzfristig zu Störungen führen, während die Systeme neu gestartet werden.

EGroupware Cloud: Donnerstag 11.05.2023 9:20 – 10:15 Uhr):

Loadbalancer (Route53) erkennt Verbindungsabbrüche in Frankfurt und schaltet dann alle Instanzen temporär um auf Karlsruhe. Damit verbunden ist dann eine Neuanmeldung am System. Aktuell scheint die Verbindung wieder ok zu sein. Zum Teil treten auch „Paketverluste“ bei der Verbindung auf, was zu langsameren Verbindungen und Ladezeiten führt. Wir sind in Kontakt mit IONOS zur Klärung der Situation, warten da aktuell auf Feedback. Sollte sich die Situation nicht verbessern, werden wir für den Rest des Tages die Systeme permanent auf Karlsruhe umschalten. Wir informieren hier, sobald es Neuigkeiten gibt.

EGroupware Cloud: DNS Problem bei unserem DNS Provider Core-Networks
26. April 2023 13:00 – 15:00 (CEST):

An sich laufen alle Dienste bis auf den DNS Provider wodurch Anfragen einen Fehler ergeben „ERR_NAME_NOT_RESOLVED“. Wir prüfen, welche Möglichkeiten es gibt, die Instanzen für die Kunden wieder erreichbar zu machen.

Ein Workaround wäre, das Sie die IP-Adresse 157.97.107.123 in Ihrem Router bzw. lokalen DNS Server für Ihre EGroupware Instanz eintragen.

Die DNS Services von Core-Networks laufen wieder, damit ist EGroupware Cloud & Mail wieder normal (ohne Workaround) erreichbar.

EGroupware Cloud & Mail in Frankfurt und Karlsruhe Wartungsarbeiten
27. Januar 2023 22:00 – 02.00 (CET):

Verbindungsprobleme zur pfSense in FRA erzwingen einen Neustart der Systeme. EGroupware und Mail Verfügbarkeit gestört für einige Minuten. Backend in Frankfurt ist direkt wieder verfügbar und daher wurde alles auf FRA umgestellt. Das Backend in Karlsruhe wurde neu gestartet.

Erneute hoher Load auf der pfSense in FRA, daher erfolgt einer weiterer Reboot. Aufgrund eines Crash während dem Bootvorgang muss die pfSense aus einem Backup wiederhergestellt werden. Alle Systeme benötigen einen kompletten Neustart inklusive Synchronisation des Galera Clusters. EGroupware und Maildienste waren für ca. 2 Stunden nicht verfügbar. Alle Systeme laufen wieder korrekt in beiden Verfügbarkeitszonen.

EGroupware Cloud & Mail Probleme auf Grund von IONOS Provisionierungs-Fehler
2023 5. Januar 13:30 – 14.00 Uhr (CET):

EGroupware und Mail Verfügbarkeit gestört für einige Minuten. Backend in Frankfurt ist direkt wieder verfügbar und daher wurde alles auf FRA umgestellt. Das Backend in Karlsruhe muss neu gestartet werden und ist gerade in Arbeit. Danach wird alles wieder auf die beiden Verfügbarkeitszonen umgestellt.

EGroupware Cloud & Mail in Frankfurt und Karlsruhe Wartungsarbeiten
2022 Oktober 12th 22:00 – 13th 0:50 (CEST):

Wartungsarbeiten erfolgreich beendet. EGroupware Cloud und Mail war zeitweise nicht erreichbar.

EGroupware Cloud in Frankfurt und Karlsruhe Fehlerhaft
2022 Oktober 12th 14:38 (CEST):

Unser Infrastrukturprovider IONOS hat einen Vorfall/Ausfall, siehe Meldung von IONOS (https://status.ionos.cloud):
Wir untersuchen derzeit ein Problem mit der IONOS Cloud Kubernetes API.

EGroupware war in der ersten Phase nicht betroffen.

2022 Oktober 12th 15:20 (CEST):

Die EGroupware-Infrastruktur ist betroffen und wir versuchen weitere Details von IONOS zu erhalten, wann das Problem behoben werden kann.

2022 12. Oktober 15:30 (MESZ):

Die Knoten in KA sind wieder da, aber FRA hat immer noch Probleme und nach 10min ist auch KA wieder nicht erreichbar. Wir arbeiten noch an der Situation und entschuldigen uns für die Ausfälle.

2022 Oktober 12th 16:30 (CEST):

Gemäß Statusmeldung IONOS wurde ein Fehler in der Provisionierung behoben, aber wir haben leider immer noch keinen Zugriff über die Kubernetes API auf unsere Systeme., Die Kollegen arbeiten weiterhin am Problem.

2022 Oktober 12th 17:00 (CEST):

Aktuell sind alle EGroupware Services wieder verfügbar, aber wir können nach wie vor die Kubernetes API nicht nutzen. Daher können wir nur abwarten, ob es komplett behoben sind.

Wir informieren weiter, sobald es zusätzliche Informationen gibt.

EGroupware Cloud in Frankfurt und Karlsruhe betroffen:
27. September 2022 14:10 – 14:20 Uhr & 16.12 – 16.15 Uhr:

Unser Infrastruktur-Provider IONOS hatte eine Störung / Ausfall für einige Minuten. Dies hatte auch Auswirkungen auf unsere Infrastruktur und der Dienst war für 10 Minuten offline. Laut dem Vorfallsbericht von IONOS wird dieses Problem mit dem nächsten Kubernetes Stability Upgrade am 4. Oktober 2022 behoben.

Wir bedauern die Störung während den Geschäftszeiten!

EGroupware Cloud in Frankfurt – ein Datenbank Knoten betroffen: 09. September 2022 08:00 – 08:30Uhr:

Unserer Infrastrukturanbieter IONOS hatte bei einem Host in Frankfurt einen Ausfall, von dem ein Datenbank-Knoten betroffen war. Durch eine Änderung in PHP 8.1 wurde nicht automatisch auf einen andere Datenbank-Knoten umgeschaltet. Dadurch waren Instanzen auf dem Datenbank-Knoten kurzfristig nicht erreichbar. Der Fehler konnte noch vor Wiederherstellung der primären Node behoben werden, sprich das sollte so nicht mehr auftreten.

Wir bitten den Ausfall zu entschuldigen.

EGroupware Rocket.Chat vorübergehend nicht verfügbar, Wartungsarbeiten EGroupware Cluster: 2022 May 26th 10:30 – 12.30 (CEST):

Nach einem geplanten Kybernetes-Update in der Nacht vom 25. auf den 26. Mai startet Rocket-Chat nicht mehr.

Daher müssen heute über Tag weitere Wartungsarbeiten durchgeführt werden, die u.U. kurzfristige Ausfälle der EGroupware Cloud zur Folge haben können. Der Ausfall wird maximal wenige Minuten betreffen. EGroupware Mail ist davon nicht betroffen und wird die ganze Zeit verfügbar sein. Wir bedauern die möglichen Umstände ohne vorherige Ankündigung, aber die Wartungsarbeiten sind aktuell notwendig und es handelt sich um einen gesetzlichen Feiertag, also außerhalb der Kernarbeitszeiten unserer Kunden.

==> Wartungsarbeiten wurden erfolgreich ohne Störungen der EGroupware Dienste durchgeführt. Rocket.Chat ist wieder verfügbar.

EGroupware Mail & Cloud Service vorübergehend nicht verfügbar: 2022 May 5th 16:10 – 16:25 (CEST):

Netzwerkprobleme von IONOS in KA und FRA.
Nach der Meldung an IONOS wurde es wiederhergestellt und alle Dienste sind wieder verfügbar.

EGroupware Mail & Cloud Service sind in Betrieb: 2022 April 15th 17:00 (CEST):

Die EGroupware-Dienste laufen jetzt auch, aber nicht alle Kubernetes- und Datenbankknoten sind schon wieder da. Wir arbeiten noch an der Vervollständigung der Infrastruktur, aber wir erwarten keine weiteren Ausfälle bei den Diensten.

EGroupware Mail Service läuft wieder, während EGroupware weiterhin betroffen ist: 2022 April 15th 16:00 (CEST):

EGroupware Mail Service läuft wieder, während EGroupware weiterhin betroffen ist: 2022 April 15th 16:00 (CEST):

Die Stromversorgung im Rechenzentrum ist wiederhergestellt, IONOS arbeitet noch an der Wiederherstellung aller Dienste.
EGroupware Mail ist verfügbar, EGroupware selbst ist immer noch nicht erreichbar, da das zugrunde liegende Dateisystem noch nicht verfügbar ist. Wir arbeiten weiterhin mit Hochdruck an dem Problem.

EGroupware Cloud services FRA & KA: 2022 April 15th 15.00h (CEST):

Stromausfall Im Rechenzentrum in Frankfurt – siehe auch https://status.ionos.cloud/
Scheinbar ist aber auch Karlsruhe aktuell nicht erreichbar, genauere Infos liegen derzeit noch nicht vor. Wir informieren, sobald es Neuigkeiten gibt.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 07.30h:

EGroupware Cloud Dienste stehen wieder zur Verfügung, Mail & Rocket.Chat waren die ganze Zeit nutzbar.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 07.15h:

Erneuter Ausfall der EGroupware Cloud Dienste am frühen Morgen. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken wurden bereits gestoppt, und sind am Synchronisieren des zweiten Datenbank-Knotens. Der Sync sollte gegen 07.30h vollständig sein.

Die Maßnahmen seit dem letzten Vorfall haben im Bereich der Überwachung funktioniert, die dann heute morgen um 6:17h angeschlagen ist und wir daher den Neustart früher in Gang setzen konnten. Die Untersuchung, wieso es wieder zu dem Problem kam, läuft aktuell.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 9.00h:

EGroupware Cloud, Rocket.Chat und Mail Dienste sind wieder verfügbar. Die Dienste sind heute über Tag wahrscheinlich etwas langsamer, da nur 3 Datenbanknoten laufen. Die restlichen Datenbank Knoten werden heute nach Feierabend synchronisiert.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 8.30h:

Zwei Datenbank Knoten sind gestartet, der dritte wird gerade synchronisiert. Die Mail Dienste Und Rocket.Chat sind wieder aktiviert. Cloud braucht noch ca. 20min.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021:

Ausfall der EGroupware Cloud Dienste am frühen Morgen. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken werden gerade gestoppt, um dann neu gestartet zu werden. Da die Datenbank-Knoten einen vollen Sync ausführen müssen, werden die EGroupware Cloud und Mail Dienste voraussichtlich erst gegen 09.00h wieder verfügbar sein.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September 11.30h:

EGroupware Cluster: erneuter Ausfall eines Datenbank-Knotens. Wir müssen die Systeme vorübergehend abschalten, um wieder in einem Normalbetrieb mit mindestens 3 Datenbank-Knoten zu kommen. Alle Dienste sind ab 12.10 Uhr wieder voll verfügbar.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September 08.30h:

EGroupware Cloud ist wieder online. Das Cluster läuft vorübergehend auf 2 Datenbank-Knoten, die andern werden heute Abend synchronisiert und zugeschaltet.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September:

Ausfall der EGroupware Cloud Dienste Nachts. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken werden gerade gestoppt, um dann neu gestartet zu werden. Der erste Datenbank-Knoten ist wieder online, der zweite Knoten braucht ca. 20 min, um sich mit dem ersten vollständig zu verbinden. Die EGroupware Cloud Dienste sind daher bis 08.00h offline.

Der Ausfall kann auch die Maildienste beeinflussen.

EGroupware E-Mail-Dienste FRA: 2021 6. Juli:

Scrub (Filesystem check) läuft, um alles im Detail zu prüfen. Dies wird auf jeden Fall einige Tage dauern. Bis es fertig ist, haben wir die Hälfte der Instanzen nach Karlsruhe verschoben, um den Filesystem-Check nicht zu verlangsamen.

Die betroffenen Mailboxen wurden aus KA wiederhergestellt und funktionieren jetzt auch wieder in FRA.

EGroupware E-Mail-Dienste: 5. Juli 2021 10.30 Uhr
Storage System im Rechenzentrum in Frankfurt zeigt Checksummenfehler und einzelne Mailboxen sind nicht verfügbar.

• Ticket beim Service Provider des Rechenzentrums IONOS eröffnet und warten auf Antwort bzw. Fehlerbehebung
• Das Mail-Backend in Frankfurt wurde vorübergehend abgeschaltet, damit die Redundanz übernehmen konnte und die Mail-Dienste laufen nun alle im Rechenzentrum in Karlsruhe.

Ihre Daten sind sicher, aber die Performance wird etwas langsamer sein, bis Frankfurt wieder zugeschaltet werden kann.

Wir werden hier informieren, sobald es Neuigkeiten zu diesem Thema gibt.

Wartungsfenster EGroupware Cloud: 02.06.2021ab 20.00 – 21.30 Uhr

Unsere Vermutung zum Problem von gestern ist, dass eine „fehlerhafte Anfrage“ von einem Client auf einer einzelnen Domain, dann „Traefik“ dazu veranlasst, auf mehr als diesen Client für einige Zeit mit einem „500 Internal Server Error“ zu antworten.

Wir werden „Traefik“ heute Abend wieder aktivieren und versuchen, herauszufinden, welche Anfrage, Domain und IP das Problem verursacht.

Problem wurde mit hoher Wahrscheinlichkeit identifiziert und alles auf Normalbetrieb zurückgestellt.

Internal Server Error in Frankfurt: 01.06.2021 21:00 – 23.59 Uhr

Es gab ein Problem in der EGroupware Cloud Verfügbarkeitszone in Frankfurt, sodass dort immer wieder „500 Internal Server Error“ aufgetreten sind. Die Verfügbarkeitszone in Karlsruhe war von dem Problem nicht oder nur kurzfristig betroffen nach dem wir als Workaround alles auf Karlsruhe umgeschaltet hatten.

Weiterführende Untersuchungen legen nahe, dass es KEINEN direkten Zusammenhang mit dem Update auf 21.1 gibt, sondern ein Problem mit „Traefik“ als Proxy / Kubenetes Ingress Controller, das nur unter ganz bestimmten Bedingungen zum tragen kommt.

Im ersten Schritt haben wir gestern die Version vom „Traefik“ aktualisiert, das hat das Problem zwar veringert, aber nicht beseitigt. Eine Suche in den „Github Foren von Traefik“ gab eine ähnliche Fehlerbeschreibung in dem folgenden Beitrag. Um eine sinnvoll nutzbare EGroupware Cloud heute bereitstellen zu können, haben wir gestern Nacht „Traefik“ entfernt und sprechen direkt mit Nginx, damit gab es dann keine „Internal Server Errors“ mehr.

Ausfall aller EGroupware und Maildienste: 06.04.2021: 17.45 – 19.20 Uhr

IONOS hat ein Netzwerkproblem verursacht, daher der Ausfall der EGroupware und Mail Dienste.
Die Kollegen arbeiten schnellstmöglich an einer Bereinigung und Wiederherstellung der Verbindungen.

06.04.2021: 18.30 Uhr Das Netzwerk von IONOS steht wieder, aber es wird noch etwas dauern, bis EGroupware und Mail wieder verfügbar sind.

06.04.2021: 19.20 Uhr Die Knoten in Karlsruhe und danach auf Frankfurt sind wieder verfügbar, somit sind alle EGroupware und Mail Dienste wieder verfügbar.

STÖRUNG EGROUPWARE KNOTEN KARLSRUHE & FRANKFURT 24.08.2020

Störung EGroupware Knoten Karlsruhe & Frankfurt 24.08.2020 15.40 Uhr
Wir prüfen gerade, wo das Problem liegt. Aktuell scheinen beide Knoten betroffen zu sein. Erste Analyse zeigt ein Verbindungsproblem auf den Loadbalancern, daher kommt von außen keine Verbindung zu Stande.

18.00 Uhr: Alle Systeme (inklusive des Datenbank-Clusters). wurden heruntergefahren. Der erste Datenbankknoten wurde erfolgreich neu gestartet. Aktuell startet der zweite Datenbankknoten und synchronisiert sich mit dem ersten. Sobald das Abgeschlossen ist, starten wir auch wieder die restlichen System.

18.30 Uhr: EGroupware und Mail-System sind wieder verfügbar.