EGroupware Cloud-Wartungsfenster: Mittwoch 26.03.2025 23.00 –  24:00 (CET):

EGroupware läuft auf einem Managed Kubernetes Cluster bei IONOS in zwei Frankfurter Rechenzentren. Alle Services (Datenbanken, Webserver, Mail …) des Kubernetes Cluster laufen auf sogenannten Knoten (Nodes). Einer der Services ist der Storage (NFS-Server) der aktuell auch direkt im Kubernetes Cluster läuft.

Die genaue Analyse zur Ursache ist leider noch nicht abschließend geklärt, aber Fakt ist, das es immer wieder Verbindungsprobleme gab zwischen den Pods der PHP Prozesse und dem NFS Storage. In Rücksprache mit IONOS haben wir uns entschieden heute Nacht das System umzubauen und den NFS-Server auf einen dedizierten Host außerhalb des Kubernetes Cluster zu migrieren. Damit umgehen wir das Kubernetes interne Pod Netzwerk als Ursache für die Verbindungsabbrüche.

Während dem Wartungsfenster müssen wir Änderungen an grundlegenden Konfigurationsparametern vornehmen und die web-basierenden Services neu starten. Daher ist EGroupware Cloud in der Zeit voraussichtlich nicht nutzbar. Wir geben alles wieder frei, sobald der Prozess abgeschlossen ist. Die Mail-Services sollten die ganze Zeit nutzbar sein.

EGroupware Cloud-Dienste: Mittwoch 26.03.2025 13:10  14:15(CET):

EGroupware Infrastruktur (Kubernetes Knoten) hat erneut keinen Zugriff mehr auf den dahinter liegenden Speicher – zum zweiten Mal heute. Wir sind weiterhin in Verbindung mit unserem Infrastruktur-Provider IONOS bzgl. einer generellen Lösung. Ausfälle alle paar Wochen sind für uns nicht akzeptabel.

EGroupware Cloud-Dienste: Mittwoch 26.03.2025 08:45 – 09.25 (CET):

EGroupware Infrastruktur (Kubernetes Knoten) hat keinen Zugriff mehr auf den dahinter liegenden Speicher. Wir sind bereits seit den letzten Vorfällen in Verbindung mit unserem Infrastruktur-Provider IONOS bzgl. einer generellen Lösung.

Wir starten die Knoten einzeln durch, damit die Verbindung wieder hergestellt werden kann.

Sobald wir mit IONOS Rücksprache gehalten haben, werden wir auch eine generelle Kundeninformation senden.

EGroupware Cloud-Dienste: Freitag 21.03.2025 11:30 – 12:05 (CET):

FPM Prozesse sind unter sehr hoher load, daher reagiert EGroupware nicht mehr. Neustart Knoten oder FPM hatte keine Auswirkung, Eine Prüfung der Requests zeigt kein höheres Aufkommen, sondern hauptsächlich Startseite und Anfragen für Bearbeiten-Dialoge, die normalerweise nicht so lange dauern können.
Vermutung wäre, dass es ein Verbindungsproblem zwischen den Knoten gab, das auch den Memcache mit einschließt, an den Sitzungsanfragen gehen.
Wir richten gerade eine Anfrage/Prüfung an IONOS diesbezüglich. Denn das Problem trat seit 10:00 Uhr immer mal wieder auf und endete ohne Änderung unsererseits um 12.05 Uhr.

EGroupware Cloud-Dienste: Dienstag 11.03.2025 14:00 – 15:05 (CET):

EGroupware Infrastruktur (Kubernetes Knoten) hat keinen Zugriff mehr auf den dahinterliegenden Speicher. Das Problem wird aktuell beim Infrastruktur-Provider IONOS geprüft. Wir starten die Knoten einzeln durch, damit die Verbindung wieder hergestellt werden kann.

Die Systeme sind wieder komplett verfügbar. Sollten Sie noch Probleme haben, bitte den Browser einmal neustarten.

EGroupware Cloud- und Mail-Dienste: Montag 03.02.2025 08:00 – 08:30 (CET):

Bedingt durch den Fehler / Ausfall am Vortag hängt der Push-Service, was leider erst mit zunehmender Last in den Morgenstunden auffällt. Es gibt daher temporäre Probleme mit EGroupware und Mail-Services. Manuelles Eingreifen mit Neustart Push-Service und Skalierung der Systeme ist notwendig. Gegen 08.45 Uhr ist wieder Normalbetrieb gewährleistet.

EGroupware Cloud-Dienste: Sonntag 02.02.2025 00:00 – 05:15 (CET):

Ausfall der Dienste, da der reguläre Node-Rebuild um Mitternacht aufgrund eines Problems von IONOS nicht beendet werden konnte. IONOS hat die Knoten des Datenbank-Clusters gegen 02.00 Uhr wieder hochgefahren, aber der Rest war bis 05.15 Uhr morgens nicht verfügbar. IONOS arbeitet noch an dem zugrunde liegenden Problem und konnte bisher keine Schätzung abgeben, wann dieses abgeschlossen und behoben ist. Da der Node-Rebuild nur bei einem Knoten funktionierte, sind die anderen noch für einen Rebuild vorgesehen. Das Kubernetes Dashboard ist derzeit ebenfalls deaktiviert und wir müssen warten, bis IONOS das Problem behoben hat.

Gegen 15.45 Uhr meldet IONOS, dass das Problem gefunden wurde und ein Fix ausgerollt wird, während die Services (auch managed Kubernetes) streng überwacht werden im Hinblick auf das Problem und den Fix.

Der Zugriff auf das Kubernetes Dashboard ist dann auch wieder verfügbar. Die beiden alten Knoten, die noch nicht aktualisiert waren, wurden im Laufe des Abends/der Nacht neu gebildet.

EGroupware Cloud & Mail-Dienste: Donnerstag 19.12.2024 15:00 – 15:45 (CET):

Ausfall der Dienste, die genaue Ursache ist aktuell noch in Prüfung. Nach einem Neustart ist EGroupware wieder verfügbar, aber das Datenbank-Cluster musste temporär herunter skaliert werden.

Der Neustart der fehlenden Datenbank-Knoten erfolgt heute Nacht zwischen 22.30 – 24.00 Uhr. In der finalen Phase der Synchronisation ist die Datenbank für ca. 5 Minuten blockiert.

EGroupware Cloud-Dienste: Mittwoch 11.12.2024 07:00 – 08:20 (CET):

Durch ein Software-Update kam es zu Problemen bei der Anzeige des EGroupware-Kalenders. Leider wurde dies beim Testen nicht im Vorfeld erkannt, da der problematische Commit in einem ganz anderen Bereich lag. Sobald wir über das Problem informiert wurden (gegen 07.45 Uhr), haben wir das zugrundeliegende Problem sofort behoben.
In der Zwischenzeit jedoch wurde der Kalender nicht korrekt angezeigt, die Benutzer versuchten, ihn neu zu laden, wodurch das System immer mehr Anfragen erhielt. Ein Neustart des Systems war notwendig und EGroupware war daher zwischen 08.13 – 08.18 nicht verfügbar.

EGroupware E-Mail-Dienste: Mittwoch 27.11.2024 15:00 – 18:25 (CET):

IONOS meldet Netzwerkprobleme im Frankfurter Rechenzentrum. Dies führt auch in EGroupware zu Verbindungsfehlern in der Mail-Anwendung beim Lesen oder Versenden von E-Mails.
IONOS arbeitet noch an einer Lösung und wir überwachen unsere Dienste genau. Generell sind die Mailserver nicht stark belastet, es ist etwas in der Verbindung dazwischen, was auch zu dem von IONOS gemeldeten Problemen passt.
IONOS meldet Problemlösung gegen 17.30 Uhr, allerdings hat das Netzwerkproblem kurz davor die Verbindung zu den NFS Servern betroffen. Erster Neustart der Knoten half nur temporär, danach ging die Load erneut hoch. Daher war ein nochmaligen Neubilden aller Knoten notwendig, damit diese wieder Verbindung zum NFS Server bekamen.

EGroupware Cloud-Dienste: Freitag 23.08.2024 12:55 – 14:15 (MESZ):

Probleme mit dem NFS Server (Netzwerk), der von EGroupware nicht mehr erreichbar ist. Dadurch gab es hohen Load im Datenbank-Cluster. Der NFS-Server wurde auf einen anderen Knoten verschoben und die Datenbank-Knoten nacheinander durchgestartet.

14:00 (MESZ): Problem tritt erneut auf, wir starten einen zusätzlichen Knoten und verschieben den NFS Server dorthin, der Knoten auf den der NFS zuvor migriert wurde, war nicht neu gestartet worden.

Alle Systeme sind wieder verfügbar.

EGroupware Wartungsfenster: Samstag Nacht 03.08.2024 22:00 – 01:00 (MESZ)

Update der Kubernetes Version mit mehrfachem Neustart aller Systeme bei dem zwischenzeitlich Ausfälle von maximal 5 Minuten zu erwarten sind.

EGroupware Cloud-Dienste: Freitag 02.08.2024 10:30 – 11.30 (MESZ):

EGroupware Cluster Störung – vermutlich ein Netzwerkproblem bei IONOS. Die Kubernetes Knoten können sich untereinander nicht mehr erreichen, das hat Auswirkungen auf die Datenbanken und deren Verfügbarkeit.

Nach Rücksprache mit IONOS und den internen Analysen, wurden allen Knoten neu gestartet und laufen wieder ohne Probleme. Die eigentliche Ursache des Ausfalls muss noch geklärt werden.

EGroupware Mail Dienste: 01.07.2024 12:00 (MESZ)

Problem mit eingehenden Mail-Queues: die Emails werden aktuell nicht bzw. nur sehr langsam in den Posteingang des Benutzers zugestellt.

Die Prüfung ergab, das hier ein fälschlicherweise ein „historischer (viel zu kleiner) Wert“ heran gezogen wurde, dafür wieviel Verbindungen aktiv sein können. Dieser Wert wurde jetzt hochgesetzt und die Queues arbeiten wieder normal.

Wartungsarbeiten EGroupware Cloud & Mail-Dienste: 03.02.2024 22:00 – 24:00 Uhr

Die geplanten Änderungen an einigen grundlegenden Konfigurationsparametern wurden erfolgreich durchgeführt und alle Systeme waren während dessen erreichbar.

EGroupware Cloud-Dienste: Dienstag 16.01.2024 16:20 17:10 (MEZ):

EGroupware Cluster Störung – es gab erneut ein Problem auf dem Storage-System bei IONOS. EGroupware Mail war durchgängig verfügbar, EGroupware Cloud & Rocket.Chat sind seit 17.10 wieder verfügbar. Die genaue Ursache des Ausfalls bei IONOS klären wir noch und informieren per Mail.

EGroupware Cloud-Dienste: Dienstag 09.01.2024 13:20 – 13:40 (MEZ):

EGroupware Cluster hängt bedingt durch ein Problem auf dem NFS Server (Storage bei IONOS). Nach Neustart der Systeme und Check durch IONOS sind die Dienste wieder alle Verfügbar.

EGroupware Cloud-Dienste: Mittwoch 04.10.2023 10:00  – 10:50 Uhr (MESZ):

EGroupware Cluster hängt bedingt durch ein Problem beim NFS Server. Wir starten die System neu. Das wird vermutlich 30-45min dauern. Wir bedauern den Ausfall und melden, sobald es behoben ist.

Alle Service sind wieder verfügbar. Falls noch Probleme auftreten, bitte einmal den Browser Cache löschen.

EGroupware Cloud-Dienste: Donnerstag 28.09.2023 19:05 – 18:50 (MESZ):

Einer der Kybernetes-Knoten ist abgestürzt und musste neu gestartet werden. Das hat insgesamt etwa 45 Minuten gedauert, bis alles auf diesem Knoten wieder lief. EGroupware Instanzen auf diesem Knoten hatten während dieser Zeit vermutlich Probleme, Ihre Daten waren aber die ganze Zeit sicher. Leider dauert die Synchronisierung aller Dienste und Quellen einige Zeit, insbesondere wenn das System aufgrund der Arbeitszeiten noch belastet ist.

Wir bedauern die Störung und entschuldigen uns für die Unannehmlichkeiten.

EGroupware Cloud & Mail Dienste: Mittwoch 27.09.2023 13:59 – 14.03 Uhr (MESZ):

IONOS hatte eine kurze Netzwerkstörung in den Frankfurter Rechenzentren. Die Kubernetes Control Plane und alle Dienste waren von dieser Störung betroffen. Die Verbindung wurde nach kurzer Zeit wieder hergestellt.

EGroupware Cloud & Mail Services: Samstag 19.08.2023 8:00 – 8:35:

Nach einem Incident Störung bei IONOS mit Ausfall eines Storage-Systems am gestrigen Freitag Nachmittag, liefen erst einmal alle Systeme, obwohl zwei wichtige Komponenten vom Ausfall betroffen waren:
Das primäre Mail Gateway in Frankfurt und die PFSense (Firewall) in Frankfurt. Die Redundanz hatte gegriffen und alle Daten und Dienste liefen über das sekundäre Mailgateway2 in Karlsruhe und die dortige PFSense.

Gegen Mitternacht brach der Tunnel zwischen beiden Standorten zusammen, die Ursache ist noch in Untersuchung. Damit wurden keine neuen Emails mehr zugestellt seit Mitternacht, das betraf auch die Alarmierungsemails. An sich liefen die EGroupware Cloud und auch Maildienste erst einmal.

Gegen 8 Uhr beim Versuch die hängende PFSense in Frankfurt abzuschalten, brach dann die Verbindung komplett ab und EGroupware Mail & Cloud Dienste sind nicht verfügbar.

Da wir nicht auf die Console der Maschinen kommen, stoppt IONOS die PFSense und startet Sie erfolgreich neu. damit sind alle EGroupware & Maildienste wieder verfügbar, die ausstehenden Emails seit Mitternacht wurden zugestellt.

Das primäre Mailgateway ist noch nicht wieder am Laufen und wir prüfen aktuell wieso neue Emails aktuell verzögert zugestellt werden. Das primäre Mailgateway wird in Rücksprache mit IONOS auch wieder neu gestartet werden, Wir erwarten kein Auswirkungen bzw. Ausfälle.

EGroupware Cloud & Mail Services: Mittwoch 24.05.2023 0:30 – 02:00 Uhr:

Ein Update der Firewall Systeme in Frankfurt erzeugte unerwartete Ausfälle der EGroupware und Mail Dienste. Die Systeme wurden neu gestartet und sind seit 01.10 Uhr wieder verfügbar. Weitere Updateschritte können nochmal kurzfristig zu Störungen führen, während die Systeme neu gestartet werden.

EGroupware Cloud: Donnerstag 11.05.2023 9:20 – 10:15 Uhr:

Loadbalancer (Route53) erkennt Verbindungsabbrüche in Frankfurt und schaltet dann alle Instanzen temporär um auf Karlsruhe. Damit verbunden ist dann eine Neuanmeldung am System. Aktuell scheint die Verbindung wieder ok zu sein. Zum Teil treten auch „Paketverluste“ bei der Verbindung auf, was zu langsameren Verbindungen und Ladezeiten führt. Wir sind in Kontakt mit IONOS zur Klärung der Situation, warten da aktuell auf Feedback. Sollte sich die Situation nicht verbessern, werden wir für den Rest des Tages die Systeme permanent auf Karlsruhe umschalten. Wir informieren hier, sobald es Neuigkeiten gibt.

EGroupware Cloud: DNS Problem bei unserem DNS Provider Core-Networks
26. April 2023 13:00 – 15:00 (CEST):

An sich laufen alle Dienste bis auf den DNS Provider wodurch Anfragen einen Fehler ergeben „ERR_NAME_NOT_RESOLVED“. Wir prüfen, welche Möglichkeiten es gibt, die Instanzen für die Kunden wieder erreichbar zu machen.

Ein Workaround wäre, das Sie die IP-Adresse 157.97.107.123 in Ihrem Router bzw. lokalen DNS Server für Ihre EGroupware Instanz eintragen.

Die DNS Services von Core-Networks laufen wieder, damit ist EGroupware Cloud & Mail wieder normal (ohne Workaround) erreichbar.

EGroupware Cloud & Mail in Frankfurt und Karlsruhe Wartungsarbeiten
27. Januar 2023 22:00 – 02:00 (CET):

Verbindungsprobleme zur pfSense in FRA erzwingen einen Neustart der Systeme. EGroupware und Mail Verfügbarkeit gestört für einige Minuten. Backend in Frankfurt ist direkt wieder verfügbar und daher wurde alles auf FRA umgestellt. Das Backend in Karlsruhe wurde neu gestartet.

Erneute hoher Load auf der pfSense in FRA, daher erfolgt einer weiterer Reboot. Aufgrund eines Crash während dem Bootvorgang muss die pfSense aus einem Backup wiederhergestellt werden. Alle Systeme benötigen einen kompletten Neustart inklusive Synchronisation des Galera Clusters. EGroupware und Maildienste waren für ca. 2 Stunden nicht verfügbar. Alle Systeme laufen wieder korrekt in beiden Verfügbarkeitszonen.

EGroupware Cloud & Mail Probleme auf Grund von IONOS Provisionierungs-Fehler
2023 5. Januar 13:30 – 14:00 Uhr (CET):

EGroupware und Mail Verfügbarkeit gestört für einige Minuten. Backend in Frankfurt ist direkt wieder verfügbar und daher wurde alles auf FRA umgestellt. Das Backend in Karlsruhe muss neu gestartet werden und ist gerade in Arbeit. Danach wird alles wieder auf die beiden Verfügbarkeitszonen umgestellt.

EGroupware Cloud & Mail in Frankfurt und Karlsruhe Wartungsarbeiten
2022 Oktober 12th 22:00 – 13th 0:50 (CEST):

Wartungsarbeiten erfolgreich beendet. EGroupware Cloud und Mail war zeitweise nicht erreichbar.

EGroupware Cloud in Frankfurt und Karlsruhe Fehlerhaft
2022 Oktober 12th 14:38 (CEST):

Unser Infrastrukturprovider IONOS hat einen Vorfall/Ausfall, siehe Meldung von IONOS (https://status.ionos.cloud):
Wir untersuchen derzeit ein Problem mit der IONOS Cloud Kubernetes API.

EGroupware war in der ersten Phase nicht betroffen.

2022 Oktober 12th 15:20 (CEST):

Die EGroupware-Infrastruktur ist betroffen und wir versuchen weitere Details von IONOS zu erhalten, wann das Problem behoben werden kann.

2022 12. Oktober 15:30 (MESZ):

Die Knoten in KA sind wieder da, aber FRA hat immer noch Probleme und nach 10min ist auch KA wieder nicht erreichbar. Wir arbeiten noch an der Situation und entschuldigen uns für die Ausfälle.

2022 Oktober 12th 16:30 (CEST):

Gemäß Statusmeldung IONOS wurde ein Fehler in der Provisionierung behoben, aber wir haben leider immer noch keinen Zugriff über die Kubernetes API auf unsere Systeme., Die Kollegen arbeiten weiterhin am Problem.

2022 Oktober 12th 17:00 (CEST):

Aktuell sind alle EGroupware Services wieder verfügbar, aber wir können nach wie vor die Kubernetes API nicht nutzen. Daher können wir nur abwarten, ob es komplett behoben sind.

Wir informieren weiter, sobald es zusätzliche Informationen gibt.

EGroupware Cloud in Frankfurt und Karlsruhe betroffen:
27. September 2022 14:10 – 14:20 Uhr & 16.12 – 16.15 Uhr:

Unser Infrastruktur-Provider IONOS hatte eine Störung / Ausfall für einige Minuten. Dies hatte auch Auswirkungen auf unsere Infrastruktur und der Dienst war für 10 Minuten offline. Laut dem Vorfallsbericht von IONOS wird dieses Problem mit dem nächsten Kubernetes Stability Upgrade am 4. Oktober 2022 behoben.

Wir bedauern die Störung während den Geschäftszeiten!

EGroupware Cloud in Frankfurt – ein Datenbank Knoten betroffen: 09. September 2022 08:00 – 08:30Uhr:

Unserer Infrastrukturanbieter IONOS hatte bei einem Host in Frankfurt einen Ausfall, von dem ein Datenbank-Knoten betroffen war. Durch eine Änderung in PHP 8.1 wurde nicht automatisch auf einen andere Datenbank-Knoten umgeschaltet. Dadurch waren Instanzen auf dem Datenbank-Knoten kurzfristig nicht erreichbar. Der Fehler konnte noch vor Wiederherstellung der primären Node behoben werden, sprich das sollte so nicht mehr auftreten.

Wir bitten den Ausfall zu entschuldigen.

EGroupware Rocket.Chat vorübergehend nicht verfügbar, Wartungsarbeiten EGroupware Cluster: 2022 May 26th 10:30 – 12.30 (CEST):

Nach einem geplanten Kybernetes-Update in der Nacht vom 25. auf den 26. Mai startet Rocket-Chat nicht mehr.

Daher müssen heute über Tag weitere Wartungsarbeiten durchgeführt werden, die u.U. kurzfristige Ausfälle der EGroupware Cloud zur Folge haben können. Der Ausfall wird maximal wenige Minuten betreffen. EGroupware Mail ist davon nicht betroffen und wird die ganze Zeit verfügbar sein. Wir bedauern die möglichen Umstände ohne vorherige Ankündigung, aber die Wartungsarbeiten sind aktuell notwendig und es handelt sich um einen gesetzlichen Feiertag, also außerhalb der Kernarbeitszeiten unserer Kunden.

==> Wartungsarbeiten wurden erfolgreich ohne Störungen der EGroupware Dienste durchgeführt. Rocket.Chat ist wieder verfügbar.

EGroupware Mail & Cloud Service vorübergehend nicht verfügbar: 2022 May 5th 16:10 – 16:25 (CEST):

Netzwerkprobleme von IONOS in KA und FRA.
Nach der Meldung an IONOS wurde es wiederhergestellt und alle Dienste sind wieder verfügbar.

EGroupware Mail & Cloud Service sind in Betrieb: 2022 April 15th 17:00 (CEST):

Die EGroupware-Dienste laufen jetzt auch, aber nicht alle Kubernetes- und Datenbankknoten sind schon wieder da. Wir arbeiten noch an der Vervollständigung der Infrastruktur, aber wir erwarten keine weiteren Ausfälle bei den Diensten.

EGroupware Mail Service läuft wieder, während EGroupware weiterhin betroffen ist: 2022 April 15th 16:00 (CEST):

EGroupware Mail Service läuft wieder, während EGroupware weiterhin betroffen ist: 2022 April 15th 16:00 (CEST):

Die Stromversorgung im Rechenzentrum ist wiederhergestellt, IONOS arbeitet noch an der Wiederherstellung aller Dienste.
EGroupware Mail ist verfügbar, EGroupware selbst ist immer noch nicht erreichbar, da das zugrunde liegende Dateisystem noch nicht verfügbar ist. Wir arbeiten weiterhin mit Hochdruck an dem Problem.

EGroupware Cloud services FRA & KA: 2022 April 15th 15.00h (CEST):

Stromausfall Im Rechenzentrum in Frankfurt – siehe auch https://status.ionos.cloud/
Scheinbar ist aber auch Karlsruhe aktuell nicht erreichbar, genauere Infos liegen derzeit noch nicht vor. Wir informieren, sobald es Neuigkeiten gibt.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 07.30h:

EGroupware Cloud Dienste stehen wieder zur Verfügung, Mail & Rocket.Chat waren die ganze Zeit nutzbar.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 07.15h:

Erneuter Ausfall der EGroupware Cloud Dienste am frühen Morgen. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken wurden bereits gestoppt, und sind am Synchronisieren des zweiten Datenbank-Knotens. Der Sync sollte gegen 07.30h vollständig sein.

Die Maßnahmen seit dem letzten Vorfall haben im Bereich der Überwachung funktioniert, die dann heute morgen um 6:17h angeschlagen ist und wir daher den Neustart früher in Gang setzen konnten. Die Untersuchung, wieso es wieder zu dem Problem kam, läuft aktuell.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 9.00h:

EGroupware Cloud, Rocket.Chat und Mail Dienste sind wieder verfügbar. Die Dienste sind heute über Tag wahrscheinlich etwas langsamer, da nur 3 Datenbanknoten laufen. Die restlichen Datenbank Knoten werden heute nach Feierabend synchronisiert.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021 8.30h:

Zwei Datenbank Knoten sind gestartet, der dritte wird gerade synchronisiert. Die Mail Dienste Und Rocket.Chat sind wieder aktiviert. Cloud braucht noch ca. 20min.

EGroupware Cloud-Dienste FRA & KA: 20. Oktober 2021:

Ausfall der EGroupware Cloud Dienste am frühen Morgen. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken werden gerade gestoppt, um dann neu gestartet zu werden. Da die Datenbank-Knoten einen vollen Sync ausführen müssen, werden die EGroupware Cloud und Mail Dienste voraussichtlich erst gegen 09.00h wieder verfügbar sein.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September 11.30h:

EGroupware Cluster: erneuter Ausfall eines Datenbank-Knotens. Wir müssen die Systeme vorübergehend abschalten, um wieder in einem Normalbetrieb mit mindestens 3 Datenbank-Knoten zu kommen. Alle Dienste sind ab 12.10 Uhr wieder voll verfügbar.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September 08.30h:

EGroupware Cloud ist wieder online. Das Cluster läuft vorübergehend auf 2 Datenbank-Knoten, die andern werden heute Abend synchronisiert und zugeschaltet.

EGroupware Cloud-Dienste FRA & KA: 2021 29. September:

Ausfall der EGroupware Cloud Dienste Nachts. Problem im Datenbank-Cluster, das keine Schreibzugriffe mehr ausgeführt werden können. Die Datenbanken werden gerade gestoppt, um dann neu gestartet zu werden. Der erste Datenbank-Knoten ist wieder online, der zweite Knoten braucht ca. 20 min, um sich mit dem ersten vollständig zu verbinden. Die EGroupware Cloud Dienste sind daher bis 08.00h offline.

Der Ausfall kann auch die Maildienste beeinflussen.

EGroupware E-Mail-Dienste FRA: 2021 6. Juli:

Scrub (Filesystem check) läuft, um alles im Detail zu prüfen. Dies wird auf jeden Fall einige Tage dauern. Bis es fertig ist, haben wir die Hälfte der Instanzen nach Karlsruhe verschoben, um den Filesystem-Check nicht zu verlangsamen.

Die betroffenen Mailboxen wurden aus KA wiederhergestellt und funktionieren jetzt auch wieder in FRA.

EGroupware E-Mail-Dienste: 5. Juli 2021 10.30 Uhr
Storage System im Rechenzentrum in Frankfurt zeigt Checksummenfehler und einzelne Mailboxen sind nicht verfügbar.

• Ticket beim Service Provider des Rechenzentrums IONOS eröffnet und warten auf Antwort bzw. Fehlerbehebung
• Das Mail-Backend in Frankfurt wurde vorübergehend abgeschaltet, damit die Redundanz übernehmen konnte und die Mail-Dienste laufen nun alle im Rechenzentrum in Karlsruhe.

Ihre Daten sind sicher, aber die Performance wird etwas langsamer sein, bis Frankfurt wieder zugeschaltet werden kann.

Wir werden hier informieren, sobald es Neuigkeiten zu diesem Thema gibt.

Wartungsfenster EGroupware Cloud: 02.06.2021ab 20.00 – 21.30 Uhr

Unsere Vermutung zum Problem von gestern ist, dass eine „fehlerhafte Anfrage“ von einem Client auf einer einzelnen Domain, dann „Traefik“ dazu veranlasst, auf mehr als diesen Client für einige Zeit mit einem „500 Internal Server Error“ zu antworten.

Wir werden „Traefik“ heute Abend wieder aktivieren und versuchen, herauszufinden, welche Anfrage, Domain und IP das Problem verursacht.

Problem wurde mit hoher Wahrscheinlichkeit identifiziert und alles auf Normalbetrieb zurückgestellt.

Internal Server Error in Frankfurt: 01.06.2021 21:00 – 23.59 Uhr

Es gab ein Problem in der EGroupware Cloud Verfügbarkeitszone in Frankfurt, sodass dort immer wieder „500 Internal Server Error“ aufgetreten sind. Die Verfügbarkeitszone in Karlsruhe war von dem Problem nicht oder nur kurzfristig betroffen nach dem wir als Workaround alles auf Karlsruhe umgeschaltet hatten.

Weiterführende Untersuchungen legen nahe, dass es KEINEN direkten Zusammenhang mit dem Update auf 21.1 gibt, sondern ein Problem mit „Traefik“ als Proxy / Kubenetes Ingress Controller, das nur unter ganz bestimmten Bedingungen zum tragen kommt.

Im ersten Schritt haben wir gestern die Version vom „Traefik“ aktualisiert, das hat das Problem zwar veringert, aber nicht beseitigt. Eine Suche in den „Github Foren von Traefik“ gab eine ähnliche Fehlerbeschreibung in dem folgenden Beitrag. Um eine sinnvoll nutzbare EGroupware Cloud heute bereitstellen zu können, haben wir gestern Nacht „Traefik“ entfernt und sprechen direkt mit Nginx, damit gab es dann keine „Internal Server Errors“ mehr.

Ausfall aller EGroupware und Maildienste: 06.04.2021: 17.45 – 19.20 Uhr

IONOS hat ein Netzwerkproblem verursacht, daher der Ausfall der EGroupware und Mail Dienste.
Die Kollegen arbeiten schnellstmöglich an einer Bereinigung und Wiederherstellung der Verbindungen.

06.04.2021: 18.30 Uhr Das Netzwerk von IONOS steht wieder, aber es wird noch etwas dauern, bis EGroupware und Mail wieder verfügbar sind.

06.04.2021: 19.20 Uhr Die Knoten in Karlsruhe und danach auf Frankfurt sind wieder verfügbar, somit sind alle EGroupware und Mail Dienste wieder verfügbar.

STÖRUNG EGROUPWARE KNOTEN KARLSRUHE & FRANKFURT 24.08.2020

Störung EGroupware Knoten Karlsruhe & Frankfurt 24.08.2020 15.40 Uhr
Wir prüfen gerade, wo das Problem liegt. Aktuell scheinen beide Knoten betroffen zu sein. Erste Analyse zeigt ein Verbindungsproblem auf den Loadbalancern, daher kommt von außen keine Verbindung zu Stande.

18.00 Uhr: Alle Systeme (inklusive des Datenbank-Clusters). wurden heruntergefahren. Der erste Datenbankknoten wurde erfolgreich neu gestartet. Aktuell startet der zweite Datenbankknoten und synchronisiert sich mit dem ersten. Sobald das Abgeschlossen ist, starten wir auch wieder die restlichen System.

18.30 Uhr: EGroupware und Mail-System sind wieder verfügbar.