Mailgun-API-Ausfall: Post-Mortem August 2016

Dies wurde ursprünglich am 12. August 2016 veröffentlicht.

Am 4. August um 22:20 Uhr UTC wurde Mailgun auf zahlreiche Berichte über Fehler bei der DNS-Auflösung für unseren Domainnamen mailgun.net aufmerksam gemacht. Dies ist die primäre Domain, die wir für unsere API nutzen. Bei unseren Untersuchungen stellten wir fest, dass unsere Domain von unserem Domain-Registrar, Dynadot, in den Status „client hold“ versetzt worden war.

Um ca. 22:47 Uhr aktivierte Dynadot die Domain wieder und wir verzeichneten einen Anstieg des Traffics auf unserer Domain api.mailgun.net. Aufgrund negativer DNS-Eintrag-Caches erreichten die Traffic-Werte erst um 23:17 Uhr wieder das normale Niveau.

Nachdem unser Team um 22:20 Uhr UTC auf das Problem aufmerksam gemacht wurde, begannen wir mit der Fehlerbehebung. Zunächst bestätigten wir, dass unsere autoritativen Nameserver weiterhin ordnungsgemäß auf DNS-Anfragen reagierten. Wir bestätigten, dass unsere Backend-DNS-Infrastruktur sowohl funktionsfähig als auch korrekt konfiguriert war, und begannen, unsere Domain-Konfiguration mit unserem Registrar Dynadot zu überprüfen.

Dabei stellten wir fest, dass unsere Domain in den Status „client hold“ versetzt worden war, was eine normale DNS-Auflösung verhindert. Es gab im Vorfeld keinerlei Kommunikation, bevor Dynadot diese Strafaktion gegen unsere Domain ergriff.

Unser Technikteam versuchte sofort, den Dynadot-Support sowohl telefonisch als auch über den Live-Chat-Support zu erreichen. Während der gesamten Dauer dieses Vorfalls konnten wir das technische Support-Team nicht telefonisch erreichen. Eine aufgezeichnete Nachricht informierte die Anrufenden, dass alle Support-Mitarbeitenden beschäftigt seien und man es später noch einmal versuchen solle. Über das Chat-System konnten wir jemanden erreichen und wurden darüber informiert, dass man das Problem dort nicht lösen könne. Um die Sperre aufzuheben, müssten wir eine E-Mail an das Support-Team senden. Im Chat wurde darauf bestanden, dass dies die einzige Möglichkeit für uns sei, das Problem zu lösen. Während dieser Zeit baten wir auch um den Rückruf einer Führungskraft und versuchten, das Problem zu eskalieren, bekamen jedoch keine weiteren Optionen zur Lösung angeboten.

Um 22:37 Uhr sendeten wir eine E-Mail an das Support-Team, und unsere Domain wurde etwa zehn Minuten später um 22:47 Uhr wieder aktiviert. Obwohl die Domain wieder aktiviert war, erhielten wir von Dynadot bis Freitag um 00:12 Uhr UTC keine weitere Kommunikation. Dann hieß es, die Domain sei wegen Spam-Beschwerden deaktiviert worden. Wir erhielten jedoch keine entsprechenden Informationen, die diese Behauptung stützten.

Wir forderten, dass dieses Problem an das Führungsteam eskaliert wird und wir Details zu den eingegangenen Beschwerden erhalten. Wir haben keine weiteren Details erhalten und bislang mit niemandem aus dem obersten Führungsteam über diesen Vorfall gesprochen.

Unsere Geschäftsbeziehung mit Dynadot bestand seit 2010 und somit bereits vor der Übernahme von Mailgun durch Rackspace. Obwohl wir in der Vergangenheit kaum Probleme bei der Verwaltung unserer Domains hatten, machten dieser Vorfall und vor allem die fehlende zeitnahe Rückmeldung von Dynadot einen Wechsel des Anbieters erforderlich. Heute haben wir den Wechsel zum Domain-Registrierungsservice von Rackspace abgeschlossen. Dieser bietet einen Rund-um-die-Uhr-Service und hilft dabei, sicherzustellen, dass ähnliche Probleme nicht erneut auftreten. Auch wenn wir unsere Geschäftsbeziehung beendet haben, sind wir weiterhin offen für Gespräche mit Dynadot über dieses Problem. Wir hoffen, dass ihre Richtlinien und Verfahren aktualisiert werden, um künftig Probleme für andere legitime Kundinnen und Kunden zu vermeiden.

Autor: Josh Odom Josh Odom is President of the CPaaS unit at Sinch. Previously, he acted as Chief Technology Officer of Mailgun, and the Senior Product and Engineering leader at Rackspace. He covers a variety of topics for the blog from incidents and data security to product growth.