Sicherheitshinweise

Einsatzbereich

Dieser Sicherheitshinweis gilt für Kunden, deren HTTP/2-Client-Anfragen im Rechenzentrum von Fastly in Minneapolis-St.Paul (STP) zwischen dem 11. November 2019 um 21:57 Uhr UTC und 00:50 Uhr UTC am 13. November 2019 (ca. 27 Stunden) verarbeitet wurden. Er gilt weder für alle Kunden noch für den gesamten Traffic.

Zusammenfassung

Am 11. November 2019 um 21:57 Uhr UTC hat Fastly einen neuen Build seiner HTTP/2-Terminierungssoftware auf zwei Fastly Cache-Servern im Rechenzentrum in Minneapolis-St.Paul (STP) bereitgestellt. Diese Build enthielt einen Verarbeitungsfehler, der die Wiederverwendung von Verbindungen zwischen internen Fastly Systemen betraf (unabhängig vom HTTP/2-Multiplexing) und dazu führte, dass einige eingehende HTTP/2-Anfragen für Services von Fastly Kunden eventuell fälschlicherweise an eine Gruppe von bis zu 20 verschiedenen Services und Origin-Servern von Fastly Kunden weitergeleitet wurden. Dies führte dazu, dass einige Client-Anfragedaten an verkehrte Origin-Server von Kunden gesendet und eine Antwort von diesen verkehrten Origin-Servern zurückgesendet wurde. Die Kunden, auf deren Origin-Servern diese Anfragen fälschlicherweise eingingen, haben diese verkehrt weitergeleiteten Anfragedaten möglicherweise geloggt.

Fastly wurde erstmals am 12. November 2019 um 23:07 Uhr UTC von einem Kunden über einen Client-Fehler informiert. Am 13. November 2019, um 00:50 Uhr UTC, wurde der gesamte Kunden-Traffic des betroffenen Rechenzentrums umgeleitet. Fastly hat sofort eine Untersuchung eingeleitet und am 14. November 2019 um 00:31 Uhr UTC das Vorhandensein von falsch gerouteten Anfragedaten in den Logs eines Kunden bestätigt.

Wir schätzen, dass dieser Fehler in dem Zeitraum von 27 Stunden 0,00016 % des weltweiten Anfrage-Traffics betraf. Es ist unwahrscheinlich, dass die betroffenen Client-Anfragen von außerhalb Nordamerikas kamen.

Da Fastly keine Kundenlogdaten speichert, können wir nicht mit Sicherheit sagen, ob eine betroffene Anfrage falsch weitergeleitet wurde.

Auswirkungen

Während des 27-stündigen Zeitraums beschränkte sich das Problem auf zwei Fastly Cache-Server in Minneapolis-St.Paul (STP), einem einzigen Rechenzentrum mit geringem Traffic, und betraf nicht den gesamten Kunden-Traffic.

Es betraf Anfragen an dieses Rechenzentrum, von denen alle die folgenden Kriterien erfüllten:

• Die eingehende Anfrage muss über HTTP/2 erfolgt sein.


• Die eingehende Anfrage muss zwischen dem 11. November 2019, 21:57 Uhr UTC und dem 13. November 2019, 00:50 Uhr UTC gesendet worden sein.


• Die Anfrage muss durch die beiden Cache-Server des Rechenzentrums in Minneapolis-St.Paul (STP) geleitet worden sein, auf denen die fehlerhafte HTTP/2-Termination-Software lief.

Die betroffenen Anfragen wurden fälschlicherweise an 20 Fastly Kunden weitergeleitet, die die IP-to-Service-Pinning-Funktion von Fastly nutzen. Diese 20 Kunden haben, je nach ihren Fastly und Origin-Logging-Konfigurationen, möglicherweise Client-Anfragedaten geloggt. Wir haben mit unseren Kunden zusammengearbeitet, um Log-Daten in Bezug auf diese Störung für unsere Untersuchung einzuholen und haben den betroffenen Kunden auf Anfrage Log-Daten zur Verfügung gestellt.

Clients, die betroffene Anfragen gesendet haben, haben möglicherweise Antworten von einem falschen Service und Origin-Server erhalten. Das könnte dazu geführt haben, dass ein Client eine unerwartete Antwort erhielt, da ein verkehrter Origin-Server möglicherweise eine Antwort gesendet hat, die einen Host-Header und einen Uniform Resource Identifier (URI) enthielt, den er nicht erkannte. Eine solche Antwort könnte zum Beispiel eine 404-Fehlerseite vom falschen Origin-Server gewesen sein (die möglicherweise Inhalte wie Text oder Bilder von diesem Origin-Server enthält).

Anfragen, die eins der folgenden Kriterien erfüllen, waren davon nicht betroffen:

• Eine eingehende Anfrage verwendete die HTTP- oder HTTPS-Versionen 1.0 oder 1.1


• Eine eingehende Anfrage wurde an einen Cache-Server in unserem Rechenzentrum in Minneapolis-St.Paul (STP) weitergeleitet, auf dem eine Version der HTTP/2-Termination-Software lief, die den Verarbeitungsfehler nicht enthielt


• Eine eingehende Anfrage wurde an ein anderes Fastly Rechenzentrum weitergeleitet

Fastly schätzt derzeit, dass während dieser Störung in unserem Rechenzentrum in Minneapolis-St.Paul (STP),

• dieser Standort während des betroffenen Zeitraums etwa 0,01 % des weltweiten Fastly Traffic ausmachte.


• ungefähr 1,14 % aller Anfragen an das Rechenzentrum in Minneapolis-St.Paul (STP) möglicherweise falsch weitergeleitet wurden.

nahezu der gesamte Traffic, der an das Rechenzentrum in Minneapolis-St.Paul (STP) geleitet wurde, von Kundenanfragen stammte, die über ISPs in der Region US-Midwest zugestellt wurden. Client-Anfragen werden in der Regel an das geografisch nächstgelegene Rechenzentrum weitergeleitet. Es ist unwahrscheinlich, dass Kundenanfragen von außerhalb von Nordamerika beim Rechenzentrum in Minneapolis-St.Paul (STP) eingingen.

Fix

Nachdem bekannt wurde, dass Anfragen von den falschen Services beantwortet wurden, leitete Fastly den gesamten Kunden-Traffic weg vom Rechenzentrum in Minneapolis-St.Paul (STP) und deaktivierte die beiden Cache-Server, auf denen die fehlerhafte HTTP/2-Terminierungssoftware installiert war. Ab dem 13. November 2019 um 00:50 Uhr UTC wurden dadurch mögliche Auswirkungen auf Kunden abgewehrt.

Zusätzlich hat Fastly überprüft, ob diese fehlerhafte HTTP/2 Terminierungssoftware nur auf diesen beiden Cache-Servern in unserem Rechenzentrum in Minneapolis-St.Paul (STP) vorhanden war. Sie war an anderen Stellen im Netzwerk von Fastly nicht eingesetzt worden.

Weitere Tests im gesamten Fastly Netzwerk wiesen keine weiteren Vorfälle auf, die durch diesen Fehler verursacht wurden.

In Zusammenarbeit mit unseren IP-to-Service-Pinning-Kunden hat Fastly Logs für schätzungsweise 98 % der fehlgeleiteten Anfragen eingeholt und analysiert. Die eingeholten Logdaten werden spätestens am 13. Dezember 2019 von den Systemen von Fastly gelöscht.

Fastly geht davon aus, dass das Rechenzentrum in Minneapolis-St. Paul (STP) in naher Zukunft wieder in Betrieb genommen wird. Der Fastly Status (status.fastly.com) wird aktualisiert, sobald der Zeitplan fertiggestellt ist.

Fastly führt zahlreiche Überprüfungen durch Sicherheits-, Technik- und Kundenteams durch und implementiert mehrere Änderungen an Betriebs- und Entwicklungsprotokollen, um das Risiko zukünftiger Produktionsimplementierungen mit ähnlichen Störungen zu verringern.

Weitere Informationen

Sollten Sie weitere Fragen haben, wenden Sie sich bitte an Fastly Customer Engineering unter support@fastly.com oder an das Fastly Sicherheitsteam unter security@fastly.com.

Versionsverlauf

• Version 1.3 – „Zusammenfassung“ spiegelt aktualisierte Schätzungen der betroffenen Anfragen wider, die aus der Analyse der Protokolldaten hervorgegangen sind. „Auswirkung“ aktualisiert, um Informationen über die Untersuchung der Protokolldaten von Fastly und eine aktualisierte Schätzung des betroffenen Traffics im Rechenzentrum Minneapolis-St. Paul (STP) aufzunehmen. „Fix“ fügte Details der Log-Daten hinzu, die Fastly während dieser Störung eingeholt hat und die Ankündigung, dass das Rechenzentrum in Minneapolis-St. Paul (STP) in naher Zukunft wieder in Betrieb genommen wird. 4. Dezember 2019, um 00:12 Uhr UTC.


• Version 1.2 – Titel aktualisiert, um den Sachverhalt wiederzugeben. „Zusammenfassung“, „Auswirkung“ und „Fix“ wurden aktualisiert, um die Erläuterungen genauso wiederzugeben, aber Verweise auf „H2O“, den Namen der HTTP/2-Terminierungssoftware, die Fastly für den Einsatz auf seiner Plattform anpasst, zu entfernen, damit die Lesbarkeit verbessert wird. 16. November 2019, um 01:14 Uhr UTC.


• Version 1.1 – Erläuterung zu Änderungen an der Wortwahl in „Zusammenfassung“. Hinzufügung eines Beispiels einer Kundenerfahrung in „Auswirkung“, neuer Absatz drei. 15. November 2019, um 19:55 Uhr UTC.


• Version 1.0 – Erste Freigabe. 15. November 2019, um 00:26 Uhr UTC.