So nutzt OpenStreetMap unser modernes CDN, um globale Updates in nahezu Echtzeit bereitzustellen
Wikipedia versteht sich als Enzyklopädie, die für alle zugänglich ist. Nach diesem Prinzip funktioniert auch OpenStreetMap (OSM), eine Open-Source-Landkarte mit 6,4 Millionen Freiwilligen, die gemeinsam Stadt und Land rund um den Globus kartieren. Zusammen haben sie die zugrundeliegende Software ins Leben gerufen – vom Interface bis hin zu den APIs für den Datenzugriff. Aktualisierungen der Daten erfolgen über ein Editing-Tool im Wiki-Stil und GPS-Geräte. Die zugehörigen Bilder und entsprechenden Daten werden im Rahmen einer Open-Content-Lizenz zur kostenlosen und uneingeschränkten Nutzung freigegeben.
Da OSM Teil unseres Open-Source-Programms ist, liefern wir seine Inhalte über unser CDN aus. Die ganze Geschichte erfahren Sie hier.
Die Herausforderung
OSM Daten werden auf der ganzen Welt für Routenplaner, Kurierservices, Katastrophenhilfe (z. B. Standort des nächstgelegenen Krankenhauses) und natürlich Landkarten genutzt. Ein Großteil des Traffics entfällt allerdings auf den projektspezifischen Map Tile Service, bei dem Unternehmen auf die Daten von OSM zugreifen und sie in ihrer eigenen App oder auf ihrer eigenen Website nutzen. Zehntausende Websites werden auf diese Weise mit Geodaten versorgt. Wenn Sie schon einmal eine Unternehmensseite auf Facebook aufgerufen oder sich Fahrtkosten bei Uber berechnen lassen haben, hatten auch Sie bereits das Vergnügen mit OpenStreetMap.
Der Map Tile Service stellt Änderungen an den zugrundeliegenden Daten regelmäßig bereit, teilweise sogar im Minutentakt. Außerdem veröffentlicht OSM jede Woche einen vollständigen Export seiner Daten, der als „planet file“ bekannt ist. Wohlwissend, dass die Auslieferung dieser Inhalte nur mit einem CDN gelingen konnte, machte sich OSM mithilfe seiner gespendeten Ressourcen an den Aufbau seines eigenen CDNs.
Dies stellte sich jedoch von Anfang an als schwierig heraus, denn in bestimmten Regionen der Welt waren Server nicht so leicht zugänglich. Menschen, die einen Beitrag zu OSM leisten wollten, beschwerten sich häufig über die langsamen Ladezeiten der Tiles. Außerdem ließen sich Serverprobleme nur schwer erkennen und beheben. 2019 wurde dann anlässlich des London Marathons eine neue App auf den Markt gebracht, über die Nutzer den Fortschritt von Marathonläufern entlang der Strecke verfolgen konnten. Diese App schlug ein wie ein Blitz, und das eigene CDN von OSM war dem unerwarteten Traffic-Ansturm nicht gewachsen. Das Unternehmen musste den Traffic also auf andere Server umleiten und begann im Zuge dessen, sich nach anderen Lösungen umzusehen.
Warum ein modernes CDN?
Moderne CDNs ermöglichen es, höchst dynamische Inhalte (also solche, die sich mit jeder Anfrage ändern) von der Edge anstatt vom Origin-Server auszuliefern. Indem Sie Code näher am Endnutzer ausführen, lassen sich viele Anfragen an den Origin-Server dank strategisch platzierten POPs mit hoher Kapazität, an denen größere Mengen an Inhalten gecacht werden können, sogar vollständig vermeiden.
Außerdem bieten moderne CDNs die Möglichkeit, Inhalte sofort (in der Regel in Millisekunden) beziehungsweise nur ausgewählte Inhalte zu bereinigen. So können Unternehmen Inhalte cachen, die bei herkömmlichen CDNs als uncachbar galten.
Darüber hinaus erhalten Entwickler bei modernen CDNs Echtzeit-Einblicke in Statistiken und Logs, mit denen sie die API-Performance überwachen und steuern können. Diese Funktionen bieten entscheidende Vorteile bei der Inhaltsbereitstellung und sorgen für zahlreiche Verbesserungen, zum Beispiel in Sachen Performance, Entlastung des Origin-Servers und allgemeine Transparenz.
Warum Fastly?
Ursprünglich war es das hohe Maß an Kontrolle, mit dem Fastly die Aufmerksamkeit von OpenStreetMap erregte. Aufgrund des Formats der Map Tiles können viele Anfragen keinem speziellen Muster folgen, sodass es schwieriger ist, sie zu cachen. Unsere Varnish Configuration Language (VCL) ermöglichte OSM allerdings das Erstellen einer nutzerdefinierten Logik, um ungültige Backend-Anfragen entweder mit einem 404 Error zu beantworten oder an das korrekte Backend weiterzuleiten. Ein weiterer Vorteil von Fastly war, dass wir die Server von OSM entlasten und so Kapazitäten für andere wichtige Funktionen freiräumen konnten. Einer der zuvor für das Tile Network genutzten Server wurde vor Kurzem in einen Geocoding-Server umgewandelt, über den OSM Daten durchsucht werden können. Außerdem konnte OSM bestimmte ältere Sever vollständig außer Betrieb nehmen und so den weltweiten Verwaltungsaufwand reduzieren.
Bevor das gesamte Setup von OSM auf unser Netzwerk migriert wurde, wollte Ian Dees, Schatzmeister und Infrastrukturexperte bei OSM, einen Test durchführen. Dazu richtete er einen Prototyp-Service ein, der dem Demo Tile Service vorgeschaltet wurde. Nach erfolgreicher Konfiguration begann er mit dem Rollout von Fastly für Nutzer in den USA. Das Feedback war phänomenal: Kartographen schwärmten von einer erheblichen Performancesteigerung.
„Mit unserem vorherigen CDN blieben Kartenabschnitte beim Laden oft hängen, was bei unseren Nutzern für Frustration sorgte", so Dees. „Manchmal wurde die Seite erst nach fünf bis zehn Sekunden angezeigt. Das ist viel zu lang und geht mit Fastly viel schneller. Sobald man eine Seite öffnet, wird alles sofort geladen.‟
Außerdem verbesserte sich laut Dees durch die Zusammenarbeit mit Fastly die Observability, wodurch das Team jetzt proaktiver und weniger defensiv arbeiten kann. Das vorherige CDN von OSM bot nur minimale statistische Einblicke, sodass sich nur grundlegende Informationen wie „Wo auf der Welt Nutzer sich Karten ansehen‟ veröffentlichen ließen. Inzwischen arbeitet das Team mit einer nutzerdefinierten Logging-Lösung, die künftig für die Katastrophenhilfe genutzt werden soll.
Bisher wurden die Statistiken nur für interne Zwecke verwendet, aber OSM arbeitet derzeit an einem Parser zur Veröffentlichung der Daten. Insgesamt fühlt sich das OSM Team laut Dees jetzt so gut wie noch nie auf Traffic-Spitzen vorbereitet. Als noch das firmeneigene CDN im Einsatz war, versuchte man ständig, möglichen Störungen vorzubeugen. Mit Fastly kann sich das Team statt nur auf die Angriffsabwehr besser um Planung und Prognosen kümmern.
Nächste Schritte
Da sich OpenStreetMap inzwischen keine Gedanken mehr um die Inhaltsauslieferung machen muss, kann sich das Unternehmen besser auf sein Kerngeschäft konzentrieren: die Welt zu kartieren. Die Entwicklerteams von OSM profitieren dabei von mehr Flexibilität bei der Anpassung ihrer Plattform, einschließlich bei der Lokalisierung von Karten. Wo Daten zuvor nur in Englisch oder ausgewählten Nationalsprachen angezeigt werden konnten, wird jetzt daran gearbeitet, Nutzern die gesamte Weltkarte in ihrer jeweiligen Muttersprache bereitzustellen.
Entdecken auch Sie, was sich mit einem modernen CDN alles erreichen lässt, und lesen Sie unseren "Guide zum modernen CDN: Sicherheit und Performance im modernen Zeitalter der Webentwicklung“.
