Erhöhte Kontrolle und Sicherheit durch Echtzeit-Logging
VP Strategic Initiatives, Fastly
Wir wissen, dass unsere Kunden Wert auf Transparenz und Kontrolle legen – auf praktikable Einblicke in ihre digitalen Services sowie die Flexibilität, Anpassungen bei Bedarf vorzunehmen. Da Sie mit Echtzeit-Logs nachvollziehen können, was mit Ihrem Traffic gerade passiert, können Sie im laufenden Betrieb Entscheidungen treffen und Änderungen vornehmen. Streamen Sie Ihre Log-Dateien direkt an einen Provider Ihrer Wahl (eine umfassende Liste finden Sie hier) und gewinnen Sie detaillierte Einblicke in Anfragen oder Antworten. So können Sie Probleme leichter diagnostizieren und verstehen, wie Ihre Kunden mit Ihrer Anwendung interagieren. Und weil wir der Meinung sind, dass Ihre Log-Daten Ihnen gehören, speichern wir keine Logs.
Führende Unternehmen nutzen die Logging-Funktion auf zahlreiche innovative Weisen. The Guardian nutzt Log Streaming zur frühzeitigen Erkennung von Problemen, nachdem Änderungen auf der Website umgesetzt wurden. Foursquare entscheidet anhand der Informationen aus Streaming Logs, welche Inhalte gecacht und welche Daten gestreamt werden. Upworthys Team erhält dank der von Fastly und anderen Cloud-Anbietern bereitgestellten Statistiken einen ganzheitlichen Echtzeitüberblick über den Zustand der Website. Und das Tech-Team von Target startet jeden Morgen mit seinen maßgeschneiderten Dashboards, um zu verstehen, was auf der Edge passiert ist, und dieses Wissen an anderen Stellen des Tech-Stacks zu integrieren.
Unsere Edge-Cloud-Plattform verarbeitet ca. vier Millionen Log-Zeilen pro Sekunde und nutzt dabei eine Bandbreite von knapp fünf Gbit/s. So erhalten Sie einen umfassenden Überblick über Ihren Traffic. Sie können die Log-Daten verwenden, um das Systemverhalten rückwirkend zu überprüfen sowie in Echtzeit auf ein Ereignis zu reagieren (lassen Sie sich zum Beispiel bei einer potenziellen Überlastung des Origin-Servers warnen, wenn die Antwortzeit für einen Cache Miss mehr als fünf Sekunden beträgt). Außerdem können Sie Ihre Fastly Logs mithilfe von Skripten programmatisch modifizieren. Sie rufen unsere API auf, sobald Ihre Log-Daten vordefinierte Bedingungen erfüllen (setzen Sie so zum Beispiel Rate Limiting oder Blacklists durch, indem Sie IPs anhand von Anfrageinformationen zu Ihren versionslosen Edge ACLs hinzufügen).
Big Cartel überwacht Traffic-Muster proaktiv und aktualisiert seine Konfigurationen in Echtzeit, um bösartigen Traffic auf der Edge zu blockieren.
In diesem Blogpost stellen wir Ihnen unsere Updates zum Logging vor, darunter Optimierungen bei Formatierung und Kontrolle, Neuerungen bei der Integration von Logging Endpoints und Verbesserungen bei der Sicherheit. Außerdem erhalten Sie Hilfe beim Einstieg.
Updates zur Kompatibilität
Wir haben Support für mehrere neue Logging Endpoints hinzugefügt und unsere bestehenden Integrationen verbessert, um Ihnen das Streamen von Logs zu Ihrem bevorzugten Endpoint zu erleichtern.
One-Click-Integration mit Logentries
In Zusammenarbeit mit Logentries haben wir es so einfach wie möglich gemacht, Logs von Fastly an die Log-Analyseplattform von Logentries zu senden. Mit nur einem Mausklick in unserem Control Panel können Sie einen Test-Account für Logentries erstellen und ein Logging-Objekt konfigurieren, das an diesen Account gesendet wird. Dieser Service ist kostenlos, es sei denn, Sie möchten Ihren Account nach Ablauf der 30-tägigen Testversion behalten. Das automatisch erstellte Logging-Objekt können Sie jederzeit löschen.
Support für Google BigQuery
Sie können Logs ab sofort direkt an Googles Big-Data-Plattform BigQuery streamen. Dort können Sie anspruchsvolle Analysen großer Datensätze durchzuführen, Daten mit anderen Quellen verknüpfen und mit Tools wie Looker und Tableau visuelle Darstellungen erzeugen. (In diesem Fiddle erfahren Sie, wie Sie Logs an BigQuery senden.)
Beispiel für ein Fehlerbehebungs-Dashboard mit Fastly Daten in Looker
Sumo Logic Dashboard
Über die neue Sumo Logic App für Fastly können Sie auf eine Reihe von vorkonfigurierten Dashboards zugreifen, die Ihnen dabei helfen, relevante Daten schnell zu analysieren und zu verknüpfen. Die Dashboards lassen sich problemlos weiter präzisieren und so einstellen, dass bei Erreichen vorgegebener Schwellenwerte Warnmeldungen gesendet werden.
Vorkonfiguriertes Sumo Logic Dashboard zur Analyse der Origin-Performance
Support für Scalyr
Sie können Logs ab sofort an Scalyr senden, einen beliebten Logging-as-a-Service-Anbieter, der häufig von Kunden angefragt wird.
Optimierte Formatierung und Kontrolle
Unsere jüngsten Aktualisierungen sorgen dafür, dass Sie mehr Kontrolle darüber erhalten, in welchem Format Ihre Logs zugestellt werden:
Unsere Formatierungssysteme sind jetzt vollständig mit den Apache Log-Direktiven kompatibel, was eine höhere Interoperabilität zwischen externen Systemen bedeutet. Alle Dokumente oder Blogposts von Dritten zum Thema Apache Logging gelten jetzt also auch für Fastly. Darüber hinaus vereinfacht der neue Parser strukturierte Log-Formate wie CSV und JSON und ermöglicht die Verwendung beliebiger VCL-Ausdrücke in Ihren Log-Zeilen, ohne dass spezifischer VCL Code angewendet werden müsste.
Sie können nun das Format der gesendeten Nachricht ändern, was die Interaktion mit Dritten erleichtern sollte. Bisher haben wir Log-Nachrichten im Syslog-Format gesendet, welches standardmäßig ein Präfix (wie in RFC 3164 definiert) enthält, wie im folgenden Beispiel zu sehen ist:
<134>2016-07-04T22:37:26Z cache-sjc3128 LogTest[62959]: <your log message>Wir bieten Ihnen ab sofort die Möglichkeit, eines von mehreren Formaten zu wählen:
Classic ist das standardmäßige Präfixformat. RFC 3164 definiert die Verwendung eines Syslog-Präfixes.
Logplex ist ein Syslog-Format mit Heroku-ähnlicher Präfixlänge.
blank bedeutet, dass kein Präfix, sondern nur Ihre Log-Nachricht verwendet wird. Aus diesem Grund ist es ab sofort möglich, JSON- und CSV-Dateien zu generieren.
Wir bieten außerdem die Möglichkeit, den Zeitstempel anzupassen, der beim Schreiben von Log-Dateien an Endpoints wie Amazon S3 (S3), Google Cloud Storage (GCS) und File Transfer Protocol (FTP) eingefügt wird. Standardmäßig fügen wir den Erstellungszeitpunkt des Logs im ISO 8601-Format hinzu, was folgendermaßen aussieht:
2017-02-10T19:55:42.000.Manchmal ist es jedoch erforderlich, dass der Zeitstempel anders formatiert wird. So haben beispielsweise Services wie Amazons ElasticMapReduce bisweilen Schwierigkeiten mit Dateien, die Doppelpunkte im Dateinamen enthalten. Mittels des standardmäßigen strftime Formats können Sie das Format des Zeitstempels nun selbst festlegen. Über dieses praktische Online-Tool können Sie mit dem Format experimentieren und so das für Ihre Anforderungen am besten geeignete Format ermitteln.
In unseren Logs können Sie fast alles offenlegen, was im Anfrage- oder Antwort-Header enthalten ist, einschließlich Client-IP, Zeitstempel, Anfragetyp, Anfrage-URL und HTTP-Statuscode. Unsere Erweiterungen für VCL bieten Ihnen folgende Vorteile:
Uhrzeit- und Datumsvariablen: Dazu gehören auch Daten, die zusätzliche Flexibilität bei der Handhabung von Datums- und Uhrzeitangaben bieten können.
Größenabhängige Variablen: Fügen Sie die Größe von Anfragen und Antworten zu Ihren Logs hinzu, einschließlich einer Aufschlüsselung von Header- und Body-Größe.
Standortbezogene Variablen: Legen Sie mithilfe von Geolokalisierung eine Reihe von geografischen Variablen offen, einschließlich des mit der Client-IP verknüpften Kontinents, Landes und der Stadt. Auch die geographische Region und der POP-Standort (Stadt) des Rechenzentrums, über das die Anfragen eingehen, sind einsehbar.
Mehr Handlungsspielraum für Sie
Da Sie jetzt besser steuern können, wie Log-Zeilen erstellt werden, sollte es für Sie ab sofort einfacher sein, sich mit Logging-Diensten zu verbinden, die Fastly nicht direkt unterstützt.
Kunden, die beispielsweise eine Verbindung zu LogDNA herstellen möchten, können den generischen Syslog-Konnektor verwenden und den Hostnamen und das TLS-Zertifikat selbst konfigurieren. Wir haben das Prozedere in unserem Streaming Logs Guide dokumentiert.
Oder um ein komplizierteres Beispiel zu nennen: Selbst wenn Fastly Loggly nicht unterstützen würde, wäre es dennoch möglich, Logs dorthin zu senden:
Beim Hostnamen müsste logs-01.loggly.com eingegeben werden.
Der Port müsste auf 6514 gesetzt werden.
TLS müsste auf yes gesetzt werden.
Als Nachrichtentyp müsste blank ausgewählt werden.
Das Token müsste von Loggly bezogen werden.
Das Format müsste
<134>1 %{"%Y-%m-%dT%T%z"}t %{server.datacenter}V <log name> - - [<token>@41058 tag="fastly" tag="other tag"] <rest of format>lauten.
Dieser letzte Punkt bedarf einer Erklärung. Es wird eine Syslog-Nachricht gemäß dem in RFC 5424 beschriebenen Format erstellt, welches Loggly laut seiner Dokumentation erwartet. Wir fügen unser Token in den „Structured Data Element“-Teil der Nachricht ein, zusammen mit Logglys PEN (Private Enterprise Number) – 41058 – sowie allen gewünschten Tags. Der Rest ist einfach nur eine gewöhnliche Log-Nachricht.
Wie wir wissen haben Kunden, die Logs an Logz.io und das neue Logging-Produkt von Datadogs senden wollten, das Gleiche getan.
Zukünftig werden wir diese als nutzerfreundliche Logging-Objekte hinzufügen, aber in der Zwischenzeit ist die gebotene Flexibilität als Teil der Fastly Philosophie zu verstehen, die besagt, dass unsere Kunden Integrationen mit jeglichen beliebigen Systemen vornehmen können sollen, egal ob Fastly diese unterstützt oder nicht. Außerdem wollen wir es unseren Kunden in Zukunft erleichtern, Integrationen mit HTTP-basierten Logging- und Analysesystemen wie New Relic Insights eigenständig umzusetzen.
Erhöhte Sicherheit
Als zusätzliche Sicherheitsmaßnahme haben wir für unsere Kunden die Möglichkeit geschaffen, beim Schreiben in Amazon S3 die serverseitige Verschlüsselung zu aktivieren. Wenn diese Funktion aktiviert ist, werden alle von uns gesendeten Log-Dateien verschlüsselt (sie werden auf die Festplatte geschrieben) und Ihre Daten auf diese Weise geschützt.
Da dieses Feature ausschließlich für Amazon gilt, haben wir eine ähnliche allgemein gültige Funktion hinzugefügt. Damit können Sie uns einen öffentlichen PGP-Schlüssel (Pretty Good Privacy, der definitive Standard für Verschlüsselung) übermitteln, damit wir alle Log-Dateien verschlüsseln können, die wir für Sie schreiben. Die Dateien können Sie daraufhin mit Ihrem eigenen Private Key nach Bedarf entschlüsseln. Diese Lösung funktioniert bei jedem Logging Endpoint, der Dateien schreibt, also auch bei S3, GCS und FTP.
Ausblick
Wir hoffen, dass Sie diese Updates beim Logging und der Echtzeitanalyse Ihrer Daten hilfreich finden und letztlich praktikable Einblicke in Anfragen und Antworten gewinnen werden. Weitere Informationen zu Fastlys Echtzeit-Logging (und wie Sie damit loslegen) finden Sie in unserem Guide oder diesem ausführlichen Workshop zum Thema Logging auf der Edge, der auf unserer Kundenkonferenz Altitude in San Francisco präsentiert wurde. Wie immer gilt: Sprechen Sie uns direkt an, wenn Sie bestimmte Features oder Logging-Anbieter vorschlagen möchten.
Wir wünschen gutes Gelingen!
