Más control y seguridad con los registros en tiempo real

Sabemos que nuestros clientes valoran la visibilidad, el control, la información práctica sobre el estado de sus servicios digitales y la flexibilidad para hacer ajustes en el momento oportuno. Gracias a los registros en tiempo real, puedes ver lo que ocurre con tu tráfico para tomar decisiones y realizar cambios sobre la marcha. Fastly te permite enviar al instante tus archivos de registro al proveedor que prefieras (aquí tienes la lista completa) y analizar a fondo cualquier petición o respuesta para diagnosticar problemas y entender cómo interactúan los clientes con tu aplicación. Además, como creemos que tus datos de registro son tuyos y de nadie más, no los almacenamos.

Los registros se utilizan de formas muy innovadoras en organizaciones de renombre. Por ejemplo, The Guardian utiliza el envío de registros como un sistema de alerta temprana para detectar problemas después de realizar cambios en su sitio web, Foursquare decide qué contenidos se almacenan en caché y qué datos se envían mediante registros, Upworthy se sirve de las estadísticas de Fastly y otros proveedores en la nube para proporcionar a su equipo una visión general y en tiempo real del estado del sitio web y, al principio de la jornada, el equipo técnico de Target accede a paneles personalizados para saber qué ocurre en el edge de la red y obtener conocimientos que después aplica a otras partes del stack.

Nuestra plataforma de edge cloud gestiona aproximadamente 4 millones de líneas de registro por segundo y emplea casi 5 Gbit/s de ancho de banda, lo que se traduce en información exhaustiva sobre tu tráfico. Esto significa que puedes analizar el comportamiento del sistema de manera retroactiva y actuar al momento en determinadas situaciones; por ejemplo, señalando una posible sobrecarga del origen si el tiempo de respuesta de un fallo de caché supera los cinco segundos. También puedes modificar los registros de Fastly mediante programación y utilizar scripts para invocar a nuestra API cuando los datos de registro cumplan ciertas condiciones. De esta forma, tienes la posibilidad de imponer una limitación de volumen o una lista negra añadiendo IP a tus listas de control de acceso sin versiones en el edge según la información de la petición.

Big Cartel supervisa de forma proactiva los patrones de tráfico y actualiza al instante sus configuraciones para bloquear tráfico malicioso en el edge

En este artículo hablaremos de las novedades más recientes en los registros, que aportan mejoras en términos de formato y control, una mayor integración con puntos de conexión y una seguridad superior. También te diremos cómo puedes empezar a utilizarlos.

Novedades en la compatibilidad

Hemos añadido compatibilidad con nuevos puntos de conexión de registro y hemos mejorado las integraciones actuales para que te cueste menos enviar registros al punto de tu elección.

Integración con Logentries con un solo clic

Hemos colaborado con Logentries para que enviar registros de Fastly a su plataforma de análisis sea sencillo a más no poder. Ahora, con solo pulsar un botón en nuestro panel de control, puedes crear una cuenta de prueba con Logentries y configurar un objeto de registro para enviarlo. No se te cobrará por esta cuenta a menos que decidas conservarla una vez terminado el periodo de prueba de 30 días. Además, podrás borrar el objeto de registro generado automáticamente cuando tú quieras.

Compatibilidad con BigQuery de Google

Ahora puedes enviar registros directamente a BigQuery, la plataforma de macrodatos de Google, para llevar a cabo análisis sofisticados de grandes conjuntos de datos, correlacionar datos con otras fuentes que escriben en BigQuery y visualizar datos mediante herramientas como Looker y Tableau. Puedes comprobar cómo funciona la creación de registros en BigQuery mediante Fiddle.

Ejemplo de panel de solución de problemas con datos de Fastly en Looker

Panel de Sumo Logic

La nueva aplicación de Sumo Logic para Fastly te permite acceder a un conjunto de paneles preconfigurados en los que puedes analizar y correlacionar datos relevantes al vuelo. Puedes configurar los paneles como más te convenga y crear alertas para recibir notificaciones si se alcanzan ciertos umbrales.

Panel predefinido de Sumo Logic con datos sobre el rendimiento del origen

Compatibilidad con Scalyr

Ahora puedes enviar registros a Scalyr, un proveedor de registros como servicio muy popular entre los clientes.

Formato y control mejorados

Las últimas actualizaciones te dan un mayor nivel de control sobre el envío de registros:

1. Hemos mejorado nuestro sistema de formato, que ahora ofrece compatibilidad total con directivas de registro Apache para aumentar su interoperabilidad con sistemas externos. Todos los documentos y las entradas de blog de terceros relacionados con los registros de Apache ya funcionan con Fastly. Además, el nuevo analizador lo pone mucho más fácil para utilizar formatos de registro estructurados, como CSV y JSON, así como expresiones VCL en las líneas de registro sin necesidad de VCL personalizado.

2. Como ahora puedes modificar el formato de los mensajes enviados, la interacción con terceros no supondrá ninguna dificultad. Antes se enviaban los mensajes de registro en un formato estándar de syslog con prefijo, tal y como se define en el documento RFC 3164. Aquí tienes un ejemplo:

   <134>2016-07-04T22:37:26Z cache-sjc3128 LogTest[62959]: <your log message>

   En cambio, ahora puedes elegir entre varios formatos de prefijo:

   • Classic es el formato predeterminado. Los prefijos de syslog estándar se definen en RFC 3164.

   • Logplex es un formato de syslog con prefijo y una longitud similar a la de Heroku.

   • Blank indica la ausencia de prefijo. Como el mensaje de registro va solo, ahora es posible generar archivos JSON y CSV.

3. También damos la posibilidad de personalizar la marca de tiempo que se incluye cuando escribimos archivos de registro en puntos de conexión como S3, GCS y FTP. De forma predeterminada, añadimos la hora en la que se crea el registro en formato ISO 8601. Por ejemplo, 2017-02-10T19:55:42.000.

   Dicho esto, existe la posibilidad de que necesites una marca de tiempo en un formato diferente, dado que Amazon Elastic MapReduce y otros servicios pueden dar problemas con los nombres de archivo que incluyen dos puntos. Ahora puedes configurar la marca de tiempo para que se muestre en el formato estándar strftime. Aquí tienes acceso a una útil herramienta online en la que puedes experimentar con el formato hasta dar con el que mejor se ajuste a tus necesidades.

4. Nuestros registros pueden mostrar prácticamente cualquier dato presente en una petición o la cabecera de la respuesta, como la dirección IP del cliente, la marca de tiempo, el tipo de petición, la URL de la petición y el código de estado HTTP. Hemos escrito extensiones de VCL que contienen:

   • Variables de fecha y hora con datos que aportan aún más flexibilidad para trabajar con fechas y horas.

   • Variables relacionadas con el tamaño que permiten añadir el tamaño de las peticiones y las respuestas a los registros, lo que incluye un desglose con el tamaño de la cabecera y el cuerpo.

   • Variables relacionadas con la geolocalización que muestran una serie de valores basados en la ubicación geográfica, como el continente, el país y la ciudad asociados a la dirección IP del cliente, así como la región y la ubicación del POP (por ejemplo, la ciudad) del centro de datos por el que pasan las peticiones.

A tu manera

Gracias al mayor control de todos los aspectos que intervienen en la creación de líneas de registro, los clientes lo tendrán más fácil para conectarse a servicios de registro que Fastly no admite de forma nativa.

Por ejemplo, si alguien quiere conectarse a LogDNA, puede usar el conector de syslog genérico y configurar tanto el nombre del host como el certificado TLS por su cuenta. Hemos documentado el proceso en esta guía del envío de registros.

Por poner un ejemplo más complicado, sería posible enviar archivos a Loggly (si Fastly no fuera compatible) haciendo lo que se indica a continuación.

1. Configurar el nombre del host como logs-01.loggly.com

2. Configurar el puerto como 6514

3. Configurar TLS como yes

4. Configurar el tipo de mensaje como blank

5. Recibir el token de Loggly

6. Configurar el formato como <134>1 %{"%Y-%m-%dT%T%z"}t %{server.datacenter}V <log name> - - [<token>@41058 tag="fastly" tag="otra etiqueta"] <rest of format>

Expliquemos esta última parte. Lo que ocurre aquí es que se crea un mensaje de syslog con el formato descrito en RFC 5424, que es el que espera Loggly según su documentación. Insertamos nuestro token en la parte «Structured Data Element» del mensaje junto con el PEN (número de empresa privado), que es 41058, y las etiquetas que hagan falta. El resto del formato representa un mensaje de registro normal y corriente.

Algunos de nuestros clientes han hecho esto mismo para enviar registros a Logz.io y al nuevo producto de registros de Datadog.

Más adelante los añadiremos como objetos de registro de primera clase para dar más facilidades de uso, pero de momento ofrecemos esta flexibilidad de acuerdo con la filosofía de Fastly: permitir a los clientes integrar los sistemas que quieran, tanto si son compatibles con Fastly de manera nativa como si no. También queremos que los clientes puedan llevar a cabo sus propias integraciones con sistemas de registros y análisis basados en HTTP, como es el caso de New Relic Insights.

Seguridad mejorada

Hemos añadido la posibilidad de activar el cifrado en el lado del servidor al escribir en Amazon S3 para reforzar la seguridad de los clientes. Al hacerlo, los archivos de registro que enviamos se cifran a medida que se escriben en el disco para proteger los datos.

Esta funcionalidad es exclusiva para Amazon, pero también hemos incluido compatibilidad con otra similar que te permite entregarnos una clave pública PGP (Pretty Good Privacy, el estándar de cifrado más extendido) para que podamos cifrar todos los archivos de registro que escribamos en tu nombre. Podrás descifrar estos archivos cuando mejor te venga utilizando tu propia clave privada. Esto, por cierto, funciona con cualquier punto de conexión que escriba archivos, como Amazon S3, Google Cloud Storage (GCS) y File Transfer Protocol (FTP).

Con vistas al futuro

Esperamos que estas novedades te ayuden a sacar todo el partido a tus registros y tus datos en tiempo real</u>, además de obtener información práctica acerca de las peticiones y las respuestas. Si quieres saber más sobre los registros en tiempo real de Fastly y descubrir cómo ponerte en marcha, echa un vistazo a esta guía y a este taller sobre registros en el edge que se celebró en Altitude, nuestro evento con clientes en San Francisco. Y, como siempre, si tienes alguna sugerencia relacionada con funcionalidades o proveedores de registros, somos todo oídos.

¡A registrar se ha dicho!