Reducción de costes de infraestructura sin reducir el rendimiento: la migración de Abstract Security a AWS Graviton

Cutting Infrastructure Costs Without Cutting Performance: Abstract Security's Migration to AWS Graviton
Cliente

Abstract Security

Ubicación

Palo Alto, California

Industria

Ciberseguridad

Servicios y tecnología

AWS Graviton Amazon EKS Docker / Imágenes de contenedor ARM64 GitHub Actions Terraform / Infrastructure-as-Code Red Panda (ARM64) ClickHouse (ARM64)

Resumen del proyecto

Abstract Security es una empresa de ciberseguridad cuya plataforma detecta amenazas en tiempo real mediante el procesamiento de datos de seguridad en flujo (antes de que lleguen a un SIEM), lo que reduce la latencia de detección de horas a segundos. Al ejecutar un pipeline de datos de alto rendimiento de hasta 50 terabytes por día, el coste de su huella de computación x86 se había convertido en una consideración material a escala. Abstract Security contrató a Avahi para ejecutar una migración estructurada de su plataforma basada en EKS de procesadores x86 a AWS Graviton, validando que todo su stack, incluidos componentes especializados como Red Panda y ClickHouse, pudiera ejecutarse de forma fiable en la arquitectura ARM con un rendimiento equivalente o superior y un coste menor. La migración se validó con éxito con un rendimiento total de 50 TB/día, posicionando a Graviton como la recomendación de arquitectura estándar en toda la infraestructura de Abstract Security y en toda su base de clientes.

Acerca del cliente

Abstract Security es una empresa de ciberseguridad con sede en Palo Alto que tiene la misión de detectar y detener a los adversarios transformando la forma en que se gestionan y analizan los datos de seguridad en tiempo real. Su plataforma ejecuta la detección de amenazas en flujo —antes de que los datos lleguen a un SIEM o a una capa de almacenamiento—, comprimiendo la latencia de detección de horas a segundos. Para ofrecer esa capacidad a escala empresarial, Abstract Security opera una infraestructura de alto rendimiento que procesa hasta 50 terabytes de datos al día, ejecutando aproximadamente 20 instancias en un clúster EKS para pruebas de escala de prospectos junto con clústeres multiinquilino desplegados en AWS, GCP y Azure para entornos de clientes.

El problema

A medida que la plataforma de Abstract Security crecía, el coste de mantener su huella de computación en la infraestructura x86 se volvió cada vez más difícil de ignorar. Los procesadores AWS Graviton, basados en ARM y diseñados específicamente para ofrecer eficiencia en la relación precio-rendimiento, presentaban una vía potencial para una reducción significativa de costes. Pero para una plataforma donde el rendimiento no es opcional, la cuestión no era simplemente si Graviton era más barato. Se trataba de si Graviton podría mantener el rendimiento que exige su arquitectura de detección en tiempo real, sin introducir riesgos en el pipeline de datos del que dependen sus clientes.

El desafío se vio agravado por la composición de su stack. La plataforma de Abstract Security incluye no solo servicios propios en Golang, Python y Java, sino también componentes especializados de terceros: Red Panda, una plataforma de datos en streaming de alto rendimiento, y ClickHouse, una base de datos columnar central para su pipeline de analítica. A diferencia del código de aplicación que normalmente puede recompilarse para ARM64, las plataformas de terceros pueden carecer de versiones compatibles con ARM, conllevar requisitos de configuración no documentados o presentar regresiones de rendimiento en ARM. Para un pipeline de 50 TB/día, una brecha de compatibilidad en cualquiera de los componentes no era un inconveniente menor. Invalidaría todo el esfuerzo.

Abstract Security necesitaba una respuesta estructurada y validada a dos preguntas específicas: ¿podría todo el stack de su plataforma ejecutarse de forma fiable en Graviton y podría hacerlo con un rendimiento equivalente o superior al de su base de referencia x86? La respuesta determinaría la viabilidad de Graviton no solo para su propia infraestructura, sino como una recomendación de arquitectura estándar que podrían extender con confianza a toda su base de clientes.

Por qué AWS

La infraestructura de Abstract Security ya estaba profundamente arraigada en AWS, con Amazon EKS como base para sus cargas de trabajo contenedorizadas. AWS Graviton era la evolución natural de esa arquitectura existente, ofreciendo computación basada en ARM dentro del mismo entorno EKS, gestionada a través de los mismos flujos de trabajo de Terraform, sin requerir un cambio de plataforma o una migración de nube.

Más allá de la continuidad arquitectónica, AWS Graviton está diseñado específicamente para el tipo de computación sostenida y de alto rendimiento que requiere Abstract Security. AWS ha posicionado a Graviton como su procesador recomendado para nuevas cargas de trabajo basándose en las ventajas demostradas de precio-rendimiento en una amplia gama de casos de uso intensivos en computación, lo que lo convierte en un objetivo bien respaldado y estratégicamente sólido para una plataforma de datos intensiva que opera a la escala de Abstract Security.

Por qué Abstract Security eligió a Avahi

Avahi es un socio de AWS de nivel Premier con experiencia demostrada en infraestructura contenedorizada, arquitectura EKS y migraciones de cargas de trabajo complejas. Abstract Security necesitaba algo más que un equipo que entendiera Graviton en teoría. Necesitaban un socio que pudiera ejecutar una migración técnicamente rigurosa frente a un stack que incluía componentes especializados de terceros de alto rendimiento sin margen para sorpresas a mitad de la ejecución.

El enfoque de Avahi para el proyecto se definió mediante una evaluación de compatibilidad de múltiples capas durante la fase de Descubrimiento, evaluando simultáneamente no solo el código de la aplicación, sino también los pipelines de compilación, los flujos de trabajo de GitHub Actions, las compilaciones de contenedores Docker, los requisitos binarios específicos de ARM y la compatibilidad de dependencias de terceros, antes de aprovisionar una sola línea de infraestructura. Esta inversión inicial en claridad eliminó el modo de fallo más común en las migraciones de arquitectura: descubrir a mitad de la ejecución que una dependencia crítica carece de una versión compatible con ARM64. Para Abstract Security, donde Red Panda y ClickHouse son componentes de carga de un pipeline de 50 TB/día, ese tipo de bloqueador a mitad de la migración habría descarrilado el proyecto por completo.

Al resolver cada cuestión de compatibilidad en el Descubrimiento, Avahi pudo entrar en la fase de Ejecución con una cadena de dependencias totalmente mapeada y un camino claro hacia la finalización, reduciendo el riesgo, acelerando la entrega y garantizando que los resultados de la validación fueran definitivos en lugar de condicionados.

Solución

Avahi ejecutó la migración a través de tres fases estructuradas, diseñadas para resolver los riesgos de antemano y garantizar que la validación final fuera tanto exhaustiva como creíble.

  • Fase 1 – Descubrimiento y planificación: Avahi realizó una revisión exhaustiva de la arquitectura del clúster EKS existente de Abstract Security, catalogando todos los componentes destinados a la migración a ARM: servicios en Golang, aplicaciones en Python y Java, Red Panda y ClickHouse. Fundamentalmente, la evaluación se extendió más allá del código de la aplicación para cubrir los pipelines de compilación, los flujos de trabajo de GitHub Actions, las compilaciones de contenedores Docker y la compatibilidad de binarios específicos de ARM y dependencias de terceros. A partir de esta evaluación, Avahi desarrolló un plan de ejecución detallado que cubría la configuración del pipeline de compilación ARM, las tareas de migración de contenedores, los procedimientos de prueba y el mapa completo de dependencias de despliegue, con todos los bloqueadores de compatibilidad identificados y resueltos antes de que comenzara la ejecución.
  • Fase 2 – Ejecución: Con un mapa de dependencias totalmente resuelto, Avahi creó contenedores Docker compatibles con ARM para todos los servicios incluidos en el alcance utilizando trabajos independientes de GitHub Actions, modificando los flujos de trabajo de CI/CD existentes para admitir compilaciones ARM64 sin requerir un rediseño completo del pipeline. Se aprovisionó un nuevo clúster EKS en instancias Graviton con recursos de CPU y memoria equivalentes a la base de referencia x86, lo que permitió una comparación directa de rendimiento. Red Panda y ClickHouse se migraron cada uno a sus versiones compatibles con ARM64 y se configuraron dentro del entorno Graviton. A continuación, se desplegó el stack completo de aplicaciones y se sometió a pruebas iterativas y depuración para resolver cualquier problema restante de compatibilidad con ARM.
  • Fase 3 – Transición y validación: Con el stack completo desplegado y estable en Graviton, Avahi coordinó pruebas de carga exhaustivas utilizando las herramientas de generación de carga existentes de Abstract Security para validar la capacidad de procesamiento de 50 TB/día en la nueva infraestructura. Se recopilaron datos de evaluación comparativa de rendimiento y se elaboró un análisis de costes detallado comparando Graviton con la base de referencia x86, proporcionando la evidencia cuantitativa que Abstract Security necesitaba para tomar una decisión de infraestructura segura y respaldada por datos.

Resultados clave

  • Clúster EKS aprovisionado en instancias AWS Graviton con todas las aplicaciones desplegadas y validadas
  • Imágenes de contenedor compatibles con ARM creadas y verificadas para todos los servicios incluidos en el alcance
  • Versiones compatibles con ARM64 de Red Panda y ClickHouse migradas y configuradas
  • Flujos de trabajo de GitHub Actions actualizados que admiten compilaciones ARM dentro del pipeline de CI/CD existente
  • Configuraciones de Terraform e IaC actualizadas y confirmadas en los repositorios de Abstract Security
  • Resultados de las pruebas de carga que validan un rendimiento de 50 TB/día en la infraestructura Graviton
  • Análisis de costes detallado comparando la infraestructura Graviton frente a la x86

Impacto del proyecto

La migración validó que el stack completo de la plataforma de Abstract Security, incluidos Red Panda y ClickHouse, se ejecuta de forma fiable en AWS Graviton con el rendimiento total de producción. El entorno Graviton mantuvo el requisito de procesamiento de 50 TB/día con un rendimiento equivalente a la base de referencia x86, al tiempo que ofreció una reducción de costes medible a esa escala de computación. Abstract Security dispone ahora de la base de evidencias para adoptar Graviton como una recomendación de arquitectura estándar en su propia infraestructura y para aplicar el mismo marco de migración de forma sistemática en los entornos de sus clientes.

El marco de migración reutilizable de Avahi —evaluación de compatibilidad en código, pipelines y dependencias; creación de flujos de trabajo de compilación ARM; aprovisionamiento de clústeres adaptados al entorno; y evaluación comparativa de rendimiento validada por carga— posiciona a Abstract Security para ampliar estas ganancias de forma generalizada en lugar de tratar esto como un esfuerzo puntual.

  • 50 TB/día de rendimiento validado en infraestructura Graviton con un rendimiento equivalente a x86
  • ~20 instancias de EKS migradas con éxito de x86 a Graviton
  • 100% de los servicios incluidos —incluidos Red Panda y ClickHouse— ejecutándose en ARM64
  • 0 bloqueadores a mitad de la ejecución gracias a la evaluación de compatibilidad anticipada en el Descubrimiento
  • Graviton establecido ahora como la recomendación de arquitectura estándar para la base de clientes de Abstract Security

¿Listo para transformar su negocio con la IA?

Exploremos juntos sus oportunidades de IA de alto impacto en una sesión gratuita