Próximo evento: El marco de implementación de agentes de IA

JMARK restaura una interrupción de datos de varios meses con un pipeline de análisis de AWS de nivel de producción en cuatro semanas

Cliente

JMARK Business Solutions

Ubicación

Springfield, MO

Industria

Servicios gestionados de TI (MSP)

Servicios y tecnología

EventBridge · AWS Lambda · AWS Step Functions · Amazon SNS · Amazon CloudWatch · AWS Transfer Family · AWS IAM Identity Center · AWS Secrets Manager · Amazon DynamoDB · Amazon Athena · Amazon ECS Fargate

Resumen del proyecto

JMARK es un proveedor líder de servicios gestionados de TI que atiende a empresas en más de 40 estados desde su sede central en Springfield, Misuri. Cuando el pipeline de datos principal de la compañía dejó de funcionar en diciembre de 2025, dejando las bases de datos operacionales desconectadas de los sistemas de análisis durante casi tres meses, JMARK necesitaba una solución urgente y segura para producción. Avahi diseñó y entregó una plataforma integral de análisis de datos nativa de AWS en tan solo cuatro semanas, restaurando el flujo de datos a través de múltiples sistemas de origen e integrándolos en una zona raw unificada de Amazon S3. El resultado fue un pipeline automatizado de nivel de producción que transformó la actualización de datos de JMARK de meses de antigüedad a casi tiempo real.

Acerca del cliente

Fundada en 1988 y con sede central en Springfield, Misuri, JMARK es uno de los principales proveedores de servicios gestionados de TI en Estados Unidos, clasificada en el 10 % superior de MSP a nivel nacional. Con un equipo de más de 115 profesionales y clientes en más de 40 estados, JMARK ofrece servicios de TI totalmente gestionados que incluyen soporte 24/7, ciberseguridad, infraestructura de red, cumplimiento normativo y recuperación ante desastres. La compañía opera una sofisticada pila tecnológica interna, gestionando un gran conjunto de datos multiorigen que abarca bases de datos SQL Server y MySQL, herramientas conectadas por API como IT Glue y Auvik para documentación y monitorización de red, y flujos de trabajo de datos manuales basados en archivos. A medida que JMARK escala, convertir ese conjunto de datos en inteligencia empresarial procesable se ha convertido en un elemento central de su estrategia operativa.

El problema

En diciembre de 2025, el pipeline de captura de datos de cambios (CDC) de JMARK dejó de funcionar, interrumpiendo el flujo de datos desde las bases de datos operacionales hasta su infraestructura de análisis. Durante casi tres meses, los sistemas de inteligencia empresarial y generación de informes funcionaron con datos obsoletos, perjudicando la toma de decisiones en toda la organización. El conjunto de datos afectado era considerable: una instancia de Microsoft SQL Server con cientos de tablas, una base de datos MySQL con más de 800 tablas e integraciones de API con IT Glue y Auvik, cada una con diferentes cadencias de datos y requisitos operativos.

El camino hacia la resolución se complicó aún más cuando JMARK descartó la replicación nativa de SQL Server debido a preocupaciones sobre la estabilidad de producción. Esa decisión eliminó el enfoque CDC más directo y requirió que Avahi diseñara una solución personalizada desde cero, capaz de manejar tablas de alto volumen, incluidas aquellas con millones de registros, sin desencadenar recargas completas ni interrumpir los sistemas en producción.

El proyecto tenía una fecha límite estricta de aprobación el 31 de marzo de 2026, sin margen para retrasos. El primer día del proyecto, una interrupción de personal amenazó los plazos antes de que el desarrollo hubiera comenzado siquiera. JMARK necesitaba un socio que pudiera moverse rápido, adaptarse bajo presión y entregar una solución construida para perdurar.

Por qué AWS

JMARK ya operaba dentro de un entorno AWS y tenía un compromiso existente con la plataforma a través del programa de aceleración de migración de AWS (MAP). AWS ofrecía la amplitud de servicios de datos gestionados, desde Database Migration Service y Glue hasta EventBridge, Step Functions y Transfer Family, que JMARK necesitaba para construir un pipeline fiable y escalable sin añadir sobrecarga operativa a su equipo. La naturaleza serverless y gestionada de estos servicios se alineaba directamente con el objetivo de JMARK de minimizar el riesgo de producción mientras se maximizaba la automatización y la observabilidad.

La integración nativa de servicios de AWS también permitió a Avahi diseñar un pipeline modular donde las fuentes de datos, los calendarios de actualización y la lógica de recuperación ante fallos podían ajustarse sin cambios de código, proporcionando al equipo técnico de JMARK la flexibilidad para gestionar y evolucionar el sistema mucho después de que finalizara el proyecto.

Por qué JMARK eligió a Avahi

Como socio consultor de AWS con profunda experiencia en ingeniería de datos y arquitectura nativa de la nube, Avahi estaba bien posicionado para asumir un proyecto con restricciones estrictas y tolerancia cero al riesgo de producción. JMARK necesitaba un socio que comprendiera no solo qué servicios de AWS utilizar, sino cómo secuenciarlos de manera inteligente bajo presión operativa real, y que pudiera tomar decisiones arquitectónicas sólidas con rapidez.

Avahi demostró exactamente eso a lo largo del proyecto. El equipo navegó cuatro cambios arquitectónicos importantes, de Redshift a S3, de DMS Serverless a instancias DMS, de Lambda a Glue, y de CDC nativo a una estrategia de recarga programada, sin retrasar el cronograma del proyecto. Cada cambio fue impulsado por restricciones descubiertas durante la implementación, y cada uno requirió un rediseño rápido que se mantuvo. Para JMARK, esa capacidad de adaptarse sin perder impulso fue precisamente lo que el proyecto requería.

Solución

Avahi entregó un pipeline de análisis de datos nativo de AWS de extremo a extremo en cuatro semanas, utilizando Amazon S3 como zona raw jerárquica organizada por fuente de datos, esquema y entidad, con políticas de ciclo de vida automatizadas para almacenamiento a largo plazo optimizado en costes. Los datos de SQL Server y MySQL fluyeron a través de AWS Database Migration Service (DMS), mientras que las integraciones de IT Glue y Auvik se gestionaron mediante trabajos de AWS Glue. Las cargas manuales de archivos del personal de JMARK se conectaron a través de AWS Transfer Family, aseguradas con IAM Identity Center integrado con el Active Directory existente de JMARK mediante SSO, sin necesidad de gestión de credenciales independiente.

Dado que JMARK rechazó la replicación nativa de SQL Server, Avahi diseñó una estrategia híbrida de recarga programada. Las tablas más pequeñas utilizaron reglas cron de Amazon EventBridge para activar trabajos de eliminación y recarga mediante Lambda y DMS, mientras que docenas de tablas grandes, incluidas aquellas con millones de registros, utilizaron lógica de adición incremental basada en columnas de marca de tiempo para evitar costosas recargas completas. Los calendarios y controles de activación/desactivación eran totalmente configurables desde la consola de AWS sin tocar código, proporcionando al equipo de JMARK flexibilidad operativa desde el primer día.

Para MySQL, DMS gestionó la carga completa más la replicación continua, logrando sincronización de datos casi en tiempo real. Una función Lambda de verificación sondeaba continuamente el estado de la tarea de replicación y reiniciaba automáticamente las tareas fallidas, una capacidad demostrada durante el proyecto cuando una interrupción del servidor MySQL causó una interrupción de replicación y el pipeline se recuperó automáticamente sin intervención manual.

Las integraciones de API para IT Glue y Auvik se construyeron como trabajos de AWS Glue de nivel de producción con gestión de paginación, limitación de velocidad y autenticación mediante AWS Secrets Manager. La integración de Auvik se ejecutó como una orquestación de AWS Step Functions con lógica de reintento y alertas de fallo de Amazon SNS en calendarios de actualización automatizados. Los datos de IT Glue se ingirieron diariamente mediante tareas de Amazon ECS Fargate, con Amazon DynamoDB rastreando metadatos de procesamiento para observabilidad del pipeline y extensibilidad futura de alertas.

La validación de datos se realizó mediante trabajos de shell de Python de AWS Glue, que escalaron para perfilar el conjunto completo de datos de 2.416 tablas después de que las funciones Lambda agotaran el tiempo de espera en la misma carga de trabajo. Se generaron estadísticas de reconciliación que comparaban los recuentos de filas de origen con los recuentos de S3 y se compartieron con JMARK, confirmando la integridad de los datos en todas las fuentes migradas. Toda la infraestructura se etiquetó para el cumplimiento del programa MAP, el código se transfirió al repositorio de GitHub de JMARK mediante pull requests, y se realizaron múltiples sesiones de transferencia de conocimiento con el responsable técnico de JMARK para permitir la operación y el mantenimiento independientes después de que finalizara el proyecto.

Resultados clave

  • Pipeline CDC restaurado para una instancia de Microsoft SQL Server con cientos de tablas, utilizando un enfoque híbrido de recarga programada EventBridge + DMS (estrategias de tablas grandes y ligeras)
  • Replicación MySQL casi en tiempo real mediante DMS con recuperación automática ante fallos mediante función Lambda de verificación
  • Integración de API de IT Glue: ingesta diaria mediante AWS Glue y ECS Fargate con metadatos de procesamiento en DynamoDB
  • Integración de API de Auvik: calendarios de actualización automatizados mediante AWS Glue y Step Functions con lógica de reintento y alertas SNS
  • Pipeline seguro de carga manual de archivos mediante AWS Transfer Family con IAM Identity Center / SSO de Active Directory
  • Zona raw jerárquica de S3 con políticas de ciclo de vida automatizadas para almacenamiento a largo plazo optimizado en costes
  • Informe de validación de datos: reconciliación de recuento de filas en 2.416 tablas confirmando la integridad de datos en todas las fuentes
  • Diagrama de arquitectura completo que documenta el flujo de datos de la solución completa
  • Transferencia del repositorio de código al GitHub de JMARK con pull requests para revisión del equipo
  • Configuración incorrecta del grupo de seguridad de VPC identificada y corregida durante la revisión de infraestructura
  • Etiquetado de recursos conforme a MAP en toda la infraestructura de AWS aprovisionada

Impacto del proyecto

Avahi entregó un pipeline de análisis de datos completo de nivel de producción en cuatro semanas, cumpliendo la fecha límite del 31 de marzo con tiempo de sobra, a pesar de una interrupción de personal el primer día y cuatro cambios arquitectónicos importantes durante la entrega. La infraestructura de datos de JMARK pasó de un estancamiento de varios meses a una base de análisis multiorigen que se actualiza continuamente con recuperación automática ante fallos y observabilidad de extremo a extremo.

Con todas las rutas de datos validadas y cero eventos en la cola de mensajes fallidos al finalizar el proyecto, el equipo de análisis de JMARK obtuvo acceso fiable a datos actuales en todas las fuentes integradas, sentando las bases para la toma de decisiones basada en datos a escala.

  • Pipeline restaurado: totalmente operativo el 19 de marzo de 2026, tras una interrupción de casi 3 meses (diciembre de 2025 – febrero de 2026)
  • Cadencias de actualización de datos logradas: diaria para IT Glue; calendarios automatizados para Auvik; recarga programada semanal/quincenal para SQL Server; replicación casi en tiempo real para MySQL
  • Escala: cientos de tablas de SQL Server y más de 800 tablas de MySQL, además de API de IT Glue y Auvik y cargas manuales de archivos, unificadas en una única zona raw de S3
  • 2.416 tablas perfiladas: la reconciliación de recuento de filas confirmó la integridad de datos en todas las fuentes migradas
  • Entregado en 4 semanas: del 25 de febrero al 19 de marzo de 2026, con fecha límite estricta del 31 de marzo

¿Listo para transformar su negocio con la IA?

Exploremos juntos sus oportunidades de IA de alto impacto en una sesión gratuita