Sanas
Palo Alto, CA
Desarrollo de software, IA, Comunicaciones.
AWS Lambda, AWS MySQL, AWS S3. AWS ECR, AWS Cloudfront, AWS EC2.
Para migrar una infraestructura en la nube que respalda los modelos de datos de tecnología de traducción impulsada por IA desde Microsoft Azure a Amazon Web Services (AWS) y transferir 150 millones de archivos de base de datos, Sanas recurrió a Avahi Technologies. Avahi diseñó e implementó una arquitectura de aplicaciones con recursos informáticos que proporcionan una escalabilidad, fiabilidad y seguridad mejoradas para las cargas de trabajo de entrenamiento de modelos de datos. Avahi también completó la migración en una semana, un 50% más rápido de lo previsto.
Gracias al diseño de la arquitectura de Avahi, el entrenamiento de modelos de datos se ejecuta de manera eficiente en AWS, y el entorno puede escalarse rápidamente a medida que aumenta la demanda de carga de trabajo. Aún más importante, dado que Sanas aprovecha el entorno para entrenar y entregar modelos de datos eficaces a los dispositivos de los usuarios, los clientes disfrutan de excelentes experiencias cada vez que interactúan con la tecnología de traducción.
Sanas está rompiendo las barreras de la colaboración, una conversación a la vez, con el poder de la traducción de acento en tiempo real y sin esfuerzo. La tecnología revoluciona las discusiones al dar a los hablantes multilingües una opción en lo que respecta a cómo se comunican. Las soluciones de Sanas empoderan a las personas, promueven la igualdad y profundizan la empatía para ayudar a la empresa a lograr su misión de mejorar vidas al expandir los horizontes de lo que es posible con la voz de cada persona.
Desafío del cliente: mejorar la escalabilidad y la fiabilidad de la infraestructura de modelado de datos
Como empresa emergente, Sanas había diseñado e implementado previamente la infraestructura para respaldar sus modelos de datos de traducción en varias plataformas en la nube para probar qué servicio funcionaría mejor y operaría de manera rentable. Estos incluían Amazon Web Services (AWS), Microsoft Azure y Google Cloud Platform. A medida que la actividad del cliente aumentaba, el equipo de liderazgo se dio cuenta de que los modelos de aprendizaje automático que permiten que los servicios de traducción funcionen correctamente en los dispositivos de los clientes requerían un alto nivel de potencia informática, particularmente para las GPU (unidades de procesamiento de gráficos) del servidor.
“Necesitamos asegurarnos de que nuestros horarios para entrenar los modelos de datos se cumplan a tiempo”, dice Shawn Zhang, el CTO de Sanas. “Esto nos permite refinar los modelos más rápido para mejorar los servicios de traducción que implementamos en los dispositivos de los clientes”.
Además de mejorar la escalabilidad de los recursos informáticos, Sanas quería aumentar la fiabilidad de su entorno en la nube para que el entrenamiento de modelos de datos nunca se interrumpiera. Otro requisito clave era la seguridad. Donde los clientes utilizan el servicio para grabar sus voces, el equipo de liderazgo quería asegurarse de que los archivos de voz nunca pudieran ser manipulados por otra persona.
Al sentir que sería necesaria una migración de Microsoft Azure a un nuevo entorno para cumplir con los requisitos de escalabilidad, fiabilidad y seguridad, el equipo de liderazgo de Sanas sabía que un gran desafío sería el tamaño de los almacenes de datos conectados a sus bases de datos Microsoft SQL y PostgreSQL. Los almacenes de datos contenían 150 millones de archivos; moverlos rápidamente sería primordial para evitar interrumpir el entrenamiento de modelos de datos.
Solución del socio: Avahi proporciona la arquitectura en la nube y la experiencia en migración necesarias
Para resolver estos desafíos, Sanas identificó a Amazon Web Services (AWS) como el entorno ideal para su infraestructura en la nube. “Elegimos AWS para asegurarnos de que no enfrentaríamos ninguna limitación en la escalabilidad de nuestros recursos informáticos a medida que activábamos máquinas virtuales”, dice Zhang. “También queríamos eliminar cualquier problema en términos de disponibilidad de recursos, y sabíamos que AWS podía cumplir con estos requisitos. También ofrecen un sólido soporte en términos de conocimiento técnico y brindan la capacidad de conectarse directamente con su equipo; siempre responden”.
AWS recomendó que Sanas aprovechara el Programa de Aceleración de Migración (MAP) de AWS, que se basa en la migración de miles de clientes a la nube. MAP agiliza las migraciones a la nube con una metodología impulsada por resultados que reduce los costos y automatiza el proceso de migración.
Como parte del programa MAP, AWS aconseja a los clientes que trabajen con un socio de AWS y, en este caso, AWS refirió a Sanas a Avahi Technologies, que se especializa en la implementación de soluciones de AWS para empresas emergentes. Avahi proporcionó a Sanas expertos en la nube para ayudar con el diseño del entorno de AWS y la migración desde Microsoft Azure.
“La asociación con Avahi fue clave porque no queríamos desviar a nuestros desarrolladores de software de sus responsabilidades principales”, señala Zhang. “También quedamos impresionados con el conocimiento de AWS de sus arquitectos de soluciones; han manejado muchos diseños y migraciones de AWS. El equipo de alta dirección
de Avahi también se reunió con nosotros cara a cara. Todos estos factores nos dieron la confianza de que Avahi podría completar la migración rápidamente para que pudiéramos realizar todas nuestras pruebas de modelos de entrenamiento en un entorno en la nube”.
Usando Terraform, Avahi creó una arquitectura de infraestructura como código. Avahi también diseñó un clúster de Amazon Elastic Container Service (ECS) para alojar las bases de datos SQL y PostgreSQL que comunican la información del modelo de datos a los dispositivos de los clientes a través de la mensajería de Amazon Simple Queue Service (SQS) y una puerta de enlace de Internet adjunta a un servidor bastión, que proporciona acceso seguro a una red privada, como se muestra en la imagen a continuación:
Resultados y beneficios: tiempo de transferencia de archivos reducido y entrenamiento de modelos de datos optimizado
Para mejorar la fiabilidad de las interacciones entre los servicios de traducción y los modelos de datos, Avahi implementó una red de entrega de contenido de Amazon CloudFront en múltiples zonas de disponibilidad. Avahi también implementó Amazon CloudWatch para permitir que Sanas supervise el rendimiento de los recursos informáticos y las aplicaciones y, si es necesario, redirija a los usuarios a una zona de disponibilidad diferente.
Para agilizar la migración de los 150 millones de archivos junto con los esquemas de base de datos y los datos al almacenamiento de bloques de AWS S3, Avahi primero realizó una prueba piloto de unos pocos millones de archivos, utilizando AWS DataSync. La prueba confirmó que era mejor migrar subconjuntos más pequeños de los archivos (a nivel de carpeta) para acelerar el proceso. Avahi luego configuró cuatro agentes que se ejecutaron simultáneamente para manejar diferentes servicios web y completó la migración en una semana. Esto redujo el tiempo de migración en un 50% en comparación con lo que Sanas esperaba.
“La migración se realizó sin problemas”, dice Zhang. “Una vez que verificamos que el modelo de entrenamiento funcionaba correctamente en AWS, cerramos nuestro entorno en la nube anterior y comenzamos a realizar todo el entrenamiento del modelo en AWS. Avahi también fue útil con tareas que estaban fuera del alcance del proyecto, como
organizar la base de código del modelo de datos”.
Además de una infraestructura fiable que puede escalar rápidamente los recursos de la máquina virtual para respaldar los modelos de entrenamiento, la infraestructura de AWS diseñada por Avahi ha ayudado a Sanas a refactorizar sus canalizaciones de datos en términos de cuán eficazmente las herramientas de base de datos recopilan, filtran, procesan, validan y almacenan datos. Con la infraestructura ahora implementada en la plataforma en la nube de AWS, las GPU cumplen plenamente con los requisitos de aprendizaje automático de la tecnología de traducción, gracias a los procesadores avanzados que proporciona AWS.
Sanas también logró sus objetivos de seguridad. Lo más importante es que, con el entrenamiento de modelos de datos ejecutándose de manera eficiente, los clientes de Sanas pueden confiar en una gran experiencia cada vez que interactúan con la tecnología de traducción. “También nos beneficiamos de la rapidez con la que Avahi completó este proyecto”, agrega Zhang. “Esto nos permitió conectar el entorno de modelado de datos a una nueva plataforma de operaciones de aprendizaje automático que estábamos construyendo en AWS para automatizar los flujos de trabajo de producción y rastrear nuestro entrenamiento de modelos y las entregas de modelos. Este sistema puede ayudarnos a expandir nuestros mercados y requiere que los datos del cliente sean procesados por la arquitectura de modelado de datos
”.
Mirando hacia atrás en el compromiso con Avahi, Zhang aprecia que se sintiera cómodo con Avahi desde el principio, particularmente con la sólida recomendación de AWS. Esto permitió a Zhang y a su equipo evitar dedicar tiempo a examinar a otros socios potenciales. “Al igual que AWS, Avahi brinda mucho apoyo y siempre responde rápidamente; es útil trabajar con dos socios que están sincronizados”, dice Zhang. “Avahi se mueve rápido, es agradable trabajar con ellos y tienen sólidas habilidades de comunicación. Traen equipos técnicos sólidos y eliminan el dolor de cabeza de tratar de contratar y capacitar recursos que solo podríamos necesitar por un corto período de tiempo; Avahi es un gran socio para trabajar”.
Fundador, bravo foxtrot
