Precisión de clasificación de intención en el conjunto de pruebas oculto del cliente
Se necesitaba monitorización manual para detectar casos que llegaban a través de redes sociales
Comentarios y mensajes directos de Facebook, Instagram y X en un único pipeline
Civic Group Inc.
Nueva York, NY
GovTech
AWS Lambda, Amazon Bedrock (Anthropic Claude Haiku 4.5), Amazon DynamoDB, Amazon SQS, Amazon EventBridge, AWS Secrets Manager, Amazon CloudWatch, AWS CDK
Civic desarrolla Revere, una plataforma de gestión de relaciones con constituyentes para oficinas del Congreso y legislativas. Revere ya capturaba correo electrónico, formularios web, teléfono y correo postal, pero los comentarios, respuestas y mensajes directos de los constituyentes en redes sociales quedaban completamente fuera del sistema, obligando al personal a vigilar las notificaciones manualmente. Avahi creó y desplegó en AWS un pipeline serverless de ingesta y triaje que se conecta a las cuentas sociales oficiales de un miembro, clasifica cada mensaje entrante por intención mediante un modelo fundacional en Amazon Bedrock, enruta los casos reales al equipo adecuado con trazabilidad completa y expone APIs para las respuestas del personal y para que Revere extraiga los registros clasificados. Frente a un umbral contractual del 85 %, el clasificador obtuvo un 94 % en un conjunto de pruebas independiente que el cliente retuvo hasta las pruebas de aceptación.
Civic Group Inc. desarrolla Revere, una plataforma de gestión de relaciones con constituyentes diseñada específicamente para oficinas del Congreso y legislativas, sustituyendo sistemas heredados con décadas de antigüedad. Revere está concebida para ser el único sistema de registro de referencia para la comunicación con constituyentes, cubriendo la correspondencia, la gestión de casos y el historial de contactos que una oficina del Congreso gestiona a diario. Sus usuarios son los responsables de correspondencia legislativa y los gestores de casos que responden a los constituyentes en nombre de un miembro, lo que sitúa a Civic en un mercado govtech donde las expectativas de seguridad las marcan las instituciones en las que trabajan sus clientes.
Cada vez más, los constituyentes se comunican con sus representantes del mismo modo que con cualquier otra persona: comentando una publicación o enviando un mensaje directo. Una oficina del Congreso puede recibir un reclamo de beneficios para veteranos estancado, un retraso de pasaporte, una opinión sobre un proyecto de ley pendiente, la pregunta de un periodista y un mensaje abusivo, todo en el mismo hilo de comentarios bajo la misma publicación.
Nada de ese tráfico llegaba a Revere. El personal tenía que monitorear por su cuenta las notificaciones de las plataformas, juzgar qué importaba y volver a teclear en el CRM todo lo que fuera accionable. El volumen hacía que eso fuera poco confiable en la práctica. Era fácil pasar por alto una solicitud de gestión de casos enterrada bajo decenas de opiniones de política pública, y un mensaje perdido nunca entraba al sistema que registra si la oficina respondió o no.
El costo de dejar esto sin resolver recaía en dos frentes. Los constituyentes con problemas reales quedaban sin ayuda porque eligieron el canal equivocado para pedirla, que es exactamente el tipo de falla que un sistema de gestión de casos existe para evitar. Y la promesa central de Civic —un registro completo de cada interacción con constituyentes— tenía un hueco creciente. La seguridad también era un factor: los mensajes amenazantes deben llegar rápido a una persona, y la monitorización manual no ofrecía ninguna garantía de eso.
Civic ya operaba su plataforma en AWS, así que construir el pipeline allí lo mantuvo dentro de un límite de cuenta y una postura de seguridad que su equipo de ingeniería ya había revisado. Eso importa para una empresa que vende a oficinas del Congreso, donde se espera que la arquitectura se alinee con las expectativas de seguridad de TI de la Cámara de Representantes.
La carga de trabajo también se adapta a componentes serverless administrados. El tráfico social hacia una oficina del Congreso es irregular más que constante: se dispara cuando un miembro publica sobre un proyecto de ley polémico y se apaga durante la noche, así que pagar por capacidad ociosa no tenía sentido. Amazon Bedrock proporcionó el modelo de lenguaje como un servicio administrado, lo que significó no operar hosting del modelo ni mantener un pipeline de entrenamiento, y los servicios de colas, almacenamiento y programación alrededor estaban disponibles en la misma cuenta con el mismo modelo de identidad y logging.
Civic necesitaba un pipeline de ingesta funcional en tres plataformas sociales, un clasificador preciso y un contrato de integración limpio, todo dentro de una ventana de cuatro semanas. Como partner premier-tier de AWS que entrega cargas de trabajo de IA generativa, Avahi pudo pasar directo a construir sin una fase de discovery, y ya había completado un engagement anterior para Civic, por lo que la relación de trabajo y el contexto de la plataforma ya estaban establecidos.
El modelo de entrega también encajaba con la forma en que Civic quería trabajar. Los propios ingenieros de Civic son dueños de Revere y de su interfaz para el personal, así que querían un servicio backend con un contrato de API documentado y propiedad completa del código, en lugar de una dependencia prolongada de un equipo externo. Avahi acotó el engagement exactamente a ese límite: Avahi construyó la ingesta, la clasificación, el enrutamiento y la capa de API, y el equipo de Civic mantuvo las partes del producto que sus ingenieros ya poseían.
Avahi entregó un pipeline serverless y orientado a eventos en AWS, construido alrededor de un diseño de puertos y adaptadores para que cada dependencia externa quede detrás de una interfaz con una implementación tanto en vivo como offline. El beneficio práctico es que el mismo código corre contra una emulación local durante el desarrollo y contra AWS real en la nube, lo que mantuvo al equipo construyendo mientras aún se gestionaban credenciales y aprobaciones de la plataforma.
La ingesta corre por dos rutas, alineadas con lo que admite cada plataforma. Los comentarios y mensajes directos de Facebook e Instagram llegan como eventos de webhook a un punto de entrada público HTTPS, donde cada solicitud se verifica mediante HMAC antes de aceptar cualquier cosa. X no ofrece un acceso equivalente por webhook en los niveles dentro del alcance, así que una función programada consulta las menciones cada cinco minutos. Ambas rutas normalizan el mensaje a una forma común y lo colocan en una cola de Amazon SQS, que separa la recepción de un mensaje de su procesamiento y le da al pipeline una ruta de reintento y una cola de mensajes muertos cuando falla una llamada downstream.
Una función worker consume esa cola y clasifica cada mensaje con Claude Haiku 4.5 de Anthropic en Amazon Bedrock, ordenándolo en una de cinco categorías: Gestión de casos, Política, Consulta de prensa, Feedback y Amenaza/Abuso. La clasificación es zero-shot, sin entrenamiento ni fine-tuning del modelo, así que la taxonomía y sus reglas de frontera viven en el prompt y pueden revisarse sin reentrenar. La distinción más difícil resultó ser entre la crítica hostil al desempeño de una oficina y el abuso genuino dirigido a una persona. Avahi lo resolvió con un principio en lugar de una lista de palabras clave, separando ambos por el objetivo de la hostilidad, lo que elevó el recall en la categoría Amenaza/Abuso de 70 % a 90 % y, como generaliza en lugar de hacer pattern-matching, se sostuvo ante redacciones que el clasificador nunca había visto.
Luego, los mensajes clasificados fluyen por matching, enrutamiento y almacenamiento. El remitente se asocia con un contacto existente del CRM por handle normalizado o se crea un nuevo contacto, para que un constituyente que escribe repetidamente no se duplique. Los elementos de gestión de casos se asignan al equipo correcto mediante una capa de reglas impulsada por configuración y se almacenan con trazabilidad completa, es decir, la plataforma, la publicación de origen, el comentario y un permalink, para que un miembro del personal siempre pueda rastrear un caso hasta el mensaje que lo inició. Todo se persiste en una única tabla de Amazon DynamoDB cuyo diseño de clave hace que la deduplicación sea una búsqueda directa por clave en lugar de un escaneo.
Dos APIs cierran el ciclo. Un endpoint de publicación de respuestas acepta una respuesta redactada por el personal y la publica de vuelta en el hilo de origen, eligiendo entre respuesta a comentario o mensaje directo según cómo haya llegado el mensaje. Una API de hand-off de solo lectura, protegida por una API key y cerrada por defecto cuando no hay una key configurada, permite que Revere extraiga los registros de gestión de casos clasificados y los contactos asociados según su propio calendario. Las respuestas siempre las escribe una persona; el sistema las publica, pero no las redacta.
El sistema tal como se construyó es deliberadamente más liviano que el diseño propuesto originalmente. Un servicio de streaming se reemplazó por una cola, un clúster de búsqueda para deduplicación se reemplazó por una búsqueda directa por clave y una capa completa de API gateway se reemplazó por un único punto de entrada verificado, cada uno porque el componente más simple cubría por completo el requisito a este volumen. Las credenciales sociales se guardan en AWS Secrets Manager y se cargan en el runtime en el cold start, cada función corre bajo un rol de mínimo privilegio, los logs estructurados van a Amazon CloudWatch y los tokens nunca se escriben en los logs. Todo el stack está definido como código con AWS CDK, para que Civic pueda levantarlo en su propia cuenta.
El pipeline se desplegó y se probó en AWS, con una ejecución end-to-end que llevó un evento de webhook firmado a través de la cola y el modelo hasta un registro de gestión de casos almacenado, y se confirmaron los recorridos de respuesta a comentarios y mensajes directos contra cuentas reales. La conexión de las cuentas oficiales en vivo del miembro y el cutover a producción quedan a cargo de Civic, que es dueño de ese paso por razones de cumplimiento. Avahi también entregó una aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo a través de las tres plataformas con un cuadro de respuesta y un cuadro de “clasificar cualquier mensaje” usado para ejercitar el modelo desplegado durante las sesiones de revisión.
Pipeline de ingesta serverless desplegado en AWS Lambda que cubre comentarios y mensajes directos de Facebook, Instagram y X, usando webhooks verificados donde están disponibles y polling programado donde no lo están
Clasificador de intención zero-shot construido sobre Claude Haiku 4.5 de Anthropic vía Amazon Bedrock, que ordena cada mensaje en Gestión de casos, Política, Consulta de prensa, Feedback o Amenaza/Abuso con un puntaje de confianza y una razón de una línea
Enrutamiento de gestión de casos con reglas configurables que asignan elementos por plataforma e intención, adjuntando trazabilidad completa hasta la publicación de origen
Matching y creación de contactos en el CRM con deduplicación por handle normalizado, respaldado por un diseño de una sola tabla en Amazon DynamoDB
API de publicación de respuestas que publica una respuesta redactada por el personal de vuelta al comentario o al hilo de mensaje directo de origen
API de hand-off de solo lectura, protegida por API key, que permite que Revere extraiga registros de gestión de casos clasificados y contactos asociados
Enriquecimiento de mensajes que cubre sentimiento, postura, emoción y urgencia, junto con un briefing diario con IA y una capacidad de consulta en inglés simple, entregado como un preview funcional de la siguiente fase
Aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo multiplataforma con respuestas y clasificación en vivo
Infraestructura completa como código en AWS CDK, 102 pruebas automatizadas y un set de documentación que cubre arquitectura, contratos de API, configuración de conectores de plataforma y operaciones
Documentación técnica, guía de transferencia de conocimiento y código fuente entregados al equipo de ingeniería de Civic
El engagement cumplió su medida contractual de aceptación con un amplio margen. Civic retuvo un conjunto independiente de 100 mensajes etiquetados hasta las pruebas de aceptación, y el clasificador obtuvo un 94 % en él, frente a un 85 % requerido. Ese resultado siguió el 94.5 % medido en el conjunto de desarrollo, lo que indica que el clasificador generaliza a mensajes contra los que nunca se ajustó, en lugar de haber aprendido los datos de desarrollo. En las dos categorías donde un error cuesta más, los resultados fueron los más sólidos: cada mensaje de gestión de casos y cada consulta de prensa del conjunto independiente se identificó correctamente, y nada se etiquetó erróneamente como amenaza.
Para una oficina del Congreso, el cambio operativo es que las redes sociales se convierten en un canal de ingesta monitoreado, en lugar de algo que el personal vigila manualmente. La solicitud de un constituyente llega, se clasifica en minutos y llega al gestor de casos responsable con un enlace al mensaje original, mientras que las opiniones de política pública, las preguntas de prensa y las preocupaciones de seguridad se separan y se envían a donde corresponde cada una. Civic recibió el código fuente completo, las definiciones de infraestructura y la documentación para operar y extender el pipeline en su propia cuenta, y las capacidades de enriquecimiento y briefing entregadas le dan un preview funcional del monitoreo de sentimiento y tendencias que sus oficinas pidieron como siguiente paso.
94.0 % de precisión de clasificación en el conjunto de pruebas independiente de 100 mensajes del cliente, frente a un umbral contractual del 85 % (macro F1 de 0.94)
94.5 % de precisión en el conjunto de desarrollo de 200 mensajes, frente al 92.0 % antes del ajuste del prompt
100 % de recall y 100 % de precisión en Gestión de casos y en Consulta de prensa en el conjunto de pruebas independiente
El recall de Amenaza/Abuso mejoró de 70 % a 90 %, con 100 % de precisión en el conjunto independiente
3 plataformas y 5 categorías de intención cubiertas por un único pipeline desplegado, con mensajes nuevos clasificados a los pocos minutos de llegar
8 de 12 rutas de lectura y respuesta de la plataforma verificadas en vivo, y el resto condicionado a aprobaciones de plataforma en manos del cliente
102 pruebas automatizadas entregadas junto con el pipeline, con el stack completo definido como código
Costo estimado de ejecución en AWS de aproximadamente 12 a 15 dólares estadounidenses al mes, a un volumen de cerca de 10,000 mensajes
Civic Group Inc.
Nueva York, NY
GovTech
AWS Lambda, Amazon Bedrock (Anthropic Claude Haiku 4.5), Amazon DynamoDB, Amazon SQS, Amazon EventBridge, AWS Secrets Manager, Amazon CloudWatch, AWS CDK
Civic desarrolla Revere, una plataforma de gestión de relaciones con constituyentes para oficinas del Congreso y legislativas. Revere ya capturaba correo electrónico, formularios web, teléfono y correo postal, pero los comentarios, respuestas y mensajes directos de los constituyentes en redes sociales quedaban completamente fuera del sistema, obligando al personal a vigilar las notificaciones manualmente. Avahi creó y desplegó en AWS un pipeline serverless de ingesta y triaje que se conecta a las cuentas sociales oficiales de un miembro, clasifica cada mensaje entrante por intención mediante un modelo fundacional en Amazon Bedrock, enruta los casos reales al equipo adecuado con trazabilidad completa y expone APIs para las respuestas del personal y para que Revere extraiga los registros clasificados. Frente a un umbral contractual del 85 %, el clasificador obtuvo un 94 % en un conjunto de pruebas independiente que el cliente retuvo hasta las pruebas de aceptación.
Civic Group Inc. desarrolla Revere, una plataforma de gestión de relaciones con constituyentes diseñada específicamente para oficinas del Congreso y legislativas, sustituyendo sistemas heredados con décadas de antigüedad. Revere está concebida para ser el único sistema de registro de referencia para la comunicación con constituyentes, cubriendo la correspondencia, la gestión de casos y el historial de contactos que una oficina del Congreso gestiona a diario. Sus usuarios son los responsables de correspondencia legislativa y los gestores de casos que responden a los constituyentes en nombre de un miembro, lo que sitúa a Civic en un mercado govtech donde las expectativas de seguridad las marcan las instituciones en las que trabajan sus clientes.
Cada vez más, los constituyentes se comunican con sus representantes del mismo modo que con cualquier otra persona: comentando una publicación o enviando un mensaje directo. Una oficina del Congreso puede recibir un reclamo de beneficios para veteranos estancado, un retraso de pasaporte, una opinión sobre un proyecto de ley pendiente, la pregunta de un periodista y un mensaje abusivo, todo en el mismo hilo de comentarios bajo la misma publicación.
Nada de ese tráfico llegaba a Revere. El personal tenía que monitorear por su cuenta las notificaciones de las plataformas, juzgar qué importaba y volver a teclear en el CRM todo lo que fuera accionable. El volumen hacía que eso fuera poco confiable en la práctica. Era fácil pasar por alto una solicitud de gestión de casos enterrada bajo decenas de opiniones de política pública, y un mensaje perdido nunca entraba al sistema que registra si la oficina respondió o no.
El costo de dejar esto sin resolver recaía en dos frentes. Los constituyentes con problemas reales quedaban sin ayuda porque eligieron el canal equivocado para pedirla, que es exactamente el tipo de falla que un sistema de gestión de casos existe para evitar. Y la promesa central de Civic —un registro completo de cada interacción con constituyentes— tenía un hueco creciente. La seguridad también era un factor: los mensajes amenazantes deben llegar rápido a una persona, y la monitorización manual no ofrecía ninguna garantía de eso.
Civic ya operaba su plataforma en AWS, así que construir el pipeline allí lo mantuvo dentro de un límite de cuenta y una postura de seguridad que su equipo de ingeniería ya había revisado. Eso importa para una empresa que vende a oficinas del Congreso, donde se espera que la arquitectura se alinee con las expectativas de seguridad de TI de la Cámara de Representantes.
La carga de trabajo también se adapta a componentes serverless administrados. El tráfico social hacia una oficina del Congreso es irregular más que constante: se dispara cuando un miembro publica sobre un proyecto de ley polémico y se apaga durante la noche, así que pagar por capacidad ociosa no tenía sentido. Amazon Bedrock proporcionó el modelo de lenguaje como un servicio administrado, lo que significó no operar hosting del modelo ni mantener un pipeline de entrenamiento, y los servicios de colas, almacenamiento y programación alrededor estaban disponibles en la misma cuenta con el mismo modelo de identidad y logging.
Civic necesitaba un pipeline de ingesta funcional en tres plataformas sociales, un clasificador preciso y un contrato de integración limpio, todo dentro de una ventana de cuatro semanas. Como partner premier-tier de AWS que entrega cargas de trabajo de IA generativa, Avahi pudo pasar directo a construir sin una fase de discovery, y ya había completado un engagement anterior para Civic, por lo que la relación de trabajo y el contexto de la plataforma ya estaban establecidos.
El modelo de entrega también encajaba con la forma en que Civic quería trabajar. Los propios ingenieros de Civic son dueños de Revere y de su interfaz para el personal, así que querían un servicio backend con un contrato de API documentado y propiedad completa del código, en lugar de una dependencia prolongada de un equipo externo. Avahi acotó el engagement exactamente a ese límite: Avahi construyó la ingesta, la clasificación, el enrutamiento y la capa de API, y el equipo de Civic mantuvo las partes del producto que sus ingenieros ya poseían.
Avahi entregó un pipeline serverless y orientado a eventos en AWS, construido alrededor de un diseño de puertos y adaptadores para que cada dependencia externa quede detrás de una interfaz con una implementación tanto en vivo como offline. El beneficio práctico es que el mismo código corre contra una emulación local durante el desarrollo y contra AWS real en la nube, lo que mantuvo al equipo construyendo mientras aún se gestionaban credenciales y aprobaciones de la plataforma.
La ingesta corre por dos rutas, alineadas con lo que admite cada plataforma. Los comentarios y mensajes directos de Facebook e Instagram llegan como eventos de webhook a un punto de entrada público HTTPS, donde cada solicitud se verifica mediante HMAC antes de aceptar cualquier cosa. X no ofrece un acceso equivalente por webhook en los niveles dentro del alcance, así que una función programada consulta las menciones cada cinco minutos. Ambas rutas normalizan el mensaje a una forma común y lo colocan en una cola de Amazon SQS, que separa la recepción de un mensaje de su procesamiento y le da al pipeline una ruta de reintento y una cola de mensajes muertos cuando falla una llamada downstream.
Una función worker consume esa cola y clasifica cada mensaje con Claude Haiku 4.5 de Anthropic en Amazon Bedrock, ordenándolo en una de cinco categorías: Gestión de casos, Política, Consulta de prensa, Feedback y Amenaza/Abuso. La clasificación es zero-shot, sin entrenamiento ni fine-tuning del modelo, así que la taxonomía y sus reglas de frontera viven en el prompt y pueden revisarse sin reentrenar. La distinción más difícil resultó ser entre la crítica hostil al desempeño de una oficina y el abuso genuino dirigido a una persona. Avahi lo resolvió con un principio en lugar de una lista de palabras clave, separando ambos por el objetivo de la hostilidad, lo que elevó el recall en la categoría Amenaza/Abuso de 70 % a 90 % y, como generaliza en lugar de hacer pattern-matching, se sostuvo ante redacciones que el clasificador nunca había visto.
Luego, los mensajes clasificados fluyen por matching, enrutamiento y almacenamiento. El remitente se asocia con un contacto existente del CRM por handle normalizado o se crea un nuevo contacto, para que un constituyente que escribe repetidamente no se duplique. Los elementos de gestión de casos se asignan al equipo correcto mediante una capa de reglas impulsada por configuración y se almacenan con trazabilidad completa, es decir, la plataforma, la publicación de origen, el comentario y un permalink, para que un miembro del personal siempre pueda rastrear un caso hasta el mensaje que lo inició. Todo se persiste en una única tabla de Amazon DynamoDB cuyo diseño de clave hace que la deduplicación sea una búsqueda directa por clave en lugar de un escaneo.
Dos APIs cierran el ciclo. Un endpoint de publicación de respuestas acepta una respuesta redactada por el personal y la publica de vuelta en el hilo de origen, eligiendo entre respuesta a comentario o mensaje directo según cómo haya llegado el mensaje. Una API de hand-off de solo lectura, protegida por una API key y cerrada por defecto cuando no hay una key configurada, permite que Revere extraiga los registros de gestión de casos clasificados y los contactos asociados según su propio calendario. Las respuestas siempre las escribe una persona; el sistema las publica, pero no las redacta.
El sistema tal como se construyó es deliberadamente más liviano que el diseño propuesto originalmente. Un servicio de streaming se reemplazó por una cola, un clúster de búsqueda para deduplicación se reemplazó por una búsqueda directa por clave y una capa completa de API gateway se reemplazó por un único punto de entrada verificado, cada uno porque el componente más simple cubría por completo el requisito a este volumen. Las credenciales sociales se guardan en AWS Secrets Manager y se cargan en el runtime en el cold start, cada función corre bajo un rol de mínimo privilegio, los logs estructurados van a Amazon CloudWatch y los tokens nunca se escriben en los logs. Todo el stack está definido como código con AWS CDK, para que Civic pueda levantarlo en su propia cuenta.
El pipeline se desplegó y se probó en AWS, con una ejecución end-to-end que llevó un evento de webhook firmado a través de la cola y el modelo hasta un registro de gestión de casos almacenado, y se confirmaron los recorridos de respuesta a comentarios y mensajes directos contra cuentas reales. La conexión de las cuentas oficiales en vivo del miembro y el cutover a producción quedan a cargo de Civic, que es dueño de ese paso por razones de cumplimiento. Avahi también entregó una aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo a través de las tres plataformas con un cuadro de respuesta y un cuadro de “clasificar cualquier mensaje” usado para ejercitar el modelo desplegado durante las sesiones de revisión.
Pipeline de ingesta serverless desplegado en AWS Lambda que cubre comentarios y mensajes directos de Facebook, Instagram y X, usando webhooks verificados donde están disponibles y polling programado donde no lo están
Clasificador de intención zero-shot construido sobre Claude Haiku 4.5 de Anthropic vía Amazon Bedrock, que ordena cada mensaje en Gestión de casos, Política, Consulta de prensa, Feedback o Amenaza/Abuso con un puntaje de confianza y una razón de una línea
Enrutamiento de gestión de casos con reglas configurables que asignan elementos por plataforma e intención, adjuntando trazabilidad completa hasta la publicación de origen
Matching y creación de contactos en el CRM con deduplicación por handle normalizado, respaldado por un diseño de una sola tabla en Amazon DynamoDB
API de publicación de respuestas que publica una respuesta redactada por el personal de vuelta al comentario o al hilo de mensaje directo de origen
API de hand-off de solo lectura, protegida por API key, que permite que Revere extraiga registros de gestión de casos clasificados y contactos asociados
Enriquecimiento de mensajes que cubre sentimiento, postura, emoción y urgencia, junto con un briefing diario con IA y una capacidad de consulta en inglés simple, entregado como un preview funcional de la siguiente fase
Aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo multiplataforma con respuestas y clasificación en vivo
Infraestructura completa como código en AWS CDK, 102 pruebas automatizadas y un set de documentación que cubre arquitectura, contratos de API, configuración de conectores de plataforma y operaciones
Documentación técnica, guía de transferencia de conocimiento y código fuente entregados al equipo de ingeniería de Civic
El engagement cumplió su medida contractual de aceptación con un amplio margen. Civic retuvo un conjunto independiente de 100 mensajes etiquetados hasta las pruebas de aceptación, y el clasificador obtuvo un 94 % en él, frente a un 85 % requerido. Ese resultado siguió el 94.5 % medido en el conjunto de desarrollo, lo que indica que el clasificador generaliza a mensajes contra los que nunca se ajustó, en lugar de haber aprendido los datos de desarrollo. En las dos categorías donde un error cuesta más, los resultados fueron los más sólidos: cada mensaje de gestión de casos y cada consulta de prensa del conjunto independiente se identificó correctamente, y nada se etiquetó erróneamente como amenaza.
Para una oficina del Congreso, el cambio operativo es que las redes sociales se convierten en un canal de ingesta monitoreado, en lugar de algo que el personal vigila manualmente. La solicitud de un constituyente llega, se clasifica en minutos y llega al gestor de casos responsable con un enlace al mensaje original, mientras que las opiniones de política pública, las preguntas de prensa y las preocupaciones de seguridad se separan y se envían a donde corresponde cada una. Civic recibió el código fuente completo, las definiciones de infraestructura y la documentación para operar y extender el pipeline en su propia cuenta, y las capacidades de enriquecimiento y briefing entregadas le dan un preview funcional del monitoreo de sentimiento y tendencias que sus oficinas pidieron como siguiente paso.
94.0 % de precisión de clasificación en el conjunto de pruebas independiente de 100 mensajes del cliente, frente a un umbral contractual del 85 % (macro F1 de 0.94)
94.5 % de precisión en el conjunto de desarrollo de 200 mensajes, frente al 92.0 % antes del ajuste del prompt
100 % de recall y 100 % de precisión en Gestión de casos y en Consulta de prensa en el conjunto de pruebas independiente
El recall de Amenaza/Abuso mejoró de 70 % a 90 %, con 100 % de precisión en el conjunto independiente
3 plataformas y 5 categorías de intención cubiertas por un único pipeline desplegado, con mensajes nuevos clasificados a los pocos minutos de llegar
8 de 12 rutas de lectura y respuesta de la plataforma verificadas en vivo, y el resto condicionado a aprobaciones de plataforma en manos del cliente
102 pruebas automatizadas entregadas junto con el pipeline, con el stack completo definido como código
Costo estimado de ejecución en AWS de aproximadamente 12 a 15 dólares estadounidenses al mes, a un volumen de cerca de 10,000 mensajes
Exploremos juntos sus oportunidades de IA de alto impacto en una sesión gratuita