GovTech

/

Civic Group Inc.

GovTech

Civic convierte los comentarios en redes sociales en gestión de casos de constituyentes con IA generativa en AWS

94%

Precisión de clasificación de intención en el conjunto de pruebas oculto del cliente

Cero

Se necesitaba monitorización manual para detectar casos que llegaban a través de redes sociales

3 plataformas

Comentarios y mensajes directos de Facebook, Instagram y X en un único pipeline

Cliente

Civic Group Inc.

Ubicación

Nueva York, NY

Industria

GovTech

Servicios y tecnología

AWS Lambda, Amazon Bedrock (Anthropic Claude Haiku 4.5), Amazon DynamoDB, Amazon SQS, Amazon EventBridge, AWS Secrets Manager, Amazon CloudWatch, AWS CDK

Resumen del proyecto

Civic desarrolla Revere, una plataforma de gestión de relaciones con constituyentes para oficinas del Congreso y legislativas. Revere ya capturaba correo electrónico, formularios web, teléfono y correo postal, pero los comentarios, respuestas y mensajes directos de los constituyentes en redes sociales quedaban completamente fuera del sistema, obligando al personal a vigilar las notificaciones manualmente. Avahi creó y desplegó en AWS un pipeline serverless de ingesta y triaje que se conecta a las cuentas sociales oficiales de un miembro, clasifica cada mensaje entrante por intención mediante un modelo fundacional en Amazon Bedrock, enruta los casos reales al equipo adecuado con trazabilidad completa y expone APIs para las respuestas del personal y para que Revere extraiga los registros clasificados. Frente a un umbral contractual del 85 %, el clasificador obtuvo un 94 % en un conjunto de pruebas independiente que el cliente retuvo hasta las pruebas de aceptación.

Acerca del cliente

Civic Group Inc. desarrolla Revere, una plataforma de gestión de relaciones con constituyentes diseñada específicamente para oficinas del Congreso y legislativas, sustituyendo sistemas heredados con décadas de antigüedad. Revere está concebida para ser el único sistema de registro de referencia para la comunicación con constituyentes, cubriendo la correspondencia, la gestión de casos y el historial de contactos que una oficina del Congreso gestiona a diario. Sus usuarios son los responsables de correspondencia legislativa y los gestores de casos que responden a los constituyentes en nombre de un miembro, lo que sitúa a Civic en un mercado govtech donde las expectativas de seguridad las marcan las instituciones en las que trabajan sus clientes.

El problema

Cada vez más, los constituyentes contactan con sus representantes del mismo modo que con cualquier otra persona: comentando una publicación o enviando un mensaje directo. Una oficina del Congreso puede recibir una reclamación de prestaciones de veteranos bloqueada, un retraso de pasaporte, una opinión sobre un proyecto de ley pendiente, la pregunta de un periodista y un mensaje abusivo, todo en el mismo hilo de comentarios bajo la misma publicación.

Nada de ese tráfico llegaba a Revere. El personal tenía que monitorizar por su cuenta las notificaciones de las plataformas, decidir qué era importante y volver a teclear en el CRM todo lo que fuese accionable. El volumen hacía que, en la práctica, eso no fuese fiable. Era fácil pasar por alto una solicitud de gestión de casos enterrada entre decenas de opiniones sobre políticas, y un mensaje perdido nunca entraba en el sistema que registra si la oficina respondió o no.

El coste de dejar esto sin abordar recaía en dos frentes. Los constituyentes con problemas reales se quedaban sin ayuda porque eligieron el canal equivocado para pedirla, que es exactamente el fallo que un sistema de gestión de casos existe para evitar. Y la promesa central de Civic —un registro completo de cada interacción con el constituyente— tenía un agujero cada vez mayor. La seguridad también era un factor: los mensajes amenazantes deben llegar rápidamente a una persona, y la monitorización manual no ofrecía ninguna garantía de ello.

¿Por qué AWS?

Civic ya ejecutaba su plataforma en AWS, así que construir el pipeline allí lo mantuvo dentro de un límite de cuenta y una postura de seguridad que su equipo de ingeniería ya había revisado. Eso importa para una empresa que vende a oficinas del Congreso, donde se espera que la arquitectura se alinee con las expectativas de seguridad de TI de la Cámara de Representantes.

La carga de trabajo también encaja con componentes serverless gestionados. El tráfico social hacia una oficina del Congreso es irregular, con picos cuando un miembro publica sobre un proyecto de ley polémico y con calma durante la noche, por lo que pagar por capacidad ociosa no tenía sentido. Amazon Bedrock proporcionó el modelo de lenguaje como servicio gestionado, lo que significó no tener que operar el hosting del modelo ni mantener un pipeline de entrenamiento, y los servicios de colas, almacenamiento y programación del entorno estaban disponibles en la misma cuenta con el mismo modelo de identidad y registro.

Por qué Civic eligió a Avahi

Civic necesitaba un pipeline de entrada operativo en tres plataformas sociales, un clasificador preciso y un contrato de integración limpio, todo dentro de un plazo de cuatro semanas. Como partner AWS Premier Tier que entrega cargas de trabajo de IA generativa, Avahi pudo pasar directamente a la construcción sin una fase previa de discovery, y ya había completado un proyecto anterior para Civic, por lo que la relación de trabajo y el contexto de la plataforma estaban establecidos.

El modelo de entrega también encajaba con la forma en que Civic quería trabajar. Los propios ingenieros de Civic son responsables de Revere y de su interfaz para el personal, así que querían un servicio backend con un contrato de API documentado y plena propiedad del código, en lugar de una dependencia prolongada de un equipo externo. Avahi acotó el proyecto exactamente a ese límite: Avahi construyó la ingesta, la clasificación, el enrutamiento y la capa de API, y el equipo de Civic mantuvo las partes del producto que sus ingenieros ya gestionaban.

Solución

Avahi entregó un pipeline serverless y orientado a eventos en AWS, construido en torno a un diseño de puertos y adaptadores para que cada dependencia externa quede detrás de una interfaz con una implementación tanto en vivo como offline. El beneficio práctico es que el mismo código se ejecuta contra una emulación local durante el desarrollo y contra AWS real en la nube, lo que permitió al equipo seguir construyendo mientras se tramitaban credenciales y aprobaciones de la plataforma.

La ingesta se ejecuta por dos vías, adaptadas a lo que admite cada plataforma. Los comentarios y mensajes directos de Facebook e Instagram llegan como eventos de webhook a un punto de entrada HTTPS público, donde cada solicitud se verifica mediante una firma HMAC antes de aceptar nada. X no ofrece un acceso equivalente por webhook en los niveles incluidos en el alcance, así que una función programada consulta las menciones cada cinco minutos. Ambas vías normalizan el mensaje a un formato común y lo colocan en una cola de Amazon SQS, que separa la recepción del mensaje de su procesamiento y proporciona al pipeline una ruta de reintento y una cola de mensajes fallidos (dead-letter) cuando falla una llamada posterior.

Una función worker consume esa cola y clasifica cada mensaje con Claude Haiku 4.5 de Anthropic en Amazon Bedrock, ordenándolo en una de cinco categorías: Casework, Policy, Press Inquiry, Feedback y Threat/Abuse. La clasificación es zero-shot, sin entrenamiento ni fine-tuning del modelo, por lo que la taxonomía y sus reglas de frontera viven en el prompt y pueden revisarse sin reentrenar. La distinción más difícil resultó ser la crítica hostil al rendimiento de una oficina frente al abuso genuino dirigido a una persona. Avahi lo resolvió con un principio, en lugar de una lista de palabras clave, separando ambos por el objetivo de la hostilidad, lo que elevó el recall en la categoría Threat/Abuse del 70 % al 90 % y, al generalizar en lugar de hacer pattern-matching, se mantuvo ante formulaciones que el clasificador nunca había visto.

Los mensajes clasificados pasan después por emparejamiento, enrutamiento y almacenamiento. El remitente se empareja con un contacto existente del CRM mediante el identificador normalizado o se crea un nuevo contacto, para que un constituyente que escribe repetidamente no se duplique. Los elementos de casework se asignan al equipo adecuado mediante una capa de reglas basada en configuración y se almacenan con trazabilidad completa, es decir, la plataforma, la publicación de origen, el comentario y un enlace permanente, para que un miembro del personal siempre pueda rastrear un caso hasta el mensaje que lo inició. Todo se persiste en una única tabla de Amazon DynamoDB cuyo diseño de claves hace que la deduplicación sea una búsqueda directa por clave en lugar de un escaneo.

Dos APIs cierran el circuito. Un endpoint de publicación de respuestas acepta una respuesta redactada por el personal y la publica de vuelta en el hilo de origen, eligiendo entre respuesta a comentario o mensaje directo según cómo llegó el mensaje. Una API de traspaso de solo lectura, protegida por una clave de API y cerrada por defecto cuando no se configura ninguna clave, permite que Revere extraiga los casos clasificados y los contactos emparejados según su propio calendario. Las respuestas siempre las escribe una persona; el sistema las publica, pero no las redacta.

El sistema implementado es deliberadamente más ligero que el diseño propuesto originalmente. Se sustituyó un servicio de streaming por una cola, un clúster de búsqueda para deduplicación por una búsqueda directa por clave y una capa completa de API gateway por un único punto de entrada verificado, en cada caso porque el componente más simple cubría plenamente el requisito a este volumen. Las credenciales sociales se guardan en AWS Secrets Manager y se cargan en el runtime en el arranque en frío; cada función se ejecuta con un rol de mínimo privilegio; los logs estructurados van a Amazon CloudWatch; y los tokens nunca se escriben en los logs. Todo el stack se define como código con AWS CDK, para que Civic pueda desplegarlo en su propia cuenta.

El pipeline se desplegó y se probó en AWS, con una ejecución end-to-end que llevó un evento de webhook firmado a través de la cola y el modelo hasta un registro de casework almacenado, y con idas y vueltas de respuestas a comentarios y mensajes directos confirmadas contra cuentas reales. La conexión de las cuentas oficiales en vivo del miembro y el paso a producción corresponden a Civic, que asume ese paso por motivos de cumplimiento. Avahi también entregó una aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo en las tres plataformas con un cuadro de respuesta y un cuadro de “clasificar cualquier mensaje” usado para ejercitar el modelo desplegado durante las sesiones de revisión.

Resultados clave

  • Pipeline serverless de ingesta desplegado en AWS Lambda que cubre comentarios y mensajes directos de Facebook, Instagram y X, usando webhooks verificados cuando están disponibles y sondeo programado cuando no lo están

  • Clasificador zero-shot de intención construido sobre Claude Haiku 4.5 de Anthropic vía Amazon Bedrock, que ordena cada mensaje en Casework, Policy, Press Inquiry, Feedback o Threat/Abuse con una puntuación de confianza y un motivo en una línea

  • Enrutamiento de casework con reglas configurables que asignan elementos por plataforma e intención, adjuntando trazabilidad completa hasta la publicación de origen

  • Emparejamiento y creación de contactos en el CRM con deduplicación por identificador normalizado, respaldado por un diseño de tabla única en Amazon DynamoDB

  • API de publicación de respuestas que publica una respuesta redactada por el personal de vuelta al comentario o al hilo de mensaje directo de origen

  • API de traspaso de solo lectura, protegida por clave de API, que permite a Revere extraer registros de casework clasificados y contactos emparejados

  • Enriquecimiento de mensajes que cubre sentimiento, postura, emoción y urgencia, junto con un briefing diario con IA y una capacidad de consulta en inglés sencillo, entregado como una vista previa funcional de la siguiente fase

  • Aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo multiplataforma con respuestas y clasificación en vivo

  • Infraestructura completa como código en AWS CDK, 102 pruebas automatizadas y un conjunto de documentación que cubre arquitectura, contratos de API, configuración de conectores de plataforma y operaciones

  • Documentación técnica, guía de transferencia de conocimiento y código fuente entregados al equipo de ingeniería de Civic

Impacto del proyecto

El proyecto cumplió su medida contractual de aceptación con un amplio margen. Civic retuvo un conjunto independiente de 100 mensajes etiquetados hasta las pruebas de aceptación, y el clasificador obtuvo un 94 % sobre ese conjunto, frente al 85 % requerido. Ese resultado siguió el 94,5 % medido en el conjunto de desarrollo, lo que indica que el clasificador generaliza a mensajes para los que nunca se ajustó, en lugar de haber aprendido los datos de desarrollo. En las dos categorías donde un error cuesta más, los resultados fueron los más sólidos: cada mensaje de casework y cada press inquiry del conjunto independiente se identificó correctamente, y nada se etiquetó erróneamente como amenaza.

Para una oficina del Congreso, el cambio operativo es que las redes sociales pasan a ser un canal de entrada monitorizado, en lugar de algo que el personal vigila manualmente. La solicitud de un constituyente llega, se clasifica en minutos y llega al gestor de casos responsable con un enlace al mensaje original, mientras que las opiniones sobre políticas, las preguntas de prensa y las preocupaciones de seguridad se separan y se envían a donde corresponde. Civic recibió el código fuente completo, las definiciones de infraestructura y la documentación para ejecutar y ampliar el pipeline en su propia cuenta, y las capacidades de enriquecimiento y briefing entregadas le proporcionan una vista previa funcional de la monitorización de sentimiento y tendencias que sus oficinas pidieron como siguiente paso.

  • 94,0 % de precisión de clasificación en el conjunto de pruebas independiente del cliente de 100 mensajes, frente a un umbral contractual del 85 % (macro F1 de 0,94)

  • 94,5 % de precisión en el conjunto de desarrollo de 200 mensajes, frente al 92,0 % antes del ajuste del prompt

  • 100 % de recall y 100 % de precisión en Casework y en Press Inquiry en el conjunto de pruebas independiente

  • El recall de Threat/Abuse mejoró del 70 % al 90 %, con un 100 % de precisión en el conjunto independiente

  • 3 plataformas y 5 categorías de intención cubiertas por un único pipeline desplegado, con nuevos mensajes clasificados en minutos desde su llegada

  • 8 de 12 rutas de lectura y respuesta de plataforma verificadas en vivo, con el resto condicionado a aprobaciones de plataforma en manos del cliente

  • 102 pruebas automatizadas entregadas junto con el pipeline, con todo el stack definido como código

  • Coste estimado de ejecución en AWS de aproximadamente 12 a 15 dólares estadounidenses al mes con un volumen de unos 10.000 mensajes

Su migración, sin riesgos

¿Va a dejar Azure o está planeando su propia migración de IA empresarial?

Avahi lleva a las empresas desde la idea hasta la producción en AWS en cuestión de semanas, no meses, con una paridad validada y transiciones sin tiempo de inactividad. Permítanos evaluar su proyecto.

Civic convierte los comentarios en redes sociales en gestión de casos de constituyentes con IA generativa en AWS

Cliente

Civic Group Inc.

Ubicación

Nueva York, NY

Industria

GovTech

Servicios y tecnología

AWS Lambda, Amazon Bedrock (Anthropic Claude Haiku 4.5), Amazon DynamoDB, Amazon SQS, Amazon EventBridge, AWS Secrets Manager, Amazon CloudWatch, AWS CDK

Resumen del proyecto

Civic desarrolla Revere, una plataforma de gestión de relaciones con constituyentes para oficinas del Congreso y legislativas. Revere ya capturaba correo electrónico, formularios web, teléfono y correo postal, pero los comentarios, respuestas y mensajes directos de los constituyentes en redes sociales quedaban completamente fuera del sistema, obligando al personal a vigilar las notificaciones manualmente. Avahi creó y desplegó en AWS un pipeline serverless de ingesta y triaje que se conecta a las cuentas sociales oficiales de un miembro, clasifica cada mensaje entrante por intención mediante un modelo fundacional en Amazon Bedrock, enruta los casos reales al equipo adecuado con trazabilidad completa y expone APIs para las respuestas del personal y para que Revere extraiga los registros clasificados. Frente a un umbral contractual del 85 %, el clasificador obtuvo un 94 % en un conjunto de pruebas independiente que el cliente retuvo hasta las pruebas de aceptación.

Acerca del cliente

Civic Group Inc. desarrolla Revere, una plataforma de gestión de relaciones con constituyentes diseñada específicamente para oficinas del Congreso y legislativas, sustituyendo sistemas heredados con décadas de antigüedad. Revere está concebida para ser el único sistema de registro de referencia para la comunicación con constituyentes, cubriendo la correspondencia, la gestión de casos y el historial de contactos que una oficina del Congreso gestiona a diario. Sus usuarios son los responsables de correspondencia legislativa y los gestores de casos que responden a los constituyentes en nombre de un miembro, lo que sitúa a Civic en un mercado govtech donde las expectativas de seguridad las marcan las instituciones en las que trabajan sus clientes.

El problema

Cada vez más, los constituyentes contactan con sus representantes del mismo modo que con cualquier otra persona: comentando una publicación o enviando un mensaje directo. Una oficina del Congreso puede recibir una reclamación de prestaciones de veteranos bloqueada, un retraso de pasaporte, una opinión sobre un proyecto de ley pendiente, la pregunta de un periodista y un mensaje abusivo, todo en el mismo hilo de comentarios bajo la misma publicación.

Nada de ese tráfico llegaba a Revere. El personal tenía que monitorizar por su cuenta las notificaciones de las plataformas, decidir qué era importante y volver a teclear en el CRM todo lo que fuese accionable. El volumen hacía que, en la práctica, eso no fuese fiable. Era fácil pasar por alto una solicitud de gestión de casos enterrada entre decenas de opiniones sobre políticas, y un mensaje perdido nunca entraba en el sistema que registra si la oficina respondió o no.

El coste de dejar esto sin abordar recaía en dos frentes. Los constituyentes con problemas reales se quedaban sin ayuda porque eligieron el canal equivocado para pedirla, que es exactamente el fallo que un sistema de gestión de casos existe para evitar. Y la promesa central de Civic —un registro completo de cada interacción con el constituyente— tenía un agujero cada vez mayor. La seguridad también era un factor: los mensajes amenazantes deben llegar rápidamente a una persona, y la monitorización manual no ofrecía ninguna garantía de ello.

Por qué AWS

Civic ya ejecutaba su plataforma en AWS, así que construir el pipeline allí lo mantuvo dentro de un límite de cuenta y una postura de seguridad que su equipo de ingeniería ya había revisado. Eso importa para una empresa que vende a oficinas del Congreso, donde se espera que la arquitectura se alinee con las expectativas de seguridad de TI de la Cámara de Representantes.

La carga de trabajo también encaja con componentes serverless gestionados. El tráfico social hacia una oficina del Congreso es irregular, con picos cuando un miembro publica sobre un proyecto de ley polémico y con calma durante la noche, por lo que pagar por capacidad ociosa no tenía sentido. Amazon Bedrock proporcionó el modelo de lenguaje como servicio gestionado, lo que significó no tener que operar el hosting del modelo ni mantener un pipeline de entrenamiento, y los servicios de colas, almacenamiento y programación del entorno estaban disponibles en la misma cuenta con el mismo modelo de identidad y registro.

Por qué Civic eligió a Avahi

Civic necesitaba un pipeline de entrada operativo en tres plataformas sociales, un clasificador preciso y un contrato de integración limpio, todo dentro de un plazo de cuatro semanas. Como partner AWS Premier Tier que entrega cargas de trabajo de IA generativa, Avahi pudo pasar directamente a la construcción sin una fase previa de discovery, y ya había completado un proyecto anterior para Civic, por lo que la relación de trabajo y el contexto de la plataforma estaban establecidos.

El modelo de entrega también encajaba con la forma en que Civic quería trabajar. Los propios ingenieros de Civic son responsables de Revere y de su interfaz para el personal, así que querían un servicio backend con un contrato de API documentado y plena propiedad del código, en lugar de una dependencia prolongada de un equipo externo. Avahi acotó el proyecto exactamente a ese límite: Avahi construyó la ingesta, la clasificación, el enrutamiento y la capa de API, y el equipo de Civic mantuvo las partes del producto que sus ingenieros ya gestionaban.

Solución

Avahi entregó un pipeline serverless y orientado a eventos en AWS, construido en torno a un diseño de puertos y adaptadores para que cada dependencia externa quede detrás de una interfaz con una implementación tanto en vivo como offline. El beneficio práctico es que el mismo código se ejecuta contra una emulación local durante el desarrollo y contra AWS real en la nube, lo que permitió al equipo seguir construyendo mientras se tramitaban credenciales y aprobaciones de la plataforma.

La ingesta se ejecuta por dos vías, adaptadas a lo que admite cada plataforma. Los comentarios y mensajes directos de Facebook e Instagram llegan como eventos de webhook a un punto de entrada HTTPS público, donde cada solicitud se verifica mediante una firma HMAC antes de aceptar nada. X no ofrece un acceso equivalente por webhook en los niveles incluidos en el alcance, así que una función programada consulta las menciones cada cinco minutos. Ambas vías normalizan el mensaje a un formato común y lo colocan en una cola de Amazon SQS, que separa la recepción del mensaje de su procesamiento y proporciona al pipeline una ruta de reintento y una cola de mensajes fallidos (dead-letter) cuando falla una llamada posterior.

Una función worker consume esa cola y clasifica cada mensaje con Claude Haiku 4.5 de Anthropic en Amazon Bedrock, ordenándolo en una de cinco categorías: Casework, Policy, Press Inquiry, Feedback y Threat/Abuse. La clasificación es zero-shot, sin entrenamiento ni fine-tuning del modelo, por lo que la taxonomía y sus reglas de frontera viven en el prompt y pueden revisarse sin reentrenar. La distinción más difícil resultó ser la crítica hostil al rendimiento de una oficina frente al abuso genuino dirigido a una persona. Avahi lo resolvió con un principio, en lugar de una lista de palabras clave, separando ambos por el objetivo de la hostilidad, lo que elevó el recall en la categoría Threat/Abuse del 70 % al 90 % y, al generalizar en lugar de hacer pattern-matching, se mantuvo ante formulaciones que el clasificador nunca había visto.

Los mensajes clasificados pasan después por emparejamiento, enrutamiento y almacenamiento. El remitente se empareja con un contacto existente del CRM mediante el identificador normalizado o se crea un nuevo contacto, para que un constituyente que escribe repetidamente no se duplique. Los elementos de casework se asignan al equipo adecuado mediante una capa de reglas basada en configuración y se almacenan con trazabilidad completa, es decir, la plataforma, la publicación de origen, el comentario y un enlace permanente, para que un miembro del personal siempre pueda rastrear un caso hasta el mensaje que lo inició. Todo se persiste en una única tabla de Amazon DynamoDB cuyo diseño de claves hace que la deduplicación sea una búsqueda directa por clave en lugar de un escaneo.

Dos APIs cierran el circuito. Un endpoint de publicación de respuestas acepta una respuesta redactada por el personal y la publica de vuelta en el hilo de origen, eligiendo entre respuesta a comentario o mensaje directo según cómo llegó el mensaje. Una API de traspaso de solo lectura, protegida por una clave de API y cerrada por defecto cuando no se configura ninguna clave, permite que Revere extraiga los casos clasificados y los contactos emparejados según su propio calendario. Las respuestas siempre las escribe una persona; el sistema las publica, pero no las redacta.

El sistema implementado es deliberadamente más ligero que el diseño propuesto originalmente. Se sustituyó un servicio de streaming por una cola, un clúster de búsqueda para deduplicación por una búsqueda directa por clave y una capa completa de API gateway por un único punto de entrada verificado, en cada caso porque el componente más simple cubría plenamente el requisito a este volumen. Las credenciales sociales se guardan en AWS Secrets Manager y se cargan en el runtime en el arranque en frío; cada función se ejecuta con un rol de mínimo privilegio; los logs estructurados van a Amazon CloudWatch; y los tokens nunca se escriben en los logs. Todo el stack se define como código con AWS CDK, para que Civic pueda desplegarlo en su propia cuenta.

El pipeline se desplegó y se probó en AWS, con una ejecución end-to-end que llevó un evento de webhook firmado a través de la cola y el modelo hasta un registro de casework almacenado, y con idas y vueltas de respuestas a comentarios y mensajes directos confirmadas contra cuentas reales. La conexión de las cuentas oficiales en vivo del miembro y el paso a producción corresponden a Civic, que asume ese paso por motivos de cumplimiento. Avahi también entregó una aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo en las tres plataformas con un cuadro de respuesta y un cuadro de “clasificar cualquier mensaje” usado para ejercitar el modelo desplegado durante las sesiones de revisión.

Resultados clave

  • Pipeline serverless de ingesta desplegado en AWS Lambda que cubre comentarios y mensajes directos de Facebook, Instagram y X, usando webhooks verificados cuando están disponibles y sondeo programado cuando no lo están

  • Clasificador zero-shot de intención construido sobre Claude Haiku 4.5 de Anthropic vía Amazon Bedrock, que ordena cada mensaje en Casework, Policy, Press Inquiry, Feedback o Threat/Abuse con una puntuación de confianza y un motivo en una línea

  • Enrutamiento de casework con reglas configurables que asignan elementos por plataforma e intención, adjuntando trazabilidad completa hasta la publicación de origen

  • Emparejamiento y creación de contactos en el CRM con deduplicación por identificador normalizado, respaldado por un diseño de tabla única en Amazon DynamoDB

  • API de publicación de respuestas que publica una respuesta redactada por el personal de vuelta al comentario o al hilo de mensaje directo de origen

  • API de traspaso de solo lectura, protegida por clave de API, que permite a Revere extraer registros de casework clasificados y contactos emparejados

  • Enriquecimiento de mensajes que cubre sentimiento, postura, emoción y urgencia, junto con un briefing diario con IA y una capacidad de consulta en inglés sencillo, entregado como una vista previa funcional de la siguiente fase

  • Aplicación web de evaluación y demostración que muestra resultados de precisión, una bandeja de entrada en vivo multiplataforma con respuestas y clasificación en vivo

  • Infraestructura completa como código en AWS CDK, 102 pruebas automatizadas y un conjunto de documentación que cubre arquitectura, contratos de API, configuración de conectores de plataforma y operaciones

  • Documentación técnica, guía de transferencia de conocimiento y código fuente entregados al equipo de ingeniería de Civic

Impacto del proyecto

El proyecto cumplió su medida contractual de aceptación con un amplio margen. Civic retuvo un conjunto independiente de 100 mensajes etiquetados hasta las pruebas de aceptación, y el clasificador obtuvo un 94 % sobre ese conjunto, frente al 85 % requerido. Ese resultado siguió el 94,5 % medido en el conjunto de desarrollo, lo que indica que el clasificador generaliza a mensajes para los que nunca se ajustó, en lugar de haber aprendido los datos de desarrollo. En las dos categorías donde un error cuesta más, los resultados fueron los más sólidos: cada mensaje de casework y cada press inquiry del conjunto independiente se identificó correctamente, y nada se etiquetó erróneamente como amenaza.

Para una oficina del Congreso, el cambio operativo es que las redes sociales pasan a ser un canal de entrada monitorizado, en lugar de algo que el personal vigila manualmente. La solicitud de un constituyente llega, se clasifica en minutos y llega al gestor de casos responsable con un enlace al mensaje original, mientras que las opiniones sobre políticas, las preguntas de prensa y las preocupaciones de seguridad se separan y se envían a donde corresponde. Civic recibió el código fuente completo, las definiciones de infraestructura y la documentación para ejecutar y ampliar el pipeline en su propia cuenta, y las capacidades de enriquecimiento y briefing entregadas le proporcionan una vista previa funcional de la monitorización de sentimiento y tendencias que sus oficinas pidieron como siguiente paso.

  • 94,0 % de precisión de clasificación en el conjunto de pruebas independiente del cliente de 100 mensajes, frente a un umbral contractual del 85 % (macro F1 de 0,94)

  • 94,5 % de precisión en el conjunto de desarrollo de 200 mensajes, frente al 92,0 % antes del ajuste del prompt

  • 100 % de recall y 100 % de precisión en Casework y en Press Inquiry en el conjunto de pruebas independiente

  • El recall de Threat/Abuse mejoró del 70 % al 90 %, con un 100 % de precisión en el conjunto independiente

  • 3 plataformas y 5 categorías de intención cubiertas por un único pipeline desplegado, con nuevos mensajes clasificados en minutos desde su llegada

  • 8 de 12 rutas de lectura y respuesta de plataforma verificadas en vivo, con el resto condicionado a aprobaciones de plataforma en manos del cliente

  • 102 pruebas automatizadas entregadas junto con el pipeline, con todo el stack definido como código

  • Coste estimado de ejecución en AWS de aproximadamente 12 a 15 dólares estadounidenses al mes con un volumen de unos 10.000 mensajes

¿Listo para transformar su negocio con la IA?

Exploremos juntos sus oportunidades de IA de alto impacto en una sesión gratuita