La Fábrica de Soluciones

Volver a los casos

Caso FIT · PAT-11

Observabilidad de agentes con traza por herramienta

Caso de usoPatrón transversal para soluciones con agentes

Componente de FIT usado en demos y pruebas de concepto.

Contexto

Ocurre en cualquier solución donde un agente llama herramientas que leen o cambian sistemas. Cuando el agente responde mal o deja un caso a medias, el equipo que lo opera no sabe qué hizo, en qué orden ni con qué datos. Las trazas propias de la plataforma de agentes suelen ser volátiles y no se pueden consultar después.

El reto

Cuando un agente responde mal o deja un caso a medias, sin registro de qué herramientas llamó, con qué datos y en qué orden, no se puede explicar el error ni evitar que se repita.

Cómo se resolvió

Cada herramienta del agente se envuelve para registrar en un formato común las entradas, un extracto del resultado, los errores, la duración y qué agente la invocó. El modelo solo ve el resultado; la traza va a un registro aparte que, junto con la auditoría de los sistemas propios, arma una línea de tiempo por caso. Las pruebas de comportamiento leen esas trazas y fallan si el agente usó herramientas equivocadas o en otro orden, y una revisión automática rechaza herramientas sin traza.

Roles

  • Desarrollador de agentes
  • Administrador de la solución que revisa la línea de tiempo

Antes y después

Antes

Solo se ve la respuesta final del agente

Con IA

Cada llamada a una herramienta queda registrada y se puede revisar

Qué queda registrado en cada paso

Qué queda registrado en cada paso: Observabilidad de agentes con traza por herramientaLínea de tiempo en 5 eventos. 1. Entra la solicitud del usuario. Registra: Identificador del caso, canal y agente que la recibe. 2. El orquestador deriva al especialista. Registra: Clasificación elegida y agente invocado. 3. El especialista llama una herramienta. Registra: Entradas, duración, extracto del resultado y errores. 4. El sistema ejecuta la acción. Registra: Inicio y fin del paso en el registro de auditoría del caso. 5. Se cierra o se escala el ticket. Registra: Estado final y su identificador.Entra lasolicitud delusuarioRegistraIdentificadordel caso, canaly agente que larecibeEl orquestadorderiva alespecialistaRegistraClasificaciónelegida y agenteinvocadoEl especialistallama unaherramientaRegistraEntradas,duración,extracto delresultado yerroresEl sistemaejecuta laacciónRegistraInicio y fin delpaso en elregistro deauditoría delcasoSe cierra o seescala elticketRegistraEstado final ysu identificador
Qué queda registrado en cada paso: Observabilidad de agentes con traza por herramientaLínea de tiempo en 5 eventos. 1. Entra la solicitud del usuario. Registra: Identificador del caso, canal y agente que la recibe. 2. El orquestador deriva al especialista. Registra: Clasificación elegida y agente invocado. 3. El especialista llama una herramienta. Registra: Entradas, duración, extracto del resultado y errores. 4. El sistema ejecuta la acción. Registra: Inicio y fin del paso en el registro de auditoría del caso. 5. Se cierra o se escala el ticket. Registra: Estado final y su identificador.Entra la solicitud del usuarioRegistraIdentificador del caso, canal y agente quela recibeEl orquestador deriva alespecialistaRegistraClasificación elegida y agente invocadoEl especialista llama unaherramientaRegistraEntradas, duración, extracto del resultadoy erroresEl sistema ejecuta la acciónRegistraInicio y fin del paso en el registro deauditoría del casoSe cierra o se escala el ticketRegistraEstado final y su identificador

Cómo funciona

  1. Cada herramienta del agente se envuelve con un registrador común; una revisión automática en cada commit y en la integración continua rechaza herramientas sin él.
  2. En cada llamada se registra identificador de traza, herramienta, dominio, inicio, duración, entradas, un extracto del resultado, errores y qué agente la invocó.
  3. El modelo recibe solo el resultado; la traza va a un registro aparte.
  4. Los sistemas propios que atienden las herramientas escriben además un registro de auditoría por caso, con el inicio y el fin de cada paso.
  5. Con esos registros se arma una línea de tiempo por agente y por caso que se actualiza en vivo.
  6. Las pruebas de comportamiento envían un caso al agente, leen las trazas y fallan si faltó una herramienta esperada, si el orden fue otro o si se usó una prohibida.

Sistemas

  • Plataforma de agentes
  • Sistemas que atienden las herramientas
  • Registro de trazas y auditoría
  • Integración continua

Capacidades

  • Orquestación de agentes en tareas de varios pasos
  • Monitoreo proactivo y alertas con contexto

Quién hace qué

Flujo de trabajo: Observabilidad de agentes con traza por herramientaFlujo en 5 pasos, en carriles de personas, agentes de IA y sistemas. 1. Agentes de IA: Llama una herramienta 2. Sistemas: Registra entradas, resultado y duración 3. Sistemas: Arma línea de tiempo del caso 4. Sistemas: Prueba compara orden esperado 5. Personas: Revisa desvíos y corrigePersonasAgentesde IASistemasLlama unaherramientaRegistraentradas,resultado yduraciónArma línea detiempo delcasoPruebacompara ordenesperadoRevisadesvíos ycorrige
Flujo de trabajo: Observabilidad de agentes con traza por herramientaFlujo en 5 pasos, en carriles de personas, agentes de IA y sistemas. 1. Agentes de IA: Llama una herramienta 2. Sistemas: Registra entradas, resultado y duración 3. Sistemas: Arma línea de tiempo del caso 4. Sistemas: Prueba compara orden esperado 5. Personas: Revisa desvíos y corrigeAgente de IALlama una herramientaSistemaRegistra entradas, resultado yduraciónSistemaArma línea de tiempo del casoSistemaPrueba compara orden esperadoPersonaRevisa desvíos y corrige

Criterios de éxito

IndicadorCómo se mideResultado
Porcentaje de herramientas con trazaCómo se mideHerramientas con el registrador común sobre el total de herramientas del repositorio, según la revisión automática.ResultadoSe mide en el piloto.
Casos con línea de tiempo completaCómo se mideCasos cuya traza va de la solicitud al estado final sin pasos faltantes, en muestra semanal.ResultadoSe mide en el piloto.
Escenarios de comportamiento aprobadosCómo se mideEscenarios cuyo orden de herramientas y estado final coinciden con lo esperado, sobre el total ejecutado.ResultadoSe mide en el piloto.
Tiempo para explicar un caso fallidoCómo se mideMinutos desde que se reporta un caso fallido hasta identificar el paso y la herramienta responsables.ResultadoSe mide en el piloto.

Lecciones

  1. Evaluar solo la respuesta final esconde errores: un caso bien cerrado por el camino equivocado falla con el siguiente.
  2. Si la plataforma de agentes no expone sus trazas, el registro tiene que vivir en los sistemas propios que atienden las herramientas.
  3. La traza no entra al contexto del modelo; mezclarla con el resultado ensucia su razonamiento.

Controles clave

Trazas de punta a punta por conversación · Registro de decisiones y acciones del agente · Pruebas de regresión al cambiar modelo, prompt o datos · Identidad propia del agente y trazabilidad de acciones

Implementación de referencia: Acelerador sobre watsonx Orchestrate ADK con registro propio y línea de tiempo, usado en el IA Roadshow con IBM; la exportación a OpenTelemetry está diseñada y pendiente.

Quiero revisar esto con FIT: Felipe Arentsen · felipe.arentsen@factorit.com

FIT Labs · La Fábrica de Soluciones