G09 - Cómo supervisar agentes

Cómo supervisar agentes

Guíaborradorv0.2Etapa 7Actualizado: 2026-09-24

Contexto

Cubre las etapas 7 a 9: se especifica en el diseño, se prueba en la construcción y se vigila en la validación. Aplica el principio de humano en el ciclo a cada unidad agéntica que ejecuta tareas del proceso.

1. Especificar antes de encender

Un agente sin especificación no se puede supervisar: no hay contra qué comparar. Se registra en la Especificación de unidad agéntica.

Elemento Qué se define Ejemplo general
Tarea Una tarea del proceso, con entrada y salida Clasificar facturas de proveedor por centro de costos
Información Qué datos y documentos usa, y cuáles no puede usar Factura y catálogo de centros de costos; no datos bancarios
Límites Qué no puede hacer nunca. Las políticas del proceso se traducen aquí No aprueba pagos; no escribe al proveedor
Revisión humana Quién revisa, con nombre, en qué punto y con qué criterio La analista de cuentas por pagar revisa antes de registrar
Escalamiento Cuándo entrega el caso a una persona Confianza baja, dato faltante, monto fuera de rango
Criterio de éxito Qué precisión y volumen se esperan 95% de clasificaciones correctas en el piloto

2. Elegir el nivel de autonomía

La supervisión es proporcional al riesgo y a la autonomía del agente.

Nivel Cómo funciona Cuándo usarlo
Humano en el ciclo El agente propone; una persona aprueba cada caso antes de que tenga efecto Decisiones que afectan a clientes, dinero o derechos; agentes nuevos
Humano sobre el ciclo El agente ejecuta; una persona vigila indicadores y muestras, y puede intervenir o detener Tareas estables, reversibles, con precisión ya demostrada
Humano al mando Una persona decide si el agente se usa, en qué casos y cuándo se retira Siempre, en cualquier nivel

Autonomía que se gana

Todo agente empieza con humano en el ciclo. Pasa a humano sobre el ciclo solo cuando los datos del piloto demuestran la precisión acordada y el dueño del proceso lo aprueba.

Sesgo de automatización

Quien revisa 200 propuestas correctas deja de leer la 201. Rota revisores, mete casos de control con error conocido y mide cuántos se detectan.

3. Qué medir

Métrica Qué muestra Cómo se obtiene
Precisión Proporción de resultados correctos Muestra revisada por una persona contra el criterio
Tasa de excepciones Casos que el agente no pudo resolver Registro del agente
Tasa de escalamiento Casos entregados a una persona Registro del agente
Tasa de corrección humana Propuestas que el revisor cambió Registro de revisión
Costo por uso Costo de cada caso procesado Consumo ÷ casos

Estas métricas cuidan al agente; la hipótesis cuida el proceso. Un agente preciso que no mueve el indicador no justifica su costo.

4. Registro y trazabilidad

Cada caso debe poder reconstruirse. Se registra:

  • Entrada que recibió y fuente.
  • Resultado que propuso o ejecutó.
  • Versión del agente y de sus instrucciones.
  • Quién revisó, qué decidió y cuándo.
  • Si escaló, por qué.

Cambio de instrucciones = cambio controlado

Modificar las instrucciones de un agente cambia el proceso. Se prueba con los casos del piloto antes de ponerlo en operación y queda registrado.

5. Cuándo detener un agente

Todo agente tiene un mecanismo para detenerlo y una persona con autoridad para usarlo. Se detiene si:

  • La precisión cae bajo el umbral acordado.
  • Aparece un error con efecto en un cliente, en dinero o en datos personales.
  • Actúa fuera de sus límites, aunque el resultado parezca correcto.
  • Las excepciones o los escalamientos se disparan.
  • El costo por uso supera el valor que genera.
  • Cambia una política o un sistema del que depende.

Al detenerlo, el proceso sigue con el procedimiento manual documentado. Si ese procedimiento no existe, el agente no está listo para operar.

Proceso general

Atención a clientes: un agente redacta respuestas a reclamaciones. Empieza con humano en el ciclo. Tras ocho semanas con 97% de respuestas aceptadas sin cambios, las consultas simples pasan a humano sobre el ciclo con muestreo diario. Las reclamaciones con monto siguen caso por caso.

Ejemplo ilustrativo: seguros

Conciliación de descuentos por nómina: un agente de IA compara el archivo de descuentos de cada dependencia contra las pólizas vigentes y propone qué diferencias reclamar al empleador. Empieza con humano en el ciclo; tras varias quincenas con alta precisión, las diferencias menores pasan a muestreo, pero toda cancelación de póliza sigue caso por caso.

Ejemplo ilustrativo: manufactura

Ajuste de parámetros de inyección: un agente de IA compara las mediciones de cada disparo de la inyectora contra la especificación y propone ajustes de temperatura y presión. Empieza con humano en el ciclo; tras varias semanas con alta precisión, los ajustes menores pasan a muestreo, pero toda decisión de mandar un lote a scrap o de detener la máquina sigue caso por caso.

Ejemplo ilustrativo: retail

Cambios de precio: un agente de IA compara los precios del punto de venta de cada tienda contra la lista vigente y propone qué correcciones aplicar. Empieza con humano en el ciclo; tras varias semanas con alta precisión, las correcciones menores pasan a muestreo, pero toda rebaja mayor al 20% sigue caso por caso.

Criterio de cierre

  • Especificación completa: tarea, información, límites, revisor con nombre, escalamiento y criterio de éxito.
  • Nivel de autonomía definido y aprobado por el dueño del proceso.
  • Métricas de supervisión con umbral y responsable.
  • Registro que permite reconstruir cada caso.
  • Mecanismo de detención probado y persona autorizada nombrada.
  • Procedimiento manual de respaldo documentado.
  • Piloto con resultados medidos antes de ampliar autonomía.

Fuentes

Relacionado

Ruta de lectura (9 de 9): ← G08 - El Product Manager como Product Owner · índice · fin de las guías

Mencionado en