Un agente de IA funciona cuando resuelve una parte útil del proceso, sabe cuándo no debe seguir y entrega a una persona el contexto necesario para continuar. Medir solo número de conversaciones o velocidad de respuesta puede ocultar problemas graves: respuestas incorrectas, tareas mal ejecutadas, escalados tardíos o un coste por resolución demasiado alto.
La evaluación debería combinar negocio, calidad, seguridad y operación. Si estás valorando esta tecnología, puedes revisar también nuestra página de agentes de voz con IA y la ruta de Agentes de IA.
La métrica principal no es cuántas conversaciones atiende
El volumen sirve para dimensionar, pero no demuestra valor. La pregunta importante es qué resultado consigue cada conversación y con qué nivel de supervisión.
| Métrica | Qué responde |
|---|---|
| Resolución | ¿El usuario consiguió lo que necesitaba? |
| Escalado | ¿El agente supo cuándo pasar el caso? |
| Error | ¿Dio información o ejecutó acciones incorrectas? |
| Coste por resolución | ¿El sistema aporta eficiencia real? |
| Tiempo hasta resultado | ¿Reduce espera o solo añade pasos? |
1. Tasa de resolución útil
Define primero qué significa “resuelto”. En atención al cliente puede ser cerrar una consulta sin recontacto. En ventas puede ser recopilar información suficiente y agendar una reunión. En operaciones puede ser ejecutar una tarea y dejarla registrada.
No marques como éxito una conversación que termina porque el usuario abandona. Conviene diferenciar resolución confirmada, abandono, escalado y cierre no concluyente.
2. Tasa y calidad de escalado
Un buen agente no intenta resolverlo todo. Debe escalar cuando faltan permisos, existe riesgo, el cliente lo solicita, el caso sale de política o la conversación requiere criterio humano.
Twilio documenta patrones de handoff donde el agente transfiere la conversación junto con contexto y motivo del escalado. Esa segunda parte es esencial: un traspaso que obliga al usuario a repetirlo todo destruye parte del valor generado.
3. Errores de información y errores de acción
No todos los errores tienen el mismo impacto. Separa al menos cuatro tipos:
- respuesta incorrecta o no sustentada;
- uso de información desactualizada;
- acción equivocada en una herramienta;
- omisión de un escalado necesario.
Una respuesta imprecisa en una pregunta general no tiene el mismo riesgo que modificar una cita, registrar un dato sensible o prometer una condición comercial. La evaluación debe ponderar gravedad, no solo contar fallos.
4. Coste por conversación y coste por resultado
El coste real puede incluir modelo, voz, transcripción, telefonía, herramientas, búsquedas, automatizaciones, almacenamiento y soporte. Por eso conviene calcular dos ratios: coste por conversación y coste por resultado útil.
Un agente más caro por minuto puede ser mejor negocio si resuelve más casos, reduce recontactos o evita trabajo manual posterior.
5. Latencia y experiencia
En voz, unos segundos de espera se perciben mucho más que en email. En chat, el problema puede ser generar respuestas largas antes de ejecutar una acción. Mide tiempo hasta primera respuesta, tiempo hasta completar la tarea y número de turnos necesarios.
También revisa interrupciones, repeticiones, preguntas innecesarias y si el agente entiende cambios de intención.
6. Calidad del contexto y de las herramientas
Cuando el agente consulta CRM, calendario, base documental o sistemas internos, registra qué herramienta utilizó, si obtuvo datos correctos y si la acción posterior se completó. La llamada a herramientas permite conectar modelos con sistemas externos, pero la fiabilidad final depende también de permisos, APIs y reglas de negocio.
Un cuadro de mando mínimo
- conversaciones totales;
- resoluciones confirmadas;
- escalados y motivo;
- errores por severidad;
- recontactos;
- tiempo medio hasta resultado;
- coste por conversación y por resolución;
- acciones ejecutadas y fallidas;
- satisfacción o feedback cuando sea relevante.
Cómo revisar una muestra de conversaciones
Las métricas agregadas no sustituyen la revisión cualitativa. Cada semana selecciona muestras de éxitos, escalados, abandonos y errores. Busca patrones: preguntas que generan confusión, fuentes poco fiables, instrucciones demasiado amplias o herramientas que fallan.
El objetivo no es “entrenar al agente” de forma abstracta, sino corregir causas concretas: conocimiento, prompt, regla, integración, permiso o política de escalado.
Qué debería mejorar con el tiempo
Un agente maduro debería necesitar menos intervenciones en casos repetitivos sin aumentar errores; escalar antes los casos sensibles; reducir turnos innecesarios; y mantener un coste estable por resolución. Si la automatización crece pero también crecen las correcciones humanas, probablemente se está optimizando la métrica equivocada.
Si quieres revisar cómo medir un agente actual o diseñar uno con indicadores desde el inicio, puedes plantearnos el proceso. En WEDOIT trabajamos la conversación junto con la acción posterior, el handoff y el control.
Preguntas frecuentes
¿Qué tasa de resolución debería tener un agente?
No existe un porcentaje universal. Depende del alcance. Un agente limitado a consultas repetitivas debería resolver más que uno que filtra casos complejos antes de escalarlos.
¿Un escalado es un fracaso?
No. Puede ser exactamente el comportamiento correcto. El problema es escalar demasiado pronto, demasiado tarde o sin contexto.
¿Cómo detectar respuestas aparentemente correctas pero falsas?
Con fuentes controladas, pruebas de casos conocidos, revisión de muestras y reglas que impidan responder con seguridad cuando falta evidencia.
