Qué mide en realidad el porcentaje de consultas resueltas por un agente de IA

Una empresa activa un agente de IA para soporte. El dashboard muestra que el 85% de las conversaciones se cierran sin pasar a un humano. Tres semanas después, el mismo dashboard sigue en 85% y el equipo de soporte sigue recibiendo la misma cantidad de reclamos por WhatsApp de siempre, solo que ahora dicen "ya le pregunté a tu bot y no me sirvió". El número subió. La atención no.

¿Qué mide en realidad ese 85%?

Mide cuántas conversaciones no llegaron a un humano, nada más. Ese número, la tasa de contención o deflección, cuenta exactamente igual a un cliente que recibió la respuesta correcta que a uno que se cansó y cerró la ventana. Para el dashboard, las dos conversaciones son un éxito idéntico.

El defecto es de diseño de la métrica: contar "llegó a un humano sí o no" es fácil de instrumentar. Contar "el problema del cliente desapareció" exige saber qué pasó después de que la conversación terminó, y ese dato casi nunca está en el mismo dashboard.

¿Cuánto se resuelve de verdad, y no solo se contiene?

Acá conviene un número exacto en vez de una intuición. Gartner encuestó a 5.728 clientes en diciembre de 2023 y encontró que solo el 14% de los problemas de servicio al cliente se resuelve por completo en autoservicio. Incluso en los casos que el propio cliente describe como "muy simples", la resolución completa llega apenas al 36%.

La proporción importa más que el número solo: si 14 de cada 100 problemas se resuelven de punta a punta, los otros 86 no desaparecieron, solo dejaron de generar un ticket con nombre y apellido. Siguen ahí, y en algún momento vuelven, casi siempre por otro canal, con el cliente un poco más frustrado que la primera vez.

Si no es el modelo el que falla, ¿dónde está el problema?

La misma encuesta de Gartner da una pista que a un lector técnico le va a sonar conocida: en el 43% de los casos en que el autoservicio falló, la razón fue que el cliente no encontró contenido relevante para su problema. No fue que el modelo razonó mal. Fue que la respuesta correcta no estaba donde el sistema buscó, o no existía en un formato que se pudiera recuperar.

(Si trabajás con RAG hace más de una semana, este número no te sorprende. Es el mismo síntoma de siempre con un nombre nuevo.)

Un 45% adicional de clientes sintió que "la empresa no entendió lo que estaba tratando de hacer": la versión en lenguaje de encuesta de una intención mal resuelta, un paso antes de que el modelo llegue a generar cualquier texto. Los dos números señalan al mismo lugar, la base de conocimiento y cómo se interpreta la consulta antes de buscar en ella, y ninguno pide un modelo más grande.

¿Qué métrica sí dice si la atención mejoró?

La contención responde "¿evitamos el contacto humano?". La que hace falta responde una pregunta distinta: "¿el cliente volvió a escribir por lo mismo?". Esa segunda pregunta es la tasa de recontacto, y tiene una ventaja que la primera no tiene: es mucho más difícil de inflar. Un agente puede sonar convincente y cerrar una conversación sin resolver nada; lo que no puede hacer es evitar que ese mismo cliente vuelva a escribir dos días después si el problema seguía ahí.

Ninguna métrica sola alcanza. La contención sin la tasa de recontacto es un número de costo, no de calidad. Las dos juntas empiezan a decir algo real: contención alta más recontacto bajo es señal de que el agente resuelve; contención alta con recontacto alto es señal de que el agente está muy bien entrenado para despedirse.

¿Por qué esta métrica cambia la negociación del contrato?

Porque define qué se paga. Un descuento por volumen de mensajes premia que haya más mensajes, que es justo el número que la empresa quiere bajar: si el agente resuelve peor y necesita seis idas y vueltas donde antes hacían falta dos, la factura sube. El proveedor cobra más cuando trabaja peor, y eso no hay forma de defenderlo en una mesa.

Un descuento atado a la resolución invierte el incentivo. La unidad es la conversación resuelta, así que el precio por unidad baja a medida que sube la proporción que se cierra sin un humano. Las dos partes terminan mirando el mismo número, que es la única forma de que una discusión de precio deje de ser un tira y afloje.

Con una salvedad, que es la tesis de este artículo: un descuento atado solo a la contención paga cierres, no resoluciones. Para que el incentivo quede bien puesto, la condición tiene que incluir el recontacto. Contención alta con recontacto alto no es un resultado que merezca un descuento.

¿Cómo se mide esto sin armar un dashboard nuevo desde cero?

No hace falta un sistema de evaluación sofisticado para empezar. Alcanza con taguear cada conversación cerrada por el agente con el tema y el cliente, y cruzar eso contra los contactos nuevos del mismo cliente sobre el mismo tema en una ventana fija: 48 o 72 horas suele alcanzar. Ese cruce ya está en los logs de cualquier sistema de mensajería. Es trabajo de consulta sobre datos que ya existen.

Lo que determina el resultado es qué número mira el equipo primero en la revisión semanal. Un equipo que arranca mirando contención termina afinando el prompt para cerrar conversaciones más rápido. Uno que arranca mirando recontacto termina afinando la base de conocimiento y las reglas de escalamiento, que es donde de verdad vivía el problema.

La métrica que un equipo elige mirar primero termina siendo la que ese equipo termina optimizando, para bien o para mal. Antes de subir el número de contención de un agente, vale la pena preguntar cuál de los dos problemas se está resolviendo en realidad.

---

Fuentes: Gartner, "Gartner Survey Finds Only 14% of Customer Service Issues Are Fully Resolved in Self-Service" (comunicado de prensa, 19 de agosto de 2024, gartner.com). Encuesta a 5.728 clientes, diciembre de 2023.