O que a porcentagem de consultas resolvidas por um agente de IA mede de fato

Uma empresa ativa um agente de IA para suporte. O dashboard mostra que 85% das conversas se encerram sem passar para um humano. Três semanas depois, o mesmo dashboard continua em 85%, e a equipe de suporte segue recebendo a mesma quantidade de reclamações por WhatsApp de sempre, só que agora dizem "já perguntei pro seu bot e não me ajudou". O número subiu. O atendimento não.

O que aquele 85% mede de fato?

Mede quantas conversas não chegaram a um humano, nada mais. Esse número, a taxa de contenção ou deflexão, conta exatamente igual um cliente que recebeu a resposta correta e um que se cansou e fechou a janela. Para o dashboard, as duas conversas são um sucesso idêntico.

O defeito está no desenho da métrica: contar "chegou a um humano, sim ou não" é fácil de instrumentar. Contar "o problema do cliente desapareceu" exige saber o que aconteceu depois que a conversa terminou, e esse dado quase nunca está no mesmo dashboard.

Quanto se resolve de verdade, e não apenas se contém?

Aqui vale um número exato em vez de uma intuição. A Gartner entrevistou 5.728 clientes em dezembro de 2023 e descobriu que apenas 14% dos problemas de atendimento ao cliente se resolvem por completo no autoatendimento. Mesmo nos casos que o próprio cliente descreve como "muito simples", a resolução completa chega a apenas 36%.

A proporção importa mais do que o número isolado: se 14 de cada 100 problemas se resolvem de ponta a ponta, os outros 86 não desapareceram, só deixaram de gerar um ticket com nome e sobrenome. Continuam ali, e em algum momento voltam, quase sempre por outro canal, com o cliente um pouco mais frustrado do que na primeira vez.

Se não é o modelo que falha, onde está o problema?

A mesma pesquisa da Gartner dá uma pista que vai parecer familiar a um leitor técnico: em 43% dos casos em que o autoatendimento falhou, o motivo foi que o cliente não encontrou conteúdo relevante para o problema dele. Não foi que o modelo raciocinou mal. Foi que a resposta correta não estava onde o sistema buscou, ou não existia num formato recuperável.

(Se você trabalha com RAG há mais de uma semana, esse número não surpreende. É o mesmo sintoma de sempre com um nome novo.)

Um 45% adicional de clientes sentiu que "a empresa não entendeu o que eu estava tentando fazer": a versão em linguagem de pesquisa de uma intenção mal resolvida, um passo antes de o modelo chegar a gerar qualquer texto. Os dois números apontam para o mesmo lugar, a base de conhecimento e como a consulta é interpretada antes de buscar nela, e nenhum dos dois pede um modelo maior.

Qual métrica realmente diz se o atendimento melhorou?

A contenção responde "evitamos o contato humano?". A que importa responde uma pergunta diferente: "o cliente voltou a escrever sobre a mesma coisa?". Essa segunda pergunta é a taxa de recontato, e tem uma vantagem que a primeira não tem: é muito mais difícil de inflar. Um agente pode parecer convincente e encerrar uma conversa sem resolver nada; o que ele não consegue fazer é evitar que esse mesmo cliente escreva de novo dois dias depois se o problema ainda estava ali.

Nenhuma métrica isolada basta. A contenção sem a taxa de recontato é um número de custo, não de qualidade. As duas juntas começam a dizer algo real: contenção alta com recontato baixo é sinal de que o agente resolve; contenção alta com recontato alto é sinal de que o agente está muito bem treinado para se despedir.

Por que essa métrica muda a negociação do contrato?

Porque define o que se paga. Um desconto por volume de mensagens premia que haja mais mensagens, que é justamente o número que a empresa quer reduzir: se o agente resolve pior e precisa de seis idas e voltas onde antes bastavam duas, a fatura sobe. O fornecedor cobra mais quando trabalha pior, e não há como defender isso numa mesa de negociação.

Um desconto atado à resolução inverte o incentivo. A unidade é a conversa resolvida, então o preço por unidade cai à medida que sobe a proporção que se encerra sem um humano. As duas partes acabam olhando para o mesmo número, que é a única forma de uma discussão de preço deixar de ser um cabo de guerra.

Com uma ressalva, que é a tese deste artigo: um desconto atado só à contenção paga fechamentos, não resoluções. Para que o incentivo fique bem posto, a condição precisa incluir o recontato. Contenção alta com recontato alto não é um resultado que mereça desconto.

Como medir isso sem montar um dashboard novo do zero?

Não é preciso um sistema de avaliação sofisticado para começar. Basta marcar cada conversa encerrada pelo agente com o tema e o cliente, e cruzar isso com os novos contatos do mesmo cliente sobre o mesmo tema numa janela fixa: 48 ou 72 horas costuma bastar. Esse cruzamento já está nos logs de qualquer sistema de mensageria. É trabalho de consulta sobre dados que já existem.

O que determina o resultado é qual número a equipe olha primeiro na revisão semanal. Uma equipe que começa olhando contenção termina ajustando o prompt para encerrar conversas mais rápido. Uma que começa olhando recontato termina ajustando a base de conhecimento e as regras de escalonamento, que é onde o problema realmente vivia.

A métrica que uma equipe escolhe olhar primeiro acaba sendo a que essa equipe otimiza, para o bem ou para o mal. Antes de subir o número de contenção de um agente, vale perguntar qual dos dois problemas está sendo resolvido de fato.

---

Fontes: Gartner, "Gartner Survey Finds Only 14% of Customer Service Issues Are Fully Resolved in Self-Service" (comunicado de imprensa, 19 de agosto de 2024, gartner.com). Pesquisa com 5.728 clientes, dezembro de 2023.