Chatbot ou agente de IA no WhatsApp: seis testes para saber qual você tem

Há chatbots que são vendidos como agentes de IA e agentes que se apresentam como mais um chatbot. O nome não ajuda. O que ajuda é testar: seis testes com mensagens que qualquer pessoa pode digitar do celular, sem ver o código nem pedir uma demonstração guiada.

Qual é a diferença entre um chatbot e um agente de IA?

Um chatbot percorre um caminho montado de antemão. Um agente interpreta o que a pessoa diz, decide o que fazer e pode consultar ou alterar dados em outros sistemas. Um chatbot pode usar um modelo de linguagem para redigir melhor suas respostas e continuar sendo um chatbot, porque o percurso continua fixo.

Que testes fazer?

1. Mudar de assunto no meio do caminho. Comece uma consulta e, na terceira mensagem, pergunte outra coisa. Um agente responde a nova e retoma a anterior, se fizer sentido. Um chatbot por regras volta ao menu ou repete a pergunta.

2. Pedir duas coisas em uma mensagem. "Quero mudar meu endereço e saber quando chega meu pedido." Um agente separa as duas. Um chatbot costuma responder uma e perder a outra.

3. Fazer uma pergunta que não está em nenhuma lista. Algo razoável, mas incomum. Um agente tenta resolver ou diz com clareza o que não consegue fazer. Um chatbot responde com uma frase genérica.

4. Perguntar pelo status de algo seu. Um pedido, um pagamento, um agendamento. Se responder com dados reais, está conectado a um sistema. Se só disser como consultar, não está.

5. Pedir para falar com uma pessoa. Um bom agente encaminha sem discutir e com um resumo. Verifique se a pessoa que recebe a conversa já sabe o que aconteceu ou se você precisa repetir tudo.

6. Corrigi-lo. Diga que ele errou e dê o dado correto. Um agente ajusta a resposta. Um chatbot repete a anterior.

O que significa o resultado?

• Quatro ou mais testes superados: provavelmente é um agente com acesso a dados.
• Dois ou três: pode ser um chatbot com um modelo de linguagem por cima. Serve para consultas gerais.
• Um ou nenhum: é um chatbot por regras. Funciona bem se o universo de consultas for pequeno e estável.

Nenhum dos três resultados é ruim em si. O que importa é que o que você contrata coincida com o que você precisa.

Por que isso importa desde outubro?

Porque a Meta cobra as mensagens de serviço, e um chatbot que dá voltas envia mais mensagens por consulta do que um que resolve. A quantidade de mensagens enviadas por consulta resolvida passou a ser um dado de custo, além de um dado de qualidade. Você pode anotá-lo enquanto faz os testes.

O que acontece por dentro de cada um?

Um chatbot por regras compara o que o cliente escreve com uma lista de intenções ou palavras-chave e devolve a resposta associada. Não decide: procura a correspondência mais próxima. Um chatbot com modelo de linguagem redige melhor, mas o caminho continua sendo o que foi montado para ele.

Um agente funciona como um ciclo. Lê a mensagem, decide o que precisa saber, consulta uma ferramenta (um sistema, uma base de conhecimento, uma agenda), olha o resultado, decide o passo seguinte e só então responde ou age. Se a ferramenta devolve um erro, pode tentar de novo ou encaminhar. Essa capacidade de decidir com o que encontra é o que faz o comportamento parecer diferente nos testes acima.

Como fazer os seis testes, com mensagens concretas

Para que sejam comparáveis entre fornecedores, use as mesmas mensagens em todos. Alguns exemplos que servem como ponto de partida; troque-os por consultas do seu negócio:

Teste 1, mudança de assunto. Primeira mensagem: "Quero saber o preço do plano básico." Segunda: "Ah, e antes disso, vocês atendem aos sábados?" Terceira: "Voltando ao preço, inclui suporte?" Um bom resultado responde as três coisas e lembra de qual plano se falava.

Teste 2, dois pedidos em uma mensagem. "Preciso mudar o endereço de entrega e saber quando chega meu pedido." Um bom resultado separa os dois pedidos e os resolve, ou diz qual não consegue resolver e por quê.

Teste 3, pergunta fora da lista. Algo razoável que ninguém previu: "Se eu pagar em duas parcelas, posso trocar o produto depois?" Um bom resultado tenta responder com o que sabe ou diz com clareza que não consegue e encaminha. Um mau resultado responde com uma frase genérica que não tem nada a ver.

Teste 4, status de algo seu. "Onde está meu pedido?" com um número de pedido real. Um bom resultado devolve o status. Um mau resultado explica como consultá-lo.

Teste 5, pedir uma pessoa. "Quero falar com alguém." Um bom resultado encaminha sem discutir. Depois confira do outro lado: a pessoa que recebe a conversa vê um resumo ou precisa reler tudo?

Teste 6, correção. "Não, o endereço é outro: Av. Corrientes 1234." Um bom resultado atualiza e confirma. Um mau resultado repete o endereço anterior.

Como registrar o que aconteceu?

Uma planilha com três colunas basta: a mensagem que você enviou, o que ele respondeu e se estava correto. Acrescente uma quarta com quantas mensagens enviadas ele precisou para resolver cada teste, porque é o dado que depois vira custo. Com quinze minutos e dois fornecedores, você tem uma comparação que vale mais do que qualquer página de produto.

Quanto custa errar de ferramenta?

Errar para baixo (contratar um chatbot quando você precisava de um agente) se nota em a equipe continuar atendendo quase tudo, porque os encaminhamentos são altos e as consultas com dados não se resolvem. Errar para cima (contratar um agente para consultas de informação geral) se nota no custo: você paga por uma capacidade que não usa. Os dois erros se corrigem, mas o primeiro se descobre tarde: costuma aparecer depois de vários meses de contrato.

Que perguntas fazer ao fornecedor depois dos testes?

• Que sistemas ele consegue consultar e alterar hoje, e quais exigem desenvolvimento?
• Quantas mensagens enviadas ele manda, em média, por conversa resolvida?
• O que acontece quando ele não sabe? Como é o encaminhamento do outro lado?
• Como as conversas são revisadas e quem as revisa?
• O que conta como conversa resolvida na cobrança?

Se o fornecedor responder essas cinco com exemplos reais, você já sabe mais do que com qualquer demonstração.

O que convém fazer conforme quantos testes ele passou?

Com quatro ou mais superados, o próximo passo é medir custos: quantas mensagens enviadas ele manda por conversa resolvida e o que a cobrança inclui. Com dois ou três, convém definir quais consultas ficam sem resolver e quanto cada uma custa em tempo da equipe, porque é isso que se pagaria para passar a um agente. Com um ou nenhum, convém se perguntar se o universo de consultas é pequeno e estável: se for, um chatbot por regras continua sendo uma opção válida e barata. E se não for, você já sabe que precisa de outra coisa.

O que muda quando se acrescenta a voz?

Os seis testes valem igualmente para um agente de voz, com uma complicação: as respostas são dadas em tempo real e os erros de transcrição são mais frequentes do que os de escrita. Ditar um e-mail, um número de pedido ou um sobrenome é o caso mais difícil. Um agente de voz bem montado confirma o que entendeu ("É a, b, c arroba…?") ou abre um canal escrito em paralelo para que o cliente digite o dado. Para avaliar um, acrescente um sétimo teste: dite um dado complicado e veja como ele lida com isso.

Como isso aparece em uma operação real?

Uma empresa que recebe consultas de clientes pelo WhatsApp e leads por anúncios costuma ter as duas necessidades: um chatbot ou agente que responda perguntas frequentes e outro que qualifique leads e consulte pedidos. Algumas empresas começam com um chatbot por regras para as perguntas mais frequentes e, à medida que descobrem quantas consultas ficam sem resolver, passam a um agente para o que exige dados e ações. É um caminho razoável. O que convém evitar é contratar um agente sem ter medido antes quais consultas chegam, porque aí não há como saber se valeu a pena.

O que acontece quando o cliente manda um áudio ou uma imagem?

É uma situação cotidiana no WhatsApp e um bom teste extra. Um chatbot por regras costuma ignorar o áudio ou pedir que se escreva. Um agente mais completo transcreve o áudio, interpreta a imagem quando é relevante (uma foto de um produto danificado, um comprovante) e responde de acordo. Se a sua operação recebe muitos áudios, acrescente este teste antes de decidir: mande um áudio de dez segundos com uma consulta clara e veja o que ele faz. Com a cobrança por mensagem, um áudio mal interpretado custa duas vezes: a resposta errada e a correção.

Como explicar esses testes a quem decide a compra?

Com uma frase: "Não olhamos o que o fornecedor diz que faz, olhamos o que ele faz com as suas mensagens." Os seis testes levam menos de uma hora, não exigem conhecimento técnico e produzem uma planilha que pode ser compartilhada com qualquer pessoa da equipe. Quem decide a compra não precisa entender como funciona um modelo de linguagem: precisa ver, com as próprias consultas, a diferença entre o que ele resolve e o que não resolve. E se o fornecedor se recusar a deixar você fazer os testes com as suas mensagens, essa também é uma resposta.

O que fazer com o que você encontrou?

Se você procura um agente e o que tem é um chatbot, não é preciso mudar tudo. Anote quais consultas ficam sem resolver e quanto custam em tempo da equipe. Esse é o argumento para decidir se vale dar o passo e com qual processo começar.

Ferramenta do post

Os seis testes, com pontuação

Teste no seu WhatsApp ou no de um fornecedor e marque o que aconteceu.

Mudei de assunto no meio do caminho e ele respondeu bem às duas coisas (+1)Pedi duas coisas em uma única mensagem e ele resolveu as duas (+1)Fiz uma pergunta fora da lista e ele lidou com ela com bom senso (+1)Perguntei pelo status real de algo (pedido, pagamento, agendamento) e ele respondeu com dados (+1)Pedi uma pessoa e ele encaminhou com resumo (+1)Corrigi e ele ajustou a resposta (+1)

0 de 6

Chatbot por regras

Funciona se o universo de consultas for pequeno e estável. Para consultas variadas ou com dados do cliente, vai ficar aquém.

Este objeto também tem página própria, caso queira mandar só ela.