03/20/2019
By
MJV Team

8 métricas para você avaliar o sucesso do seu chatbot

Agora que você desenvolveu o seu chatbot, veja todos os principais KPIs aos quais você deve ficar atento para aprimorar e avaliar o impacto da ferramenta!

Se você acompanhou a nossa série sobre chatbots até aqui, certamente já tem uma boa ideia de como desenvolver um bot na sua empresa. Para que a sua estratégia seja um sucesso, ainda é preciso definir quais métricas acompanhará. Afinal, o processo de aprimoramento deve ser contínuo e focado nas necessidades reais do cliente.

Continuando as nossas postagens, vamos falar um pouco sobre os principais indicadores que devem ser usados para testar o desempenho do seu robô conversacional. Assim, você pode planejar treinamentos e ajudá-lo a se tornar um verdadeiro membro do seu time. Confira logo a seguir!

1. Net Promoter Score (NPS)

O NPS é um excelente termômetro para sua estratégia com chatbots. Para acompanhar a métrica, você deve fazer a seguinte pergunta para o usuário ao final da sessão: de 0 a 10, como você avalia o atendimento?

Com o resultado, é possível dividir os clientes em três grupos:

  • Promotores: são aqueles que voltariam a utilizar o bot e indicariam o serviço para outras pessoas. Marcaram 9 ou 10;
  • Neutros: como o nome sugere, tiveram uma experiência neutra com o chatbot. Esses avaliaram com notas entre 7 e 8;
  • Detratores: não gostaram da experiência e provavelmente contraindicarão o seu bot. São aqueles que assinalaram entre 0 e 6.

A maioria das empresas converte o NPS para um sistema de 5 estrelas. Para isso, basta enquadrar as notas que vimos acima em um espectro reduzido — as avaliações 9 e 10 estariam contempladas na quinta estrela, por exemplo.

2. Chatbot Rates (CR)

O CR é outra métrica interessante. Basicamente, ao final do atendimento ou de cada resposta oferecida ao usuário, você pede uma avaliação positiva ou negativa da experiência. Aqui, vale abusar dos emojis: você pode criar botões “thumbs up” e “thumbs down”, por exemplo.

Exemplo:

Essa resposta foi útil?

👍 ou 👎

Com os resultados, é possível direcionar o retreino do bot ou revisar as entidades e intenções que colocou no modelo de IA (se houver).

Não esqueça de considerar os usuários que não responderam ao questionário o mesmo é válido no caso do NPS. Entender o motivo de não terem interagido com o sistema de avaliação também pode trazer insights interessantes para promover melhorias.

3. Fall Back Rates (FBR)

A maioria dos chatbots conta com respostas fall back, programadas para atender o usuário caso ele “explore” caminhos ainda não conhecidos pelo seu robô. Normalmente, o atendente virtual diz que não sabe atender aquela demanda.

Acompanhar a incidência desse tipo de resposta é fundamental. Afinal, isso pode significar a necessidade de treinamentos ou, simplesmente, a identificação de novas intenções e entidades não previstas na concepção do bot.

Se dividirmos o número de vezes que o chatbot teve que utilizar uma resposta fall back pelo total de mensagens, teremos a taxa de confusão.

Taxa de confusão = número de respostas fallback / total de respostas oferecidas

4. Usuários ativos

Essa métrica é bastante utilizada nas estratégias com chatbots. Com ela, você descobre quantas pessoas estão interagindo com o seu bot em um determinado período pode ser um acompanhamento diário, semanal, mensal etc. Se o número for baixo, significa que você deve repensar a sua abordagem, escolher outros canais e até rever o design do robô.

Para ter uma visão completa do cenário, uma métrica que costuma ser utilizada em conjunto com essa é a taxa de retenção.

5. Taxa de retenção

Como vimos, não basta acompanhar os usuários ativos, é preciso destinar uma atenção especial à taxa de retenção. A métrica tem o objetivo de descobrir quantos usuários voltaram a utilizar o bot em um determinado período de tempo.

É claro, uma taxa de retenção alta significa que a sua estratégia está no caminho certo. Provavelmente os usuários estão satisfeitos e a conversação com o bot realmente atende as necessidades.

6. Interações por conversação

A taxa de interações por conversação tem como objetivo descobrir quantas vezes o usuário trocou mensagens com o seu bot durante uma sessão. É preciso tomar muito cuidado ao utilizar essa métrica, pois cada chatbot possui estratégias e propósitos próprios.

Um chatbot destinado ao atendimento, por exemplo, pode ter taxas de interações baixas, já que o objetivo final é atender prontamente o usuário. Se estivermos falando de um chatbot voltado para o entretenimento (storytelling), por outro lado, taxas de interações altas significam que os usuários estão explorando ao máximo todas as funcionalidades do robô!

7. Goal Completion Rate (GCR)

Será que o chatbot está cumprindo o seu propósito original? Para descobrir a resposta, é interessante acompanhar a Goal Completion Rate (GCR). Essa métrica busca verificar quantas vezes o bot está fazendo as entregas esperadas pela empresa e pelo usuário.

Seu objetivo é captar leads? Então quantas vezes o chatbot conseguiu os dados solicitados ao usuário? A ideia é realizar um atendimento? Quantas vezes o bot foi capaz de solucionar o problema dos consumidores?

8. Session Length

A Session Lenght  (duração média da sessão) pode ser avaliada em conjunto com outra métrica que já vimos: as interações por conversação. A diferença é que esse indicador fornece outros insights sobre o nosso robô conversacional.

Será que meu cliente perde muito tempo lendo as mensagens? Os botões utilizados são confusos? O texto é de fácil leitura? Esses são apenas alguns exemplos de respostas que podemos obter com esse indicador.

Novamente, o critério de avaliação para o sucesso dessa métrica depende da estratégia e o propósito do chatbot.

Como acompanhar os indicadores?

Para a nossa sorte, a maioria das ferramentas destinadas ao desenvolvimento de chatbots possuem dashboards próprios, com as principais métricas a serem acompanhadas na sua estratégia. Alguns exemplos são interfaces como o Hubspot e o Blip.

Caso você utilize alguma ferramenta que não apresente os indicadores esperados, é interessante contar com soluções destinadas especificamente para a análise de chatbots, como o Chatbase e o Dashbot, por exemplo.

Como melhorar os resultados?

Chatbots são ferramentas relativamente novas. Não existem modelos pré-formatados ou fórmulas mágicas para obter melhores resultados. A saída? Testar e explorar ao máximo o potencial da ferramenta!

Os testes A/B nunca foram tão importantes. Você deve promover melhorias aos poucos e manter o monitoramento de cada uma dessas métricas. Esse trabalho exige o máximo de criatividade dos UX writers e UX designers, que devem procurar novas formas de promover uma boa experiência para o usuário.

O que achou da nossa postagem? Enquanto preparamos o último post da nossa série, baixar o nosso guia prático completo de como aplicar User Experience em sua empresa?

ACESSAR AGORA

Voltar