Curadoria de chatbots: por que isso é importante?

Constantemente reforçamos a importância do papel do linguista no desenvolvimento de chatbots e não é sem razão. Estes profissionais que estudam a fundo a linguagem humana são capazes de criar fluxos inteligentes e reduzir ao máximo as ambiguidades, tornando um chatbot ainda mais eficiente.

 

Assim como um chatbot nunca está totalmente finalizado, o trabalho do linguista não se encerra quando o bot é publicado. Depois que o bot é divulgado para o público, inicia-se o trabalho de curadoria – isto é, o aperfeiçoamento da ferramenta.

 

Durante o processo de construção de um chatbot, os linguistas e profissionais de UX realizam uma análise da companhia, da linguagem utilizada por ela e da persona a quem ela atende, para dar início ao desenho do fluxo e das estruturas linguísticas que serão usadas pelo bot.

 

Como funciona o trabalho de curadoria?

 

Por vezes, este trabalho de criação de fluxos é baseado em suposições e estimativas de como se dará o atendimento via bot. Isso ocorre em casos onde a empresa não possui histórico de atendimento via chat ou não tem clareza quanto aos objetivos que o bot irá cumprir.

Com a publicação do bot, os linguistas passam a realizar o trabalho de curadoria, analisando as interações dos usuários com o robô. Dessa forma, é possível averiguar a real forma como os usuários se comunicam e adaptar a linguagem do bot através de retreinos. Além disso, essa análise das interações reais com o bot permite identificar e solucionar ambiguidades que comprometam a compreensão do robô. 

 

Veja como funciona o nosso trabalho de criação de chatbots e curadoria clicando aqui.

 

Durante o processo de curadoria, os linguistas também examinam os textos do chatbot para verificar se as informações fornecidas são apresentadas de forma completa e solucionam a demanda do cliente.

 

Por exemplo: um bot de um banco digital possuía uma intenção sobre 2ª via da fatura, para a qual informava o passo-a-passo de como gerar o documento. No entanto, percebeu-se durante a curadoria, que a demanda dos clientes era saber se o documento seria enviado por correio. A partir da análise dessas interações, é possível alterar o conteúdo da mensagem, adicionando a informação relevante ao cliente.

 

Além disso, os curadores buscam identificar nos diálogos as solicitações mais recorrentes e que ainda não fazem parte do escopo do bot. Com isso, podem sugerir a criação de novas intenções que possam se integrar e ampliar a base de conhecimento do chatbot.

Todas estas ações proporcionadas pela curadoria afetam diretamente a retenção do bot, por isso considera-se um processo essencial para o sucesso da ferramenta, e também no processo de gestão de atendimento ao cliente.

 

Quando os retreinos e a inclusão de novas intenções são feitos sem um estudo das interações reais do bot, as chances de ocorrerem ambiguidades e falhas na compreensão do robô são muito grandes. Sendo assim, é importante que este trabalho seja realizado por profissionais que compreendem profundamente a estrutura da língua e o design conversacional.

 

Com o estudo detalhado das interações entre usuários e robô, os linguistas são capazes determinar os objetivos do chatbot e tomar decisões a respeito de seu fluxo e suas funcionalidades. Em resumo, a curadoria de chatbot permite localizar as demandas e problemas mais relevantes para o público-alvo e propor melhorias para que o robô atenda, de forma assertiva e eficaz, um número cada vez maior de clientes.

 

Para te ajudar a compreender melhor, abaixo compartilhamos algumas métricas importantes a serem analisadas no trabalho de curadoria.

 

Principais métricas para a curadoria de chatbot

 

O primeiro conceito que precisamos entender para analisar a qualidade do bot construído é a matriz de confusão.  A matriz nos permite realizar uma análise mais detalhada da situação do nosso classificador uma vez que ela distingue nossos resultados em quatro habilidades:

 

 

•  True positive (TP) ou Verdadeiros Positivos (VP): casos em que retornamos a habilidade X e realmente era X;
• False positives (FP) ou Falsos positivos (FP): casos em que retornamos a habilidade X e na verdade era Y;
• True Negative (TN) ou Falsos Verdadeiros (FV): casos que retornamos que era habilidade Y e realmente eram.
• False Negative (FN) ou Falsos Negativos (FN): retornamos que não eram X e na verdade eram.

 

Acurácia

 

A acurácia é a proporção de mensagens identificadas corretamente (verdadeiros negativos e verdadeiros positivos) com a soma de todas classificações feitas pelo bot (verdadeiros positivos, falsos positivos, verdadeiros negativos, falsos negativos).

 

Essa métrica nos dá uma dimensão do quão bem o bot está conseguindo identificar assuntos que ele trata e que ele não está apto a tratar.

Para descobrir o índice correto você deve fazer o seguinte cálculo:

 

 

Precisão

Para calcular a precisão excluem-se as mensagens que o bot não conseguiu compreender (fallbacks) e se tem uma proporção das mensagens identificadas corretamente pelo bot (verdadeiros positivos) com a soma das mensagens identificadas pelo bot de forma correta ou não (verdadeiros positivos e falsos positivos).

 

Confira o cálculo:

 

Recall

 

Recall é a proporção entre as mensagens identificadas corretamente pelo bot (verdadeiros positivos) e a soma das mensagens identificadas corretamente e as que ele deveria ter identificado, mas falhou (falso negativo).

 

Confira o cálculo:

 

Medida F (ou F1 Score)

 

É a média harmônica entre precisão e revocação. Uma vez que seu valor está alto significa que a acurácia que obtivemos é relevante, ou seja, os valores de VP, VN, FP, FN aferidos não apresentam grandes distorções. Também pode-se interpretar como uma medida de confiabilidade da acurácia.

 

Confira o cálculo:

 

Fallback

Além disso, uma métrica importante a ser extraída é o percentual de falha na compreensão do bot.

O Índice de Fallback diz respeito ao percentual de mensagens, dentre todas as mensagens recebidas pelo bot, que o ele não conseguiu compreender. Quanto mais baixo o percentual, menos chances de o chatbot não compreender a mensagem do usuário.

 

Tema alguma dúvida sobre o assunto? Nosso time de especialistas pode te ajudar! Entre em contato.