Constantemente reforçamos a importância do papel do linguista no desenvolvimento de chatbots e não é sem razão. Estes profissionais que estudam a fundo a linguagem humana são capazes de criar fluxos inteligentes e reduzir ao máximo as ambiguidades, tornando um chatbot ainda mais eficiente.
Assim como um chatbot nunca está totalmente finalizado, o trabalho do linguista não se encerra quando o bot é publicado. Depois que o bot é divulgado para o público, inicia-se o trabalho de curadoria – isto é, o aperfeiçoamento da ferramenta.
Durante o processo de construção de um chatbot, os linguistas e profissionais de UX realizam uma análise da companhia, da linguagem utilizada por ela e da persona a quem ela atende, para dar início ao desenho do fluxo e das estruturas linguísticas que serão usadas pelo bot.
Como funciona o trabalho de curadoria?
Por vezes, este trabalho de criação de fluxos é baseado em suposições e estimativas de como se dará o atendimento via bot. Isso ocorre em casos onde a empresa não possui histórico de atendimento via chat ou não tem clareza quanto aos objetivos que o bot irá cumprir.
Com a publicação do bot, os linguistas passam a realizar o trabalho de curadoria, analisando as interações dos usuários com o robô. Dessa forma, é possível averiguar a real forma como os usuários se comunicam e adaptar a linguagem do bot através de retreinos. Além disso, essa análise das interações reais com o bot permite identificar e solucionar ambiguidades que comprometam a compreensão do robô.
Veja como funciona o nosso trabalho de criação de chatbots e curadoria clicando aqui.
Durante o processo de curadoria, os linguistas também examinam os textos do chatbot para verificar se as informações fornecidas são apresentadas de forma completa e solucionam a demanda do cliente.
Por exemplo: um bot de um banco digital possuía uma intenção sobre 2ª via da fatura, para a qual informava o passo-a-passo de como gerar o documento. No entanto, percebeu-se durante a curadoria, que a demanda dos clientes era saber se o documento seria enviado por correio. A partir da análise dessas interações, é possível alterar o conteúdo da mensagem, adicionando a informação relevante ao cliente.
Além disso, os curadores buscam identificar nos diálogos as solicitações mais recorrentes e que ainda não fazem parte do escopo do bot. Com isso, podem sugerir a criação de novas intenções que possam se integrar e ampliar a base de conhecimento do chatbot.
Todas estas ações proporcionadas pela curadoria afetam diretamente a retenção do bot, por isso considera-se um processo essencial para o sucesso da ferramenta, e também no processo de gestão de atendimento ao cliente.
Quando os retreinos e a inclusão de novas intenções são feitos sem um estudo das interações reais do bot, as chances de ocorrerem ambiguidades e falhas na compreensão do robô são muito grandes. Sendo assim, é importante que este trabalho seja realizado por profissionais que compreendem profundamente a estrutura da língua e o design conversacional.
Com o estudo detalhado das interações entre usuários e robô, os linguistas são capazes determinar os objetivos do chatbot e tomar decisões a respeito de seu fluxo e suas funcionalidades. Em resumo, a curadoria de chatbot permite localizar as demandas e problemas mais relevantes para o público-alvo e propor melhorias para que o robô atenda, de forma assertiva e eficaz, um número cada vez maior de clientes.
Para te ajudar a compreender melhor, abaixo compartilhamos algumas métricas importantes a serem analisadas no trabalho de curadoria.
Principais métricas para a curadoria de chatbot
O primeiro conceito que precisamos entender para analisar a qualidade do bot construído é a matriz de confusão. A matriz nos permite realizar uma análise mais detalhada da situação do nosso classificador uma vez que ela distingue nossos resultados em quatro habilidades:
- True positive (TP) ou Verdadeiros Positivos (VP): casos em que retornamos a habilidade X e realmente era X;
- False positives (FP) ou Falsos positivos (FP): casos em que retornamos a habilidade X e na verdade era Y;
- True Negative (TN) ou Falsos Verdadeiros (FV): casos que retornamos que era habilidade Y e realmente eram.
- False Negative (FN) ou Falsos Negativos (FN): retornamos que não eram X e na verdade eram.
Acurácia
A acurácia é a proporção de mensagens identificadas corretamente (verdadeiros negativos e verdadeiros positivos) com a soma de todas classificações feitas pelo bot (verdadeiros positivos, falsos positivos, verdadeiros negativos, falsos negativos).
Essa métrica nos dá uma dimensão do quão bem o bot está conseguindo identificar assuntos que ele trata e que ele não está apto a tratar.
Para descobrir o índice correto você deve fazer o seguinte cálculo:
Precisão
Para calcular a precisão excluem-se as mensagens que o bot não conseguiu compreender (fallbacks) e se tem uma proporção das mensagens identificadas corretamente pelo bot (verdadeiros positivos) com a soma das mensagens identificadas pelo bot de forma correta ou não (verdadeiros positivos e falsos positivos).
Confira o cálculo:
Recall
Recall é a proporção entre as mensagens identificadas corretamente pelo bot (verdadeiros positivos) e a soma das mensagens identificadas corretamente e as que ele deveria ter identificado, mas falhou (falso negativo).
Confira o cálculo:
Medida F (ou F1 Score)
É a média harmônica entre precisão e revocação. Uma vez que seu valor está alto significa que a acurácia que obtivemos é relevante, ou seja, os valores de VP, VN, FP, FN aferidos não apresentam grandes distorções. Também pode-se interpretar como uma medida de confiabilidade da acurácia.
Confira o cálculo:
Fallback
Além disso, uma métrica importante a ser extraída é o percentual de falha na compreensão do bot.
O Índice de Fallback diz respeito ao percentual de mensagens, dentre todas as mensagens recebidas pelo bot, que o ele não conseguiu compreender. Quanto mais baixo o percentual, menos chances de o chatbot não compreender a mensagem do usuário.
Tema alguma dúvida sobre o assunto? Nosso time de especialistas pode te ajudar! Entre em contato.
