Frequentemente reforçamos a importância do papel do linguista computacional no desenvolvimento de chatbots, e não é sem razão. Estes profissionais – que estudam a fundo a linguagem humana – são capazes de criar fluxos inteligentes e reduzir ao máximo as ambiguidades, tornando um chatbot ainda mais eficiente, mas eles também são responsável por uma atividade extremamente importante, a curadoria de chatbots.
Neste texto você vai entender mais sobre o processo de curadoria de chatbots, as vantagens desse trabalho e como a tecnologia já tem sido desenvolvida para fazer isso de forma automática. Oferecendo mais agilidade para as empresas e também análises automatizadas e claras sobre as conversas.
Para saber mais, basta continuar lendo esse conteúdo!
Aqui você vai ler:
- Introdução
- Como funciona o trabalho de curadoria
- Principais métricas para a curadoria de chatbot
- Acurácia
- Precisão
- Recall
- Medida F (ou F1 Score)
- Fallback
- Ubots Insights
Não é mais novidade que os chatbots estão dominando todos os setores do mercado. A tecnologia tem ganhado espaço e atuado de forma ativa dentro das empresas, em diversos setores e para públicos e demandas diferentes.
Segundo o Mapa do Ecossistema Brasileiro de Bots, só no último ano o desenvolvimento dos bots cresceu 114%. Mas sabemos que mesmo com todas as atualizações realizadas nos últimos anos e evoluções tecnológicas, os chatbots não são independentes e precisam ser constantemente revisados para que continuem a oferecer a melhor experiência possível aos usuários.
E, assim como um chatbot nunca está totalmente finalizado, o trabalho do linguista não se encerra quando o bot é publicado. Depois que o chatbot é divulgado para o público, inicia-se o trabalho de curadoria – isto é, o aperfeiçoamento da ferramenta.
Durante o processo de construção de um chatbot, os linguistas e profissionais de UX realizam uma análise da companhia, da linguagem utilizada por ela e da persona a quem ela atende, para dar início ao desenho do fluxo e das estruturas linguísticas que serão usadas pelo bot.
Dessa forma, o chatbot é construído com todas as características necessárias – e de forma personalizada – para atender às expectativas dos clientes e da própria marca. Esse trabalho inicial é fundamental, mesmo que seja possível reconstruir o bot do 0 depois. O ideal é criar um modelo inicial e, posteriormente, ir realizando atualizações com base nas informações coletadas das conversas realizadas pelo próprio bot.
Como funciona o trabalho de curadoria de chatbots?
O trabalho de criação inicial dos fluxos se dá, inicialmente, com suposições e estimativas de como se dará o atendimento do bot. Isso ocorre em casos onde a empresa não possui histórico de atendimento via chat ou não tem clareza quanto aos objetivos que o bot irá cumprir.
Com a publicação do bot, os linguistas passam a realizar o trabalho de curadoria, analisando as interações dos usuários com o robô. Dessa forma, é possível averiguar a real forma como os usuários se comunicam e adaptar a linguagem do bot através de treinos. Além disso, essa análise das interações reais com o bot permite identificar e solucionar ambiguidades que comprometam a compreensão do robô.
Veja como funciona o nosso trabalho de criação de chatbots e curadoria clicando aqui.
Durante o processo de curadoria, os linguistas também examinam os textos do chatbot para analisar se as informações fornecidas são apresentadas de forma completa e solucionam a demanda do cliente.
Por exemplo: um bot de um banco digital possuía uma intenção sobre 2ª via da fatura, para a qual informava o passo-a-passo de como gerar o documento. No entanto, percebeu-se durante a curadoria, que a demanda dos clientes era saber se o documento seria enviado por correio. A partir da análise dessas interações, é possível alterar o conteúdo da mensagem, adicionando a informação relevante ao cliente.
Além disso, os curadores buscam identificar nos diálogos as solicitações mais recorrentes e que ainda não fazem parte do escopo do bot. Com isso, podem sugerir a criação de novas intenções que possam se integrar e ampliar a base de conhecimento do chatbot.
Todas estas ações proporcionadas pela curadoria afetam diretamente a retenção do bot, por isso considera-se um processo essencial para o sucesso da ferramenta, e também no processo de gestão de atendimento ao cliente.
Quando os retreinos e a inclusão de novas intenções são feitos sem um estudo das interações reais do bot, as chances de ocorrerem ambiguidades e falhas na compreensão do robô são muito grandes. Sendo assim, é importante que este trabalho seja realizado por profissionais que compreendem profundamente a estrutura da língua e o design conversacional.
Com o estudo detalhado das interações entre usuários e robô, os linguistas são capazes determinar os objetivos do chatbot e tomar decisões a respeito de seu fluxo e suas funcionalidades. Em resumo, a curadoria de chatbot permite localizar as demandas e problemas mais relevantes para o público-alvo e propor melhorias para que o robô atenda, de forma assertiva e eficaz, um número cada vez maior de clientes.
Para te ajudar a compreender melhor, abaixo compartilhamos algumas métricas importantes a serem analisadas no trabalho de curadoria.
Principais métricas para a curadoria de chatbots
O primeiro conceito que precisamos entender para analisar a qualidade do bot construído é a matriz de confusão. A matriz nos permite realizar uma análise mais detalhada da situação do nosso classificador uma vez que ela distingue nossos resultados em quatro habilidades:
- True positive (TP) ou Verdadeiros Positivos (VP): casos em que retornamos a habilidade X e realmente era X;
- False positives (FP) ou Falsos positivos (FP): casos em que retornamos a habilidade X e na verdade era Y;
- True Negative (TN) ou Falsos Verdadeiros (FV): casos que retornamos que era habilidade Y e realmente eram.
- False Negative (FN) ou Falsos Negativos (FN): retornamos que não eram X e na verdade eram.
Acurácia
A acurácia é a proporção de mensagens identificadas corretamente (verdadeiros negativos e verdadeiros positivos) com a soma de todas classificações feitas pelo bot (verdadeiros positivos, falsos positivos, verdadeiros negativos, falsos negativos).
Essa métrica nos dá uma dimensão do quão bem o bot está conseguindo identificar assuntos que ele trata e que ele não está apto a tratar.
Para descobrir o índice correto você deve fazer o seguinte cálculo:
Precisão
Para calcular a precisão excluem-se as mensagens que o bot não conseguiu compreender (fallbacks) e se tem uma proporção das mensagens identificadas corretamente pelo bot (verdadeiros positivos) com a soma das mensagens identificadas pelo bot de forma correta ou não (verdadeiros positivos e falsos positivos).
Confira o cálculo:
Recall
Recall é a proporção entre as mensagens identificadas corretamente pelo bot (verdadeiros positivos) e a soma das mensagens identificadas corretamente e as que ele deveria ter identificado, mas falhou (falso negativo).
Confira o cálculo:
Medida F (ou F1 Score)
É a média harmônica entre precisão e revocação. Uma vez que seu valor está alto significa que a acurácia que obtivemos é relevante, ou seja, os valores de VP, VN, FP, FN aferidos não apresentam grandes distorções. Também pode-se interpretar como uma medida de confiabilidade da acurácia.
Confira o cálculo:
Fallback
Além disso, uma métrica importante a ser extraída é o percentual de falha na compreensão do bot.
O Índice de Fallback diz respeito ao percentual de mensagens, dentre todas as mensagens recebidas pelo bot, que o ele não conseguiu compreender. Quanto mais baixo o percentual, menos chances de o chatbot não compreender a mensagem do usuário.
Ubots Insights
Mas é claro que com toda a evolução tecnológica dos últimos anos, não termos uma ferramenta automática de curadoria. E por isso, viemos aqui falar um pouco sobre o nosso módulo Ubots Insights. A ferramenta de curadoria automática.
Os benefícios de contar com essa solução é que ela traz muito mais agilidade. Todo esse trabalho que nós comentamos acima, todas as métricas analisadas, e relatórios podem ser automatizados. A ferramenta consegue gerar relatórios extremamente precisos tanto quanti quando qualitativamente e oferecer insights com base nos dados analisados.
Tema alguma dúvida sobre o assunto? Nosso time de especialistas pode te ajudar! Entre em contato.
