Diretrizes para o desenvolvimento de IAs conversacionais

A Microsoft lançou em novembro deste ano uma série de diretrizes para ajudar clientes e desenvolvedores a pensarem em maneiras de construir chatbots e outras ferramentas conversacionais baseadas em Inteligência Artificial de forma responsável. Segundo a empresa, tais orientações partem de suas próprias experiências no desenvolvimento de tecnologias que aplicam IA.

Confira abaixo a tradução das diretrizes para o desenvolvimento responsável de interfaces conversacionais baseadas em IA.

Bots responsáveis: 10 diretrizes para desenvolvedores de IAs conversacionais

Cada vez mais pessoas estão utilizando bots no dia-a-dia, seja para obter uma resposta rápida para um problema ou para obter ajuda com tarefas como agendamentos, checar a previsão do tempo ou pedir uma pizza. Os bots – ou de uma forma geral, as IAs conversacionais – têm a capacidade de ajudar as pessoas a alcançarem mais objetivos e estamos apenas começando a enxergar seu potencial de expandir o que podemos fazer.

Para que as pessoas e a sociedade sejam capazes de perceber todo o potencial dos bots, eles precisam ser desenvolvidos de tal forma que possam ganhar a confiança dos outros. Estas diretrizes têm como objetivo ajudar você a desenvolver um bot que gere confiança na empresa e nos serviços que ele represente. Estas diretrizes não têm a intenção de servir como aconselhamento jurídico e você deve garantir separadamente que seu bot esteja em conformidade com os rápidos desenvolvimentos desta área. Ainda, ao projetar seu bot, você precisa levar em consideração uma série de responsabilidades que se tem ao desenvolver um sistema de IA centrado em dados, incluindo ética, privacidade, segurança, proteção, inclusão, transparência e responsabilidade. Veja, por exemplo, os seis princípios da Microsoft para o desenvolvimento responsável de IA publicado em Janeiro de 2018 no livro The Future Computed.

Estas diretrizes são apenas isto – diretrizes e, em grande parte, não são regras rígidas. Estas diretrizes são importante para bots que possam afetar as pessoas de maneiras consequenciais – seja ajudando as pessoas a navegar informações relativas ao emprego, finanças, saúde ou afins. Você deve usar seu melhor julgamento ao aplicar estas diretrizes, sempre tendo em vista a questão fundamental de saber se o seu design proporcionará uma experiência que os usuários finais apreciem, de uma forma que adquira sua confiança na sua empresa ou serviços.

Diretrizes

1. Articule o propósito do seu bot e tome um cuidado especial se seu bot sirva a usos consequenciais

O propósito do seu bot é central para o design ético e este é particularmente importante quando se sabe, antecipadamente, que o bot que você está desenvolvendo servirá a um uso consequencial. Casos de uso consequencial incluem acesso a serviços como assistência médica, educação, emprego, financeiro ou outros serviços que, caso sejam negados, podem ter um impacto significativo na vida das pessoas.

– Antes de começar o trabalho de desenvolvimento, especifique como o seu bot beneficiará o usuário ou a entidade implantando o bot. Se seu bot é capaz de afetar o bem-estar do usuário, seja providenciando o acesso a um serviço consequencial como assistência médica, é necessário prestar atenção a estas diretrizes. Pesquise, aprenda e pondere sobre o impacto do bot nas vidas das pessoas. Caso tenha dúvidas, busque orientação.

– Avalie se a finalidade do bot pode ser executada de forma responsável. Alguns propósitos podem exigir, inerentemente, o julgamento humano, empatia, expertise ou um alto nível de confiabilidade e precisão – por exemplo, diagnósticos de saúde ou planejamento financeiro. Considere se você tem acesso à expertise relevante no domínio em que seu bot irá atuar.

– Desenvolva métricas para avaliar a satisfação do usuário. As métricas do seu bot devem cobrir não somente se o usuário sente que o bot serviu à sua finalidade, mas também se o usuário teve uma sensação de bem-estar e conforto ao utilizar o bot.

2. Seja transparente quanto ao fato de que você utiliza bots como parte de seu produto ou serviço.

Os usuários tendem a confiar mais em empresas que sejam transparentes sobre o uso de bots e um bot é mais provável de ser confiável se os usuários entendem que ele está servindo às suas necessidades e deixa claras as suas limitações.

– Deve ficar claro para o usuário que ele não está interagindo com outra pessoa. Mesmo que os designers dotem seus botes com uma personalidade e capacidades de linguagem natural, é importante assegurar aos seus usuários que eles não estão interagindo com outra pessoa e que alguns aspectos desta interação estão sendo executados por um robô. Existe uma variedade de escolhas de design que podem ser feitas para garantir que isso não estrague a experiência do usuário.

– Estabeleça como o bot pode ajudar e as limitações associadas ao seu uso. Os usuários tendem a confiar mais em um bot quando este define expectativas razoáveis sobre o que ele pode fazer e o que não consegue fazer muito bem. Os usuários devem ser capazes de achar informações facilmente sobre as limitações do bot, incluindo as possibilidades de erro e as consequências que podem surgir de tais erros. Para os usuários que desejam “aprender mais”, você deve oferecer uma explicação mais detalhada sobre a finalidade e a operação do bot.

3. Garanta uma transferência fluida para um atendente humano quando a demanda ultrapassa a competência do bot

Se o seu bot se envolver com pessoas em interações que possam exigir o julgamento humano, proporcione um meio ou um acesso rápido a um atendente humano.

– Respeite as preferências de envolvimento individuais, especialmente se seu bot lida com assuntos consequenciais. Bots desenvolvidos para atuar em assuntos consequenciais devem incorporar a capacidade de transferir a conversa para um atendente humano assim que o usuário solicitar ou se o bot reconhecer (por análise de sentimento, por exemplo) que o usuário está insatisfeito. Se os usuários se sentem presos ou alienados pelo bot, eles rapidamente perderão a confiança na tecnologia e na empresa que a está implementando.

4. Projete seu bot para que ele respeite normas culturais relevantes e proteja-o contra o uso indevido

Uma vez que os bots podem ter personas que se assemelham a humanos, é especialmente importante que eles interajam de forma respeitosa e segura com os usuários e que tenham salvaguardas e protocolos integrados para lidar com uso indevido e abuso.

– Limite a área de superfície para violações de normas sempre que possível. Todo bot deve ser projetado para seguir uma série de valores e normas culturais específicas. Para reduzir a possibilidade de conflito com esses valores e normas culturais, limite a área de superfície para violações de normas. Por exemplo, se seu bot é projetado para receber encomendas de pizzas, limite-o a apenas este propósito, de modo que ele não se envolva em temas como raça, gênero, religião, política e afins.

– Quando apropriado, aponte para um código de conduta relevante aos usuários. Avalie se seu bot deve estar sujeito a um código de conduta do usuário (de sua organização ou da entidade que está implantando o bot) que, por exemplo, inclua proibições quanto a discursos de ódio, bullying e ameaças a terceiros, e forneça notificações adequadas aos usuários sobre qualquer código de conduta.

– Aplique técnicas de machine learning e mecanismos de filtragem de palavras-chave para que seu bot detecte e responda apropriadamente a mensagens sensíveis ou ofensivas de seus usuários. Implante um mecanismo de filtragem bidirecional com um limite customizável de tolerância para o que seu bot recebe dos usuários, assim como para o que ele os responde. Na maioria dos casos, recomendamos que o bot evite temas controversos (especialmente discursos de ódio). Conversas de domínio aberto são consideradas de alto risco, pois requerem um investimento significativo em capacidade de operações de conteúdo e monitoramento de mídias sociais e devem ser mantidas 24/7 com SLA de correção de bugs. Você deve fazer uso de produtos que incluem classificadores de texto para proteger seu bot de abusos, caso ele se envolva em conversas de domínio aberto. Categorias sensíveis incluem conteúdo adulto, extremismos, drogas, álcool e tabaco, profanidade, vulgaridade, assédio, bullying, violência e sangue, e discursos de ódio (relacionado a raça ou etnia, identidade de gênero ou sexualidade, religião ou pessoas com deficiências, por exemplo). APIs de bots voltados para o público também devem ser revisadas para avaliar se podem ser utilizadas por pessoas de fora de sua organização para criar um bot que poderia se envolver em discursos de ódio, o que poderia ter um reflexo ruim em sua organização.

5. Garanta que seu bot é confiável

Garanta que seu bot é suficientemente confiável para a função que visa executar e sempre leve em consideração que, uma vez que os sistemas de IA trabalham com probabilidades, ele nem sempre fornecerá a resposta correta.

– Estabeleça métricas de confiabilidade e as revise periodicamente. Considere quais perguntas o seu bot deve responder e teste sua performance e eficiência rigorosamente. Como o desempenho de bots baseados em IA pode variar entre o seu desenvolvimento e implementação – e no decorrer do tempo ao passo que o bot interage com novos usuários e em novos contextos – é importante monitorar continuamente sua confiabilidade. Sinais de confiabilidade podem ser desenvolvidos para ajudar na tomada de decisão sobre quando transferir o atendimento para um humano ou quando o bot deve anunciar que não é capaz de desempenhar a função solicitada corretamente. Se um bot baseado em IA consegue determinar quando cometeu um erro, esse fato deve ser comunicado ao usuário.

– Seja transparente quanto à confiabilidade do bot. Especialmente em relação a bots que atuam em domínios sensíveis, você deve disponibilizar informações acerca da confiabilidade do bot, tais como um sumário de estatísticas gerais de performance, desempenho em circunstâncias especiais ou num contexto de exemplos específicos.

– Desenvolva habilidades de rastreamento em seu bot. Quando ocorre algum erro durante uma interação de alto valor, o rastreamento (monitoramento e auditoria) se torna importante, de modo a solucionar o problema.

– Forneça um mecanismo de feedback. Os usuários se sentirão mais confortáveis com um bot se puderem oferecer um feedback sobre sua operação (e feedback é essencial em qualquer evento, como em todo o trabalho de desenvolvimento de produto). Os bots devem proativamente solicitar feedback. Defina as expectativas quanto a se o usuário receberá qualquer resposta ao feedback fornecido.

– Para usos sensíveis, obtenha conhecimento de domínio. Se você está construindo um bot para realizar serviços nas áreas de saúde, trabalho, finanças ou aplicação da lei, certifique-se de obter e levar em consideração contribuições de especialistas nessas áreas quando estiver projetando e implantando seu bot.

6. Certifique-se de que seu bot trata as pessoas de uma forma justa

A possibilidade de bots baseados em IA perpetuarem preconceitos sociais existentes, ou criarem novos preconceitos, é uma das maiores preocupações identificadas pela comunidade de inteligência artificial com relação à rápida implantação de IA. Os times de desenvolvimento devem estar comprometidos em assegurar que seus bot irão tratar as pessoas de uma forma justa.

– Avalie sistematicamente os dados usados no treinamento de seu bot. Avalie sistematicamente os dados usados para treinar seu bot para garantir que há qualidade e representatividade apropriada e tome medidas para entender a linhagem e os atributos relevantes dos dados de treinamento. Conforme as ferramentas de detecção de preconceito se tornam mais amplamente disponíveis, adote-as como uma medida adicional para garantir que seu bot seja justo e torne essas ferramentas disponíveis para que seus clientes as adotem e usem.

– Busque diversidade em seu time de desenvolvimento. Empregando uma equipe diversificada focada no design, desenvolvimento e testagem do bot ajudará a garantir que seu bot opere de forma justa.

7. Certifique-se que seu bot respeita a privacidade dos usuários

Considerações sobre privacidade são especialmente importantes para os bots. Enquanto o Bot Framework da Microsoft não armazena o estado da sessão, você pode projetar e implantar bots autenticados em configurações pessoais (como hospitais), onde os bots irão aprender muito sobre os usuários. As pessoas podem compartilhar mais informações sobre si mesmas com um bot do que compartilhariam se pensassem estar interagindo com outra pessoa. E, é claro, os bots podem se lembrar de tudo. Tudo isso (mais os requisitos legais) torna especialmente importante que você projete um bot desde o início com foco no respeito pela privacidade do usuário. Isso inclui dar aos usuários transparência suficiente quanto à coleta e ao uso dos dados obtidos pelo bot, além de informações sobre as funções do bot e quais os tipos de controle que o bot oferece aos usuários sobre seus dados pessoais.

– Informe prontamente os usuários sobre os dados que são coletados, como são utilizados e obtenha seu consentimento prévio. Forneça acesso fácil a uma declaração de privacidade válida e a um contrato de serviço aplicável e inclua uma “página de perfil” para que os usuários obtenham informações sobre o bot com links para informações legais e sobre privacidade relevantes. Disponibilizar essas informações e garantir fácil acesso a elas logo na primeira experiência do usuário é altamente recomendável.

– Não colete mais dados pessoais do que você precisa, limite o acesso a eles e não os armazene por mais tempo do que o necessário. Colete apenas os dados pessoais que são essenciais para que seu bot opere com eficiência. Se seu bot compartilhará esses dados (com outro bot, por exemplo), não se esqueça de compartilhar apenas a quantidade mínima de dados do usuário necessários para competir com a função solicitada em nome do usuário. Se você disponibilizar o acesso aos dados dos usuários do bot a outros agentes, faça isso apenas pelo tempo mínimo necessário para competir com a função solicitada. Sempre dê aos usuários a oportunidade de escolher com quais agentes o bot poderá compartilhar seus dados e quais dados poderão ser compartilhados. Considere se você pode limpar os dados do usuário armazenados de tempos em tempos enquanto ainda permite que seu bot aprenda. Períodos de retenção mais curtos minimizam os riscos de segurança para os usuários e ajudarão a posicionar seu bot como amigável à privacidade.

– Forneça controles de usuário que protejam sua privacidade. Para bots que armazenam informações pessoais, como bots autenticados, considere fornecer um botão “Mostre-me tudo o que você sabe sobre mim” e botões semelhantes a “Esqueça minha última interação”, “Exclua tudo o que você sabe sobre mim, ” e assim por diante. Em alguns casos, esses botões podem ser legalmente exigidos.

– Obtenha uma revisão legal e de privacidade. Os aspectos de privacidade do design de bots estão sujeitos a requisitos legais importantes e cada vez mais rigorosos. Certifique-se de obter uma análise legal e de privacidade das práticas de privacidade do seu bot por meio dos canais apropriados em sua organização.

8. Certifique-se que seu bot manipula os dados com segurança

Os usuários têm todo o direito de esperar que seus dados sejam manipulados com segurança. Siga boas práticas de segurança que sejam apropriadas para cada tipo de dados que seu bot manipule.

– Estabeleça fundamentos de desenvolvimento e operação seguros. Fundamentos tradicionais de segurança de software são críticos. Assim como qualquer sistema de IA, seu bot deve assegurar uma autenticação apropriada, separação de direitos, validação de input e mitigações para ataques de negação de serviço.

– Seu bot deve ser resiliente. Construa seu bot para identificar comportamentos anormais e prevenir manipulação. Identifique “usuários” (que na verdade podem ser bots maliciosos) que se desviam das normas estabelecidas por grandes grupos de outros usuários – tais como usuários que parecem responder muito rápido, não dormem ou acionam caminhos do seu bot que outros os usuários não.

– Garanta a integridade dos seus dados de treinamento. Todos os sistemas de IA devem ser capazes de distinguir dados cadastrados de forma maliciosa (os quais devem ser removidos) e dados que são simplesmente raros, mas que são válidos e potencialmente importantes. Isso é particularmente crítico para bots que utilizam técnicas de aprendizado automático ou supervisionado.

– Obtenha revisões de segurança. Se disponível, trabalhe com um time apropriado de segurança dentro da sua organização para conduzir uma revisão de segurança em seu bot e serviços de suporte. Dada a relação próxima entre segurança e privacidade nesse espaço, uma revisão conjunta de segurança e privacidade é recomendável para garantir uma cobertura mais ampla e profunda.

9. Garanta a acessibilidade do seu bot

Os bots podem beneficiar a todos, mas somente se eles forem desenvolvidos para serem inclusivos e acessíveis a todas as pessoas. A missão da Microsoft de empedrar todas as pessoas para que alcancem mais objetivos inclui a garantia de que novas interfaces tecnológicas possam ser utilizadas por pessoas com deficiências, incluindo usuários de tecnologias assistivas.

– Se você está desenvolvendo um bot, considere como o seu bot está em conformidade com os padrões de acessibilidade comumente usados. Clientes com necessidades especiais devem ser capazes de utilizar eu bot de forma tão eficiente quanto aqueles que não as têm.

– Tenha pessoas com deficiências testando o seu bot. Além da conformidade com padrões de acessibilidade, receber um feedback de usuários com deficiências sobre o seu bot antes de lançá-lo irá ajudá-lo a determinar se seu bot pode ser utilizado da forma como pretendido pelo público mais amplo possível.

– Construa seu bot para que ele respeite a gama completa de habilidades humanas. Desenvolva seu bot para reconhecer exclusão, aprender com a diversidade e resolver as restrições de capacidade.

10. Aceite a responsabilidade

Estamos muito longe ainda de bots que possam atuar verdadeiramente de forma autônoma, se é que isso um dia acontecerá. Os humanos são responsáveis pela operação do bot.

– Os desenvolvedores são responsáveis pelos bots que implantam. Se você está desenvolvendo um bot que sua empresa implantará, você deve reconhecer que é completamente responsável pela sua operação e como isso afeta as pessoas. Se você está desenvolvendo um bot que será implantado por terceiros, chegue a um entendimento compartilhado com eles sobre quem será o responsável final pelo bot e documente esse acordo.

Se você quiser conferir o documento original, acesse Responsible bots: 10 guidelines for developers of conversational AI.