Um chatbot que faz perguntas pode ajudar você a perceber quando algo não faz sentido.

Engajar nosso pensamento crítico é uma maneira de evitar ser enganado por IA mentirosa.

Chatbots de IA como o ChatGPT e Bard são excelentes em criar frases que parecem ser escritas por humanos. No entanto, eles muitas vezes apresentam falsidades como fatos e possuem uma lógica inconsistente, o que pode ser difícil de identificar.

Uma maneira de contornar esse problema, de acordo com um novo estudo, é mudar a forma como a IA apresenta informações. Fazer com que os usuários se envolvam de forma mais ativa com as afirmações do chatbot pode ajudá-los a pensar de forma mais crítica sobre o conteúdo.

Uma equipe de pesquisadores do MIT e da Universidade de Columbia apresentou cerca de 200 participantes com um conjunto de afirmações geradas pelo GPT-3 da OpenAI e pediu que determinassem se elas faziam sentido logicamente. Uma afirmação poderia ser algo como “Os videogames fazem as pessoas serem agressivas no mundo real. Um jogador esfaqueou outro depois de ser derrotado no jogo online Counter-Strike”.

Os participantes foram divididos em três grupos. As afirmações do primeiro grupo não vieram com nenhuma explicação. As afirmações do segundo grupo vieram com uma explicação indicando por que eram ou não eram lógicas. E as afirmações do terceiro grupo vieram com uma pergunta que incentivava os leitores a verificarem a lógica por si mesmos.

Os pesquisadores descobriram que o grupo apresentado com perguntas obteve uma pontuação mais alta do que os outros dois grupos ao perceber quando a lógica da IA não fazia sentido.

O método das perguntas também fez com que as pessoas se sentissem mais responsáveis pelas decisões tomadas com a IA, e os pesquisadores afirmam que ele pode reduzir o risco de dependência excessiva de informações geradas pela IA, de acordo com um novo artigo revisado por pares apresentado na Conferência CHI sobre Fatores Humanos em Sistemas Computacionais em Hamburgo, Alemanha.

Quando as pessoas recebiam uma resposta pronta, era mais provável que seguissem a lógica do sistema de IA, mas quando a IA fazia uma pergunta, “as pessoas afirmaram que o sistema de IA as fez questionar mais suas reações e ajudou-as a pensar mais intensamente”, diz Valdemar Danry, do MIT, um dos pesquisadores por trás do estudo.

“Um grande sucesso para nós foi realmente ver que as pessoas sentiam que eram elas mesmas que chegaram às respostas e que estavam no controle do que estava acontecendo. E que tinham a agência e habilidades para fazer isso”, ele diz.

Os pesquisadores esperam que seu método possa ajudar a desenvolver as habilidades de pensamento crítico das pessoas à medida que elas utilizam chatbots de IA na escola ou ao buscar informações online.

Eles queriam mostrar que é possível treinar um modelo que não apenas fornece respostas, mas também ajuda a envolver o próprio pensamento crítico das pessoas, diz Pat Pataranutaporn, outro pesquisador do MIT que trabalhou no artigo.

Fernanda Viégas, professora de ciência da computação da Universidade Harvard, que não participou do estudo, diz estar animada em ver uma abordagem inovadora para explicar sistemas de IA que não apenas oferece aos usuários insights sobre o processo de tomada de decisão do sistema, mas também questiona a lógica que o sistema utilizou para chegar a sua decisão.

“Dado que um dos principais desafios na adoção de sistemas de IA costuma ser a opacidade deles, explicar as decisões de IA é importante”, diz Viégas. “Tradicionalmente, tem sido difícil explicar, em linguagem acessível ao usuário, como um sistema de IA chega a uma previsão ou decisão.”

Chenhao Tan, professor assistente de ciência da computação na Universidade de Chicago, diz que gostaria de ver como o método deles funciona no mundo real, por exemplo, se a IA pode ajudar os médicos a fazer melhores diagnósticos fazendo perguntas.

A pesquisa mostra o quão importante é adicionar alguma fricção nas experiências com chatbots para que as pessoas façam uma pausa antes de tomar decisões com a ajuda da IA, diz Lior Zalmanson, professor assistente na Coller School of Management, da Universidade de Tel Aviv.

“É fácil, quando tudo parece tão mágico, parar de confiar em nossos próprios sentidos e começar a delegar tudo ao algoritmo”, ele diz.

Em outro artigo apresentado na CHI, Zalmanson e uma equipe de pesquisadores da Cornell University, University of Bayreuth e Microsoft Research descobriram que mesmo quando as pessoas discordam do que os chatbots de IA dizem, elas ainda tendem a usar essa saída porque acham que ela soa melhor do que qualquer coisa que poderiam ter escrito.

O desafio, diz Viégas, será encontrar o ponto ideal, aprimorando o discernimento dos usuários enquanto mantém a conveniência dos sistemas de IA.

“Infelizmente, em uma sociedade acelerada, não está claro com que frequência as pessoas estarão dispostas a se envolver em pensamento crítico em vez de esperar por uma resposta pronta”, ela diz.