Estudo encontra fabricações surpreendentemente prejudiciais no algoritmo de fala para texto da OpenAI
Até o momento, a tendência dos chatbots alimentados por inteligência artificial (IA) de ocasionalmente inventar coisas, ou “alucinar”, está bem documentada. Os chatbots geraram informações médicas erradas, inventaram casos jurídicos falsos e fabricaram citações. Agora, um novo estudo descobriu que os modelos de IA não estão apenas vendo coisas, mas também ouvindo coisas: O Whisper da OpenAI, um modelo de IA treinado para transcrever entradas de áudio, compôs frases em cerca de 1,4% das transcrições de gravações de áudio testadas. De forma desconcertante, uma grande parte das frases inventadas continha texto ofensivo ou potencialmente prejudicial.
“Os médicos estão usando ferramentas de fala para texto para transcrever anotações de pacientes”, diz Allison Koenecke, cientista da computação da Universidade de Cornell e principal autora do estudo, que foi publicado como uma pré-impressão no arXiv em fevereiro. “Se o Whisper estiver fazendo alguma transcrição que não está sendo dita, sobre como esse paciente matou alguém e também está tomando esse medicamento que é totalmente inventado, imagine a gravidade dessas consequências.”
O estudo ressalta os desafios que as ferramentas de transcrição enfrentam: a diversidade de padrões de fala em todo o mundo, bem como a disponibilidade limitada de dados de treinamento, diz Odette Scharenborg, tecnóloga da Universidade de Tecnologia de Delft que não participou do estudo. “Nenhum sistema de fala para texto é capaz de modelar toda essa variabilidade de articulação e pronúncia em um bom nível ainda”, diz ela.
Os chatbots generativos dependem de modelos de linguagem de grande porte (LLMs), que recebem solicitações de texto e produzem resultados prevendo palavras prováveis com base em padrões aprendidos após o treinamento em bilhões de páginas de texto de livros e páginas da Web. Os sistemas de transcrição combinam esses modelos de linguagem com modelos de áudio que aprendem representações de padrões de fala.
Os grandes modelos de IA funcionam bem: Suas transcrições são mais precisas do que outras ferramentas de conversão de fala em texto que dependem de modelos de linguagem de pequena escala. Mas Koenecke queria dar uma olhada mais de perto. “Mesmo que o desempenho pareça melhor do que a média, temos esses casos extremos dentro do próprio texto que nos preocupam, pois as pessoas podem não perceber se presumirem que o Whisper está transcrevendo tudo fielmente”, diz ela.
A equipe de Koenecke forneceu ao Whisper cerca de 20 horas de áudio de falantes com e sem afasia, um distúrbio de linguagem em que as pessoas tendem a falar devagar e com mais pausas. Os segmentos de áudio continham diálogos de conversação sobre tópicos como histórias pessoais e recontos de contos de fadas. Em execuções realizadas em abril e maio de 2023 em uma versão anterior do Whisper, os pesquisadores descobriram que 1,7% dos segmentos de áudio de falantes com afasia e 1,2% dos segmentos de áudio de pessoas sem afasia resultaram em transcrições com algum texto fabricado.
Cerca de 40% dos segmentos fabricados eram prejudiciais ou preocupantes de alguma forma. Cerca de metade das fabricações preocupantes fazia alusão a violência, insinuações sexuais ou estereótipos demográficos. Por exemplo, o áudio sobre o resgate de gatos pelo corpo de bombeiros incluía adições inventadas sobre um “carrinho de bebê encharcado de sangue” e “carícias”. O áudio inócuo sobre um guarda-chuva incluía invenções sobre uma “faca do terror” e a morte de pessoas.
Os pesquisadores agruparam o restante das alucinações de áudio em duas outras categorias: informações falsas sobre uma pessoa, como nomes inventados, relacionamentos ou estado de saúde; e autoridade falsa ou phishing, como a inserção de sinais no estilo YouTube (“Obrigado por assistir!”) no final das transcrições ou a inserção de links para sites reais ou inexistentes.
Os pesquisadores dizem que as longas pausas na fala, comuns em pessoas com afasia, podem ser um dos motivos do texto inventado. “Silêncios, ‘umms’ ou ‘aahs’ no áudio não são interpretados como silêncio”, diz Koenecke. O modelo de linguagem os interpreta como palavras reais e cria frases fictícias inteiras, acrescenta.
As fabricações também podem ser resultado da natureza generativa do modelo de linguagem subjacente ao qual a ferramenta de transcrição está vinculada, escrevem os pesquisadores. De acordo com a tabela de classificação de avaliação da empresa Vectara, que acompanha o desempenho de vários LLMs do setor, as taxas de alucinação ainda podem chegar a 16,2%. O GPT 4 Turbo da OpenAI é o melhor do setor, com uma taxa de 2,5%.
Como a própria OpenAI mencionou as fabricações como uma limitação do modelo, Koenecke não ficou surpreso ao encontrá-las. “O que foi surpreendente para mim foi o grande número de alucinações realmente prejudiciais”, diz ela. A OpenAI não respondeu a um pedido de comentário.
Desde que o experimento original foi realizado, a OpenAI atualizou seu modelo para pular períodos de silêncio e retranscrever o áudio se o software detectar uma provável alucinação. Em dezembro de 2023, quando os pesquisadores repetiram alguns dos arquivos de áudio, eles descobriram que o Whisper atualizado havia eliminado a maioria das fabricações encontradas em seus testes anteriores. Realizar auditorias regulares para verificar se há alucinações e incorporar esses feedbacks aos modelos – como a OpenAI aparentemente fez – ajudará a garantir modelos melhores, diz Koenecke.
Em uma declaração, um porta-voz da OpenAI disse: “Realizamos pesquisas contínuas sobre como podemos melhorar a precisão de nossos modelos, incluindo como podemos reduzir as alucinações. Agradecemos aos pesquisadores por compartilharem suas descobertas – lançamos atualizações regulares do modelo que incorporam o feedback que recebemos e continuamos a melhorar as alucinações ao longo do tempo.”
Os pesquisadores estudaram apenas os padrões de fala decorrentes da afasia. Mas eles dizem que outros tipos de fala irregular, como o áudio de idosos ou de falantes de idiomas não nativos, também podem resultar em texto alucinado. “O treinamento desses sistemas deve ser feito com a fala de diferentes grupos de falantes e de diferentes estilos de fala”, diz Scharenborg.
Enquanto isso, Scharenborg recomenda enfaticamente que os usuários verifiquem manualmente o resultado de qualquer ferramenta de transcrição de IA, especialmente se estiverem usando-a para tomar decisões importantes. “Não só por causa das possíveis alucinações”, diz ela, “mas também porque todos os sistemas de transcrição de fala para texto cometem erros de transcrição”.
Autora: Ananya
Fonte: Science
Artigo original: https://bit.ly/3Y9Px9T
