O gerador de texto do OpenAI escreveu repetidamente resumos acadêmicos convincentes o suficiente para superar os leitores humanos. Isso pode significar problemas para a publicação científica.
O novo brinquedo favorito da internet, o ChatGPT, realiza algumas coisas melhor do que outras. O chatbot treinado em aprendizado de máquina da OpenAI pode encadear frases e parágrafos que fluem suavemente em praticamente qualquer tópico que você solicitar. Mas não pode dizer a verdade com segurança. Ele pode atuar como um substituto confiável para um conselheiro de saúde mental baseado em texto. Mas não pode escrever um artigo aceitável do Gizmodo.
Na lista de coisas preocupantes que o gerador de texto AI aparentemente pode fazer, uma delas é enganar os revisores científicos – pelo menos parte do tempo, de acordo com um estudo divulgado na terça-feira pelos pesquisadores da Northwestern University e da University of Chicago. A ciência acadêmica publicada depende de um processo de submissão e revisão de artigos por especialistas humanos em áreas relevantes. Se a IA pode enganar rotineiramente esses revisores, isso pode alimentar uma crise de integridade científica, alertam os autores do novo estudo.
No estudo, os pesquisadores começaram escolhendo 50 artigos médicos reais publicados. Eles pegaram o título de cada um e o enviaram ao ChatGPT com o prompt: “Por favor, escreva um resumo científico para o artigo [título] no estilo de [jornal] em [link]”. Em seguida, eles reuniram os resumos reais e falsos para um total de 100 amostras. Os pesquisadores designaram aleatoriamente 25 resumos a quatro profissionais médicos para revisar, garantindo que nenhum dos pesquisadores recebesse amostras com títulos duplicados. Os pesquisadores do estudo disseram aos sujeitos que alguns dos resumos eram falsos e alguns genuínos – caso contrário, os revisores não conheceriam a configuração do estudo.
Em 68% das vezes, os revisores identificaram corretamente quando um resumo era produto do ChatGPT. Mas nos 32% restantes dos casos, os sujeitos foram enganados. E isso apesar de apenas 8% dos resumos falsificados atenderem aos requisitos específicos de formatação e estilo do periódico listado. Além disso, os revisores identificaram falsamente 14% dos resumos de artigos reais gerados por IA.
“Os revisores indicaram que era surpreendentemente difícil diferenciar entre os dois”, escreveram os pesquisadores do estudo. Enquanto classificavam os resumos, os revisores notaram que achavam que as amostras geradas eram mais vagas e mais estereotipadas. Mas, novamente, aplicar essa suposição levou a uma taxa de precisão bastante desanimadora – uma que renderia uma nota baixa na maioria das aulas de ciências.
“Nossos revisores sabiam que alguns dos resumos que estavam recebendo eram falsos, então ficaram muito desconfiados”, disse a pesquisadora principal, Catherine Gao, pneumologista da escola de medicina da Northwestern, em um comunicado à imprensa da universidade. “Este não é alguém lendo um resumo na sua natureza. O fato de nossos revisores ainda perderem os 32% gerados por IA as vezes significa que esses resumos são realmente bons. Suspeito que, se alguém se deparasse com um desses resumos gerados, não seria necessariamente capaz de identificá-lo como sendo escrito por IA.”
Além de executar os resumos por revisores humanos, os autores do estudo também alimentaram todas as amostras, reais e falsas, por meio de um detector de saída de IA. O detector automatizado com sucesso atribuiu rotineiramente pontuações muito mais altas (indicando uma maior probabilidade de geração de IA) aos resumos do ChatGPT do que os reais. O detector de IA classificou todos, exceto dois dos resumos originais, como quase 0% falso. No entanto, em 34% dos casos gerados por IA, deu às amostras falsificadas uma pontuação abaixo de 50 em 100 – indicando que ainda lutava para classificar os resumos falsos.
Parte do que tornou os resumos do ChatGPT tão convincentes foi a capacidade da IA de replicar a escala, observou o estudo. A pesquisa médica depende do tamanho da amostra e diferentes tipos de estudos usam números muito diferentes de sujeitos. Os resumos gerados usaram tamanhos de corte de pacientes semelhantes (mas não idênticos) os originais correspondentes, escreveram os autores do estudo. “Para um estudo sobre hipertensão, que é comum, o ChatGPT incluiu dezenas de milhares de pacientes no corte, enquanto um estudo sobre varíola símia teve um número muito menor de participantes”, disse o comunicado à imprensa.
O novo estudo tem suas limitações. Por um lado, o tamanho da amostra e o número de revisores eram pequenos. Eles testaram apenas um detector de saída de AI. E os pesquisadores não ajustaram suas instruções para tentar gerar um trabalho ainda mais convincente à medida que avançavam – é possível que, com treinamento adicional e instruções mais direcionadas, os resumos gerados pelo ChatGPT possam ser ainda mais convincentes. O que é uma perspectiva preocupante em um campo assolado por má conduta.
As chamadas “fábricas de publicação” já são um problema na publicação acadêmica. Essas organizações com fins lucrativos produzem artigos de periódicos em massa – muitas vezes contendo dados plagiados, falsos ou incorretos – e vendem a autoria para o maior lance, para que os compradores possam preencher seus currículos com créditos de pesquisa falsificados. A capacidade de usar AI para gerar envios de artigos pode tornar a indústria fraudulenta ainda mais lucrativa e prolífica. “E se outras pessoas tentarem construir sua ciência a partir desses estudos incorretos, isso pode ser realmente perigoso”, acrescentou Gao no comunicado à imprensa.
Para evitar um possível futuro em que as disciplinas científicas sejam inundadas com publicações falsas, Gao e seus co-pesquisadores recomendam que periódicos e conferências executem todos os envios por meio da detecção de saída de IA.
Mas nem tudo são más notícias. Ao enganar os revisores humanos, o ChatGPT demonstrou claramente que pode escrever habilmente no estilo dos cientistas acadêmicos. Portanto, é possível que a tecnologia possa ser usada por pesquisadores para melhorar a legibilidade de seu trabalho – ou como um auxílio de redação para aumentar a equidade e o acesso de pesquisadores que publicam fora de seu idioma nativo.
“A tecnologia de texto geral tem um grande potencial para democratizar a ciência, por exemplo, tornando mais fácil para cientistas que não falam inglês compartilhar seu trabalho com a comunidade em geral”, disse Alexander Pearson, autor sênior do estudo e cientista de dados da Universidade de Chicago. , no comunicado de imprensa. “Ao mesmo tempo, é imperativo que pensemos cuidadosamente nas melhores práticas de uso.”
Autor: Lauren Leffer
Fonte: Gizmodo
Adaptação: Fernando Giannini
Photo by ThisisEngineering RAEng on Unsplash
