O ChatGPT escreve bem o suficiente para enganar os revisores científicos

Tempo de leitura: 4 minutes

Loading

O gerador de texto do OpenAI escreveu repetidamente resumos acadêmicos convincentes o suficiente para superar os leitores humanos. Isso pode significar problemas para a publicação científica.

O novo brinquedo favorito da internet, o ChatGPT, realiza algumas coisas melhor do que outras. O chatbot treinado em aprendizado de máquina da OpenAI pode encadear frases e parágrafos que fluem suavemente em praticamente qualquer tópico que você solicitar. Mas não pode dizer a verdade com segurança. Ele pode atuar como um substituto confiável para um conselheiro de saúde mental baseado em texto. Mas não pode escrever um artigo aceitável do Gizmodo.

Na lista de coisas preocupantes que o gerador de texto AI aparentemente pode fazer, uma delas é enganar os revisores científicos – pelo menos parte do tempo, de acordo com um estudo divulgado na terça-feira pelos pesquisadores da Northwestern University e da University of Chicago. A ciência acadêmica publicada depende de um processo de submissão e revisão de artigos por especialistas humanos em áreas relevantes. Se a IA pode enganar rotineiramente esses revisores, isso pode alimentar uma crise de integridade científica, alertam os autores do novo estudo.

No estudo, os pesquisadores começaram escolhendo 50 artigos médicos reais publicados. Eles pegaram o título de cada um e o enviaram ao ChatGPT com o prompt: “Por favor, escreva um resumo científico para o artigo [título] no estilo de [jornal] em [link]”. Em seguida, eles reuniram os resumos reais e falsos para um total de 100 amostras. Os pesquisadores designaram aleatoriamente 25 resumos a quatro profissionais médicos para revisar, garantindo que nenhum dos pesquisadores recebesse amostras com títulos duplicados. Os pesquisadores do estudo disseram aos sujeitos que alguns dos resumos eram falsos e alguns genuínos – caso contrário, os revisores não conheceriam a configuração do estudo.

Em 68% das vezes, os revisores identificaram corretamente quando um resumo era produto do ChatGPT. Mas nos 32% restantes dos casos, os sujeitos foram enganados. E isso apesar de apenas 8% dos resumos falsificados atenderem aos requisitos específicos de formatação e estilo do periódico listado. Além disso, os revisores identificaram falsamente 14% dos resumos de artigos reais gerados por IA.

“Os revisores indicaram que era surpreendentemente difícil diferenciar entre os dois”, escreveram os pesquisadores do estudo. Enquanto classificavam os resumos, os revisores notaram que achavam que as amostras geradas eram mais vagas e mais estereotipadas. Mas, novamente, aplicar essa suposição levou a uma taxa de precisão bastante desanimadora – uma que renderia uma nota baixa na maioria das aulas de ciências.

“Nossos revisores sabiam que alguns dos resumos que estavam recebendo eram falsos, então ficaram muito desconfiados”, disse a pesquisadora principal, Catherine Gao, pneumologista da escola de medicina da Northwestern, em um comunicado à imprensa da universidade. “Este não é alguém lendo um resumo na sua natureza. O fato de nossos revisores ainda perderem os 32% gerados por IA as vezes significa que esses resumos são realmente bons. Suspeito que, se alguém se deparasse com um desses resumos gerados, não seria necessariamente capaz de identificá-lo como sendo escrito por IA.”

Além de executar os resumos por revisores humanos, os autores do estudo também alimentaram todas as amostras, reais e falsas, por meio de um detector de saída de IA. O detector automatizado com sucesso atribuiu rotineiramente pontuações muito mais altas (indicando uma maior probabilidade de geração de IA) aos resumos do ChatGPT do que os reais. O detector de IA classificou todos, exceto dois dos resumos originais, como quase 0% falso. No entanto, em 34% dos casos gerados por IA, deu às amostras falsificadas uma pontuação abaixo de 50 em 100 – indicando que ainda lutava para classificar os resumos falsos.

Parte do que tornou os resumos do ChatGPT tão convincentes foi a capacidade da IA ​​de replicar a escala, observou o estudo. A pesquisa médica depende do tamanho da amostra e diferentes tipos de estudos usam números muito diferentes de sujeitos. Os resumos gerados usaram tamanhos de corte de pacientes semelhantes (mas não idênticos) os originais correspondentes, escreveram os autores do estudo. “Para um estudo sobre hipertensão, que é comum, o ChatGPT incluiu dezenas de milhares de pacientes no corte, enquanto um estudo sobre varíola símia teve um número muito menor de participantes”, disse o comunicado à imprensa.

O novo estudo tem suas limitações. Por um lado, o tamanho da amostra e o número de revisores eram pequenos. Eles testaram apenas um detector de saída de AI. E os pesquisadores não ajustaram suas instruções para tentar gerar um trabalho ainda mais convincente à medida que avançavam – é possível que, com treinamento adicional e instruções mais direcionadas, os resumos gerados pelo ChatGPT possam ser ainda mais convincentes. O que é uma perspectiva preocupante em um campo assolado por má conduta.

As chamadas “fábricas de publicação” já são um problema na publicação acadêmica. Essas organizações com fins lucrativos produzem artigos de periódicos em massa – muitas vezes contendo dados plagiados, falsos ou incorretos – e vendem a autoria para o maior lance, para que os compradores possam preencher seus currículos com créditos de pesquisa falsificados. A capacidade de usar AI para gerar envios de artigos pode tornar a indústria fraudulenta ainda mais lucrativa e prolífica. “E se outras pessoas tentarem construir sua ciência a partir desses estudos incorretos, isso pode ser realmente perigoso”, acrescentou Gao no comunicado à imprensa.

Para evitar um possível futuro em que as disciplinas científicas sejam inundadas com publicações falsas, Gao e seus co-pesquisadores recomendam que periódicos e conferências executem todos os envios por meio da detecção de saída de IA.

Mas nem tudo são más notícias. Ao enganar os revisores humanos, o ChatGPT demonstrou claramente que pode escrever habilmente no estilo dos cientistas acadêmicos. Portanto, é possível que a tecnologia possa ser usada por pesquisadores para melhorar a legibilidade de seu trabalho – ou como um auxílio de redação para aumentar a equidade e o acesso de pesquisadores que publicam fora de seu idioma nativo.

“A tecnologia de texto geral tem um grande potencial para democratizar a ciência, por exemplo, tornando mais fácil para cientistas que não falam inglês compartilhar seu trabalho com a comunidade em geral”, disse Alexander Pearson, autor sênior do estudo e cientista de dados da Universidade de Chicago. , no comunicado de imprensa. “Ao mesmo tempo, é imperativo que pensemos cuidadosamente nas melhores práticas de uso.”

 

 

Autor: Lauren Leffer
Fonte: 
Gizmodo
Adaptação: Fernando Giannini
Photo by ThisisEngineering RAEng on Unsplash

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

Aprendendo com IA: espelhos sociais e intelectuais

Até recentemente, as interações humanas com máquinas antropomorfizadas (entidades não-humanas que são atribuídas características humanas) eram consideradas divertidas, mas não eram vistas como emocionalmente relevantes para a maioria das pessoas. Embora muitos se...

10 efeitos negativos do uso de celulares para as crianças

Crianças de todo o mundo (embora não todas) utilizam smartphones para diversas finalidades. Algumas passam horas conversando com amigos, enquanto outras se dedicam a jogar inúmeros jogos. A Internet é frequentemente considerada uma fonte de conhecimento para as...

Sistemas de tutoria inteligente

Adaptação da aprendizagem de acordo com o nível e ritmo do estudante Os sistemas de tutoria inteligente se baseiam na capacidade de adaptar a aprendizagem de acordo com o nível e o ritmo do estudante. Usando inteligência artificial e técnicas de aprendizado de...

Quanto custa manter a nuvem no céu para o meio ambiente?

À medida que a humanidade aumenta sua capacidade de intervir na natureza com o objetivo de satisfazer as necessidades e desejos crescentes, aparecem as tensões e conflitos quanto ao uso do espaço e dos recursos naturais. Quanto custa manter a nuvem no céu para o meio...

Competências essenciais na era digital

A proliferação da IA em muitos aspectos da vida humana - desde o lazer pessoal até o trabalho profissional, passando pelas decisões políticas globais - impõe uma questão complexa sobre como preparar as pessoas para um mundo interconectado e em rápida mudança, que está...

Educação digital para prevenir abusos sexuais online

Depois de participar de uma aula incrível com a professora Beatriz Lorencini e o Felipe, fui tirado da bolha onde costumo estar a maior parte do meu tempo se não o tempo todo. Quando percebi eu estava em choque por "não saber ou escolher não saber" que existem...

Tag Cloud

Posts Relacionados

[dgbm_blog_module posts_number=”4″ related_posts=”on” show_categories=”off” show_pagination=”off” item_in_desktop=”2″ equal_height=”on” image_size=”mid” author_background_color=”#ffffff” disabled_on=”off|off|on” module_class=”PostRelacionado” _builder_version=”4.16″ _module_preset=”default” title_font=”Montserrat||||||||” title_text_color=”#737373″ title_font_size=”19px” title_line_height=”25px” meta_text_color=”#666″ meta_font_size=”13px” content_font_size=”13px” content_line_height=”30px” author_text_color=”#666666″ custom_css_content_container=”display:flex;||flex-wrap:wrap;” custom_css_image-container=”padding-top:70%;||overflow:hidden;” custom_css_image=”position:absolute;||top:0;||left:0;||bottom:0;||right:0;||object-fit: cover;||height:100%;||width:100%;” custom_css_title=”padding:20px;||margin-top:0;||order:2;” custom_css_content=”padding:0 20px 20px;||order:3;” custom_css_post-meta-middle=”order:1;||padding:20px;||border-bottom:1px solid #dcdcdc;||border-top:1px solid #dcdcdc;” border_width_all_post_item=”0px” border_width_all_content=”0px” box_shadow_style_container=”preset1″ box_shadow_blur_container=”5px” box_shadow_spread_container=”1px” box_shadow_color_container=”rgba(0,0,0,0.1)” global_colors_info=”{}”][/dgbm_blog_module]

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes