Por que uma IA excelente produz humanos preguiçosos

Tempo de leitura: 4 minutes

Loading

Uma coisa é analisar teoricamente o impacto da IA nos empregos, mas outra é testá-la. Ethan Mollick tem trabalhado para fazer isso, juntamente com uma equipe de pesquisadores, incluindo os cientistas sociais de Harvard Fabrizio Dell’Acqua, Edward McFowland III e Karim Lakhani, bem como Hila Lifshitz-Assaf da Warwick Business School e Katherine Kellogg do MIT. Tivemos a ajuda do Boston Consulting Group (BCG), uma das principais organizações de consultoria de gestão do mundo, que conduziu o estudo, e de quase oitocentos consultores que participaram dos experimentos.

Os consultores foram divididos aleatoriamente em dois grupos: um que teve de fazer o trabalho da maneira padrão e outro que teve de usar o GPT-4, a mesma versão básica do LLM a que todos em 169 países têm acesso.

Em seguida, demos a eles um pouco de treinamento em IA e os soltamos, com um cronômetro, em dezoito tarefas que foram projetadas pelo BCG para se parecerem com o trabalho padrão dos consultores. Havia tarefas criativas (“Proponha pelo menos 10 ideias para um novo calçado voltado para um mercado ou esporte mal atendido”), tarefas analíticas (“Segmente o mercado do setor de calçados com base nos usuários”), tarefas de redação e marketing (“Elabore uma cópia de marketing de um comunicado à imprensa para o seu produto”) e tarefas de persuasão (“Escreva um memorando inspirador para os funcionários detalhando por que o seu produto superaria os concorrentes”). Até verificamos com os executivos da empresa de calçados para garantir que esse trabalho fosse realista.

O grupo que trabalhava com a IA se saiu significativamente melhor do que os consultores que não trabalhavam com IA. Medimos os resultados de todas as formas possíveis – observando a habilidade dos consultores ou usando a IA para classificar os resultados em vez de classificadores humanos – mas o efeito persistiu em 118 análises diferentes. Os consultores com tecnologia de IA foram mais rápidos, e seu trabalho foi considerado mais criativo, mais bem escrito e mais analítico do que o de seus colegas.

Mas uma análise mais cuidadosa dos dados revelou algo mais impressionante e um tanto preocupante. Embora se esperasse que os consultores usassem a IA para ajudá-los em suas tarefas, a IA parecia estar fazendo a maior parte do trabalho. A maioria dos participantes do experimento estava simplesmente colando as perguntas que lhes eram feitas e obtendo respostas muito boas.

A mesma coisa aconteceu no experimento de redação realizado pelos economistas Shakked Noy e Whitney Zhang do MIT: a maioria dos participantes nem se deu ao trabalho de editar o resultado da IA depois que ele foi criado para eles. É um problema que vejo repetidamente quando as pessoas usam IA pela primeira vez: elas simplesmente colam a pergunta exata que lhes foi feita e deixam a IA respondê-la. Há um perigo em trabalhar com IAs – o perigo de nos tornarmos redundantes, é claro, mas também o perigo de confiarmos demais nas IAs para o trabalho.

Por que uma IA excelente produz humanos preguiçosos

O professor da Wharton, Ethan Mollick, entendeu imediatamente o que o ChatGPT queria dizer: depois de milhões de anos por conta própria, os seres humanos desenvolveram um tipo de co-inteligência que poderia aumentar, ou até mesmo substituir, o pensamento humano. Por meio de seus escritos, palestras e aulas, Mollick tornou-se um dos mais proeminentes e provocativos explicadores da IA, concentrando-se nos aspectos práticos de como essas novas ferramentas de pensamento podem transformar nosso mundo.

E vimos o perigo por nós mesmos, porque o BCG projetou mais uma tarefa, esta cuidadosamente selecionada para garantir que a IA não conseguisse chegar a uma resposta correta – uma que estivesse na fronteira do que é certo ou errado. Isso não foi fácil, pois a IA é excelente em uma ampla gama de trabalhos, mas identificamos uma tarefa que combinava uma questão estatística complicada e uma com dados enganosos. Os consultores humanos acertaram o problema em 84% das vezes sem a ajuda da IA, mas quando os consultores usaram a IA, eles se saíram pior, acertando em apenas 60% a 70% das vezes. O que aconteceu?

A poderosa IA tornou mais provável que os consultores adormecessem ao volante e cometessem grandes erros quando era preciso.

Ethan Mollick

Em um outro artigo, Fabrizio Dell’Acqua mostra por que confiar demais na IA pode ser um tiro pela culatra. Ele descobriu que os recrutadores que usaram IA de alta qualidade se tornaram preguiçosos, descuidados e menos habilidosos em seu próprio julgamento.

Eles perderam alguns candidatos brilhantes e tomaram decisões piores do que os recrutadores que usaram IA de baixa qualidade ou nenhuma IA. Ele contratou 181 recrutadores profissionais e deu a eles uma tarefa complicada: avaliar 44 candidatos a uma vaga de emprego com base em sua capacidade matemática. Os dados foram obtidos em um teste internacional de habilidades para adultos, de modo que as pontuações em matemática não eram óbvias nos currículos. Os recrutadores receberam diferentes níveis de assistência de IA: alguns tinham suporte de IA bom ou ruim, e outros não tinham nenhum. Ele mediu a precisão, a rapidez, o empenho e a confiança dos recrutadores.

Os recrutadores com IA de alta qualidade foram piores do que os recrutadores com IA de baixa qualidade. Eles dedicaram menos tempo e esforço a cada currículo e seguiram cegamente as recomendações da IA. Eles também não melhoraram com o tempo. Por outro lado, os recrutadores com IA de qualidade inferior eram mais atentos, mais críticos e mais independentes. Eles melhoraram sua interação com a IA e suas próprias habilidades.

Dell’Acqua desenvolveu um modelo matemático para explicar a troca entre a qualidade da IA e o esforço humano. Quando a IA é muito boa, os humanos não têm motivo para trabalhar duro e prestar atenção. Eles deixam a IA assumir o controle em vez de usá-la como uma ferramenta, o que pode prejudicar o aprendizado, o desenvolvimento de habilidades e a produtividade humana. Ele chamou isso de “adormecer no volante”.

O estudo da Dell’Acqua aponta para o que aconteceu em nosso estudo com os consultores do BCG. A poderosa IA tornou mais provável que os consultores adormecessem ao volante e cometessem grandes erros quando era preciso. Eles não entenderam o formato da fronteira do que é certo ou errado.

 

 

Autor: Ethan Mollick, professor associado da Wharton School
Fonte: BigThink
Artigo original: https://bit.ly/3J45upe

Fernando Giannini

Pesquisador de tecnologia aplicada à educação, arquiteto de objetos virtuais de aprendizagem, fissurado em livros de grandes educadores e viciado em games de todos os tipos. Conhecimentos aprimorados em cursos de grandes empresas de tecnologia, principalmente no Google Business Educational Center e Microsoft. Sócio-proprietário da Streamer, empresa que alia tecnologia e educação. Experiência de 18 anos produzindo e criando objetos de aprendizagem, cursos a distância, design educacional, interfaces para sistemas de aprendizagem. Gestor de equipe para projetos educacionais, no Ensino Básico, Médio e Ensino Superior. Nesse período de trabalho gerenciou equipes e desenvolveu as habilidades de liderança e gestão. Acredita na integração e aplicação prática dos conhecimentos para a realização de projetos inovadores, sólidos e sustentáveis a longo prazo. Um dos grandes sonhos realizados foi o lançamento do curso gratuito Mande Bem no ENEM que atingiu mais de 500 mil estudantes em todo o Brasil contribuindo para a Educação Brasileira.

Participe da nossa comunidade no Whatsapp sobre Educação e Tecnologia

2 Comentários

  1. MONICA DA SILVA SANTOS PEREIRA

    Excelente matéria

    Responder
  2. Fernando Giannini

    Olá Monica, obrigado pelo comentário, ainda temos um longo caminho para entender como a IA vai transformar a sociedade e forma como interagimos com ela. A jornada é longa.

    Responder

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Posts Relacionados

Professores: protagonistas ou vítimas do chatGPT?

A rápida integração da Inteligência Artificial (IA) na sociedade exige uma orientação clara nos ambientes educacionais. No entanto, uma recente pesquisa global da UNESCO com mais de 450 escolas e universidades mostrou que menos de 10% tinham políticas institucionais...

O impacto dos chatbots na aprendizagem

À medida que a Inteligência Artificial (IA) avança tecnologicamente, ela inevitavelmente trará muitas mudanças para as práticas em sala de aula. Entretanto, a pesquisa sobre IA na educação reflete uma fraca conexão com as perspectivas pedagógicas ou abordagens...

Inteligência artificial na educação: os três paradigmas

Com o desenvolvimento de técnicas de computação e processamento de informações, a inteligência artificial (IA) tem sido amplamente aplicada em práticas educacionais (Inteligência Artificial na Educação; AIEd), como sistemas de tutoria inteligente, robôs de ensino,...

Impacto do ChatGPT: visão Educacional

Resumo Tem havido muitos comentários na mídia sobre o possível impacto da Inteligência Artificial (IA) generativa, como o ChatGPT, no campo da educação, mas há pouca análise em escala de como os educadores acreditam que a aprendizagem e a avaliação devem mudar como...

7 princípios para o uso responsável da IA na escola

A rápida integração da Inteligência Artificial (IA) na sociedade exige uma orientação clara nos ambientes educacionais. No entanto, uma recente pesquisa global da UNESCO com mais de 450 escolas e universidades mostrou que menos de 10% tinham políticas institucionais...

A natureza da inteligência artificial geral

O termo "inteligência artificial geral" (AGI) tornou-se onipresente no discurso atual sobre IA. A OpenAI afirma que sua missão é "garantir que a inteligência artificial geral beneficie toda a humanidade". A declaração de visão da empresa DeepMind observa que "a...

Tag Cloud

Posts Relacionados

Receba a nossa newsletter

Fique por dentro e seja avisado dos novos conteúdos.

Publicações mais recentes