Uma coisa é analisar teoricamente o impacto da IA nos empregos, mas outra é testá-la. Ethan Mollick tem trabalhado para fazer isso, juntamente com uma equipe de pesquisadores, incluindo os cientistas sociais de Harvard Fabrizio Dell’Acqua, Edward McFowland III e Karim Lakhani, bem como Hila Lifshitz-Assaf da Warwick Business School e Katherine Kellogg do MIT. Tivemos a ajuda do Boston Consulting Group (BCG), uma das principais organizações de consultoria de gestão do mundo, que conduziu o estudo, e de quase oitocentos consultores que participaram dos experimentos.
Os consultores foram divididos aleatoriamente em dois grupos: um que teve de fazer o trabalho da maneira padrão e outro que teve de usar o GPT-4, a mesma versão básica do LLM a que todos em 169 países têm acesso.
Em seguida, demos a eles um pouco de treinamento em IA e os soltamos, com um cronômetro, em dezoito tarefas que foram projetadas pelo BCG para se parecerem com o trabalho padrão dos consultores. Havia tarefas criativas (“Proponha pelo menos 10 ideias para um novo calçado voltado para um mercado ou esporte mal atendido”), tarefas analíticas (“Segmente o mercado do setor de calçados com base nos usuários”), tarefas de redação e marketing (“Elabore uma cópia de marketing de um comunicado à imprensa para o seu produto”) e tarefas de persuasão (“Escreva um memorando inspirador para os funcionários detalhando por que o seu produto superaria os concorrentes”). Até verificamos com os executivos da empresa de calçados para garantir que esse trabalho fosse realista.
O grupo que trabalhava com a IA se saiu significativamente melhor do que os consultores que não trabalhavam com IA. Medimos os resultados de todas as formas possíveis – observando a habilidade dos consultores ou usando a IA para classificar os resultados em vez de classificadores humanos – mas o efeito persistiu em 118 análises diferentes. Os consultores com tecnologia de IA foram mais rápidos, e seu trabalho foi considerado mais criativo, mais bem escrito e mais analítico do que o de seus colegas.
Mas uma análise mais cuidadosa dos dados revelou algo mais impressionante e um tanto preocupante. Embora se esperasse que os consultores usassem a IA para ajudá-los em suas tarefas, a IA parecia estar fazendo a maior parte do trabalho. A maioria dos participantes do experimento estava simplesmente colando as perguntas que lhes eram feitas e obtendo respostas muito boas.
A mesma coisa aconteceu no experimento de redação realizado pelos economistas Shakked Noy e Whitney Zhang do MIT: a maioria dos participantes nem se deu ao trabalho de editar o resultado da IA depois que ele foi criado para eles. É um problema que vejo repetidamente quando as pessoas usam IA pela primeira vez: elas simplesmente colam a pergunta exata que lhes foi feita e deixam a IA respondê-la. Há um perigo em trabalhar com IAs – o perigo de nos tornarmos redundantes, é claro, mas também o perigo de confiarmos demais nas IAs para o trabalho.
E vimos o perigo por nós mesmos, porque o BCG projetou mais uma tarefa, esta cuidadosamente selecionada para garantir que a IA não conseguisse chegar a uma resposta correta – uma que estivesse na fronteira do que é certo ou errado. Isso não foi fácil, pois a IA é excelente em uma ampla gama de trabalhos, mas identificamos uma tarefa que combinava uma questão estatística complicada e uma com dados enganosos. Os consultores humanos acertaram o problema em 84% das vezes sem a ajuda da IA, mas quando os consultores usaram a IA, eles se saíram pior, acertando em apenas 60% a 70% das vezes. O que aconteceu?
A poderosa IA tornou mais provável que os consultores adormecessem ao volante e cometessem grandes erros quando era preciso.
Ethan Mollick
Em um outro artigo, Fabrizio Dell’Acqua mostra por que confiar demais na IA pode ser um tiro pela culatra. Ele descobriu que os recrutadores que usaram IA de alta qualidade se tornaram preguiçosos, descuidados e menos habilidosos em seu próprio julgamento.
Eles perderam alguns candidatos brilhantes e tomaram decisões piores do que os recrutadores que usaram IA de baixa qualidade ou nenhuma IA. Ele contratou 181 recrutadores profissionais e deu a eles uma tarefa complicada: avaliar 44 candidatos a uma vaga de emprego com base em sua capacidade matemática. Os dados foram obtidos em um teste internacional de habilidades para adultos, de modo que as pontuações em matemática não eram óbvias nos currículos. Os recrutadores receberam diferentes níveis de assistência de IA: alguns tinham suporte de IA bom ou ruim, e outros não tinham nenhum. Ele mediu a precisão, a rapidez, o empenho e a confiança dos recrutadores.
Os recrutadores com IA de alta qualidade foram piores do que os recrutadores com IA de baixa qualidade. Eles dedicaram menos tempo e esforço a cada currículo e seguiram cegamente as recomendações da IA. Eles também não melhoraram com o tempo. Por outro lado, os recrutadores com IA de qualidade inferior eram mais atentos, mais críticos e mais independentes. Eles melhoraram sua interação com a IA e suas próprias habilidades.
Dell’Acqua desenvolveu um modelo matemático para explicar a troca entre a qualidade da IA e o esforço humano. Quando a IA é muito boa, os humanos não têm motivo para trabalhar duro e prestar atenção. Eles deixam a IA assumir o controle em vez de usá-la como uma ferramenta, o que pode prejudicar o aprendizado, o desenvolvimento de habilidades e a produtividade humana. Ele chamou isso de “adormecer no volante”.
O estudo da Dell’Acqua aponta para o que aconteceu em nosso estudo com os consultores do BCG. A poderosa IA tornou mais provável que os consultores adormecessem ao volante e cometessem grandes erros quando era preciso. Eles não entenderam o formato da fronteira do que é certo ou errado.
Autor: Ethan Mollick, professor associado da Wharton School
Fonte: BigThink
Artigo original: https://bit.ly/3J45upe
