Resumo
Introdução
A noção de que os sistemas de IA podem possuir características semelhantes às humanas não é uma observação nova. Dado o papel social cada vez mais importante desempenhado pelos Modelos de Linguagem de Grande Porte (LLMs), os pesquisadores começaram a investigar a psicologia subjacente a esses modelos generativos. Por exemplo, vários trabalhos investigaram se os LLMs podem realmente compreender a linguagem e realizar raciocínios (Chowdhery et al., 2022), compreender distinções entre diferentes moralidades e personalidades (Miotto et al., 2022; Simmons, 2022) e aprender dilemas éticos (Jiang et al., 2021). Hagendorff et al. (2022), por exemplo, demonstraram que os LLMs são tomadores de decisão intuitivos, assim como os humanos, argumentando que investigar os LLMs com métodos da psicologia tem o potencial de revelar suas características e comportamentos emergentes.
Miotto et al. (2022) descobriram que o Generative Pre-trained Transformer-3 (GPT-3) contém uma “personalidade média” em comparação com amostras “humanas”, tem valores aos quais atribui graus variados de importância e se enquadra em uma demografia de adultos relativamente jovens. Horton (2023) argumentou que os LLMs são modelos computacionais implícitos de humanos, um Homo silicus.
Ele então sugere que esses modelos podem ser usados da mesma maneira que os economistas usam o Homo economicus: os LLMs podem receber informações e preferências e, então, seu comportamento pode ser explorado por meio de simulações. Também se descobriu que os LLMs são capazes de atribuir crenças a outros, uma habilidade conhecida como Teoria da Mente (Trott et al., 2023; Kosinski, 2023). Por fim, Bubeck et al. (2023) recentemente argumentaram que há indícios de inteligência geral (ou seja, capacidade mental geral, incluindo a capacidade de raciocinar de forma coerente, compreender ideias complexas, planejar o futuro, resolver problemas, pensar abstratamente, aprender rapidamente e aprender com a experiência; Gottfredson, 1997) no GPT-4 (OpenAI, 2023), que foi treinado usando uma escala sem precedentes de poder computacional e dados. Alguns cientistas sociais foram ainda mais longe, defendendo os LLMs como substitutos potenciais para participantes humanos em pesquisas psicológicas (Dillion et al., 2023; Grossmann et al., 2023).
Na crescente literatura sobre a investigação da psicologia dos LLMs (ver Shiffrin & Mitchell, 2023), os pesquisadores têm argumentado repetidamente que esses sistemas respondem de maneiras cognitiva e atitudinalmente semelhantes aos “humanos”. Por exemplo, o relatório técnico do GPT-4 (OpenAI, 2023) apresenta o GPT-4 (a versão mais recente do LLM que alimenta o popular chatbot da OpenAI, o ChatGPT) como “um grande modelo multimodal com desempenho de nível humano em certos benchmarks profissionais e acadêmicos difíceis”. Bubeck et al. (2023) mencionam que “o desempenho do GPT-4 é surpreendentemente próximo do desempenho em nível humano” e que “o GPT-4 atinge desempenho em nível humano em muitas tarefas […] é natural perguntar o quão bem o GPT-4 entende os seres humanos em si”.
Estudiosos das ciências sociais (por exemplo, psicologia, economia) têm usado a mesma terminologia para comparar LLMs e “seres humanos”. Por exemplo, para mostrar as capacidades de tomada de decisão econômica dos LLMs, Horton (2023) argumenta que eles “podem ser considerados modelos computacionais implícitos de seres humanos”. Ao quantificar a personalidade e os valores morais dos LLMs, Miotto et al. (2022) argumentam que o GPT-3 “tem pontuação semelhante à de amostras humanas em termos de personalidade e […] em termos dos valores que possui”. Os pesquisadores parecem dispostos a generalizar suas afirmações para os “seres humanos” como espécie ou mesmo gênero (Homo) e não oferecem advertências ou ressalvas sobre a generalização dessas descobertas entre as populações.
Surpreendentemente, porém, as principais pesquisas sobre LLMs ignoram a diversidade psicológica dos “seres humanos” em todo o mundo. Uma infinidade de pesquisas sugere que as populações ao redor do mundo variam substancialmente em várias dimensões psicológicas importantes (Apicella et al., 2020; Heine, 2020), incluindo, mas não se limitando a, preferências sociais (Falk et al., 2018; Henrich et al., 2005), cooperação (Gächter & Herrmann, 2009), moralidade (Atari et al., 2023), tomada de decisões éticas (Awad et al., 2018), estilos de pensamento (Talhelm et al., 2014), traços de personalidade (Schmitt et al., 2007) e autopercepções (Ma & Schoeneman, 1997). Por exemplo, populações humanas caracterizadas como ocidentais, educadas, industrializadas, ricas e democráticas (WEIRD; Henrich et al., 2010) são psicologicamente peculiares em um contexto global e histórico (Henrich, 2020). Essas populações tendem a ser mais individualistas, independentes e impessoalmente pró-sociais (por exemplo, confiantes em estranhos), ao mesmo tempo em que são menos moralmente provincianas, menos respeitosas com as autoridades, menos conformistas e menos leais aos seus grupos locais (Schulz et al. 2019; Henrich 2020). Embora alguns suspeitem que tarefas envolvendo processos cognitivos de “baixo nível” ou “básicos”, como navegação espacial ou visão, não variem muito entre os seres humanos, pesquisas sobre ilusões visuais, raciocínio espacial e olfato revelam que processos aparentemente básicos podem apresentar diversidade substancial entre as populações humanas (para uma revisão, ver Henrich et al., 2010; Henrich et al., 2023).
Padrões semelhantes se aplicam à diversidade linguística: variações nas ferramentas linguísticas entre grupos culturais podem influenciar aspectos dos processos cognitivos não linguísticos (Zhang et al., 2022), e o inglês é incomum em várias dimensões (Blasi et al., 2022). No geral, esse conjunto de pesquisas ilustra que os seres humanos são uma espécie cultural, geneticamente evoluída para o aprendizado social (Boyd et al., 2011) e equipada com plasticidade suficiente para modificar o processamento de informações cognitivas. Portanto, é enganoso referir-se a uma categoria monolítica de “seres humanos” quando há tanta diversidade psicológica entre as populações humanas.
Se a cultura pode influenciar aspectos fundamentais da psicologia, então a questão não é realmente se os LLMs aprendem traços e preconceitos semelhantes aos humanos; em vez disso, a questão pode ser formulada de forma mais precisa em termos de de quais humanos os LLMs adquirem sua psicologia.
Os LLMs são treinados com grandes quantidades de dados textuais e, devido à sua opacidade, a psicologia que esses modelos aprendem com seus dados de treinamento e aplicam a tarefas posteriores permanece amplamente desconhecida. Esses dados de treinamento, especialmente o subconjunto considerável desses dados coletados da Internet, têm origens desproporcionalmente tendenciosas para o WEIRD (significa Ocidental, Educado, Industrializado, Rico e Democrático) , uma vez que as pessoas de origem não WEIRD são menos propensas a ser alfabetizadas, usar a Internet e ter sua produção facilmente acessada por empresas de IA como fonte de dados.
As Nações Unidas, por exemplo, estimam que quase metade da população mundial (cerca de 3,6 bilhões) não terá acesso à Internet em 2023 (o número de pessoas que não tiveram acesso a internet em 2025 é de 2.6 bilhões) e que os países menos desenvolvidos também são os menos conectados. Isso se complica ainda mais pelo fato de que o inglês é predominantemente representado nas tecnologias de linguagem em relação às demais línguas do mundo (Blasi et al., 2022). Portanto, é plausível que os LLMs aprendam comportamentos tendenciosos para o WEIRD a partir de seus conjuntos de treinamento tendenciosos.
Além disso, empresas de IA (por exemplo, OpenAI) utilizam uma variedade de métodos para eliminar o viés desses modelos, ou seja, para garantir que eles não produzam conteúdo prejudicial. Esses esforços pós-hoc, embora importantes, podem reduzir ainda mais a semelhança dos LLMs com o comportamento humano natural (que inclui discursos prejudiciais, perigosos, tóxicos e odiosos). Além disso, diferentes sociedades têm normas substancialmente diferentes sobre o que é considerado “prejudicial” ou “ofensivo” (Gelfand et al., 2011), especificamente no contexto da moderação da IA e da mitigação de preconceitos (Davani et al., 2023). Assim, a comunidade científica precisa perguntar “quais humanos” estão produzindo a maior parte dos dados com os quais os LLMs são treinados e quais feedbacks humanos são usados para eliminar o viés dos modelos generativos (ver Davani et al., 2023).
A urgência de compreender a psicologia dos LLMs foi reconhecida em vários campos (Binz & Schulz, 2023; Frank, 2023; Grossmann et al., 2023), e concordamos com a necessidade de compreender a psicologia dos LLMs, mas levantamos a questão da importância de examinar a diversidade cultural e linguística, ou a falta dela, nas tendências comportamentais desses modelos.
Aqui, empregamos várias ferramentas psicológicas para avaliar a psicologia dos LLMs. Primeiro, contamos com um dos dados interculturais mais abrangentes das ciências sociais, a World Values Survey (WVS), para oferecer uma comparação global que nos permite situar os LLMs dentro do espectro da variação psicológica humana contemporânea. Em segundo lugar, usando várias tarefas cognitivas padrão, mostramos que os LLMs processam informações de uma maneira bastante WEIRD. Em terceiro lugar, não apenas mostramos que os LLMs são psicologicamente WEIRD, mas também que sua visão do “ser humano médio” é tendenciosa em relação às pessoas WEIRD (a maioria das pessoas não é WEIRD).
Resultados
A WVS foi concebida para monitorizar valores culturais, questões de justiça, princípios morais, atitudes em relação à corrupção, responsabilidade e risco, migração, segurança nacional, governação global, género, família, religião, pobreza, educação, saúde, segurança, tolerância social, confiança e instituições. O conjunto de dados tem sido altamente informativo na exploração das diferenças interculturais (e também das semelhanças) nestas variáveis (Inglehart, 2020; Minkov & Hofstede, 2012).
Os dados da WVS têm se mostrado fundamentais para compreender a interação entre valores culturais e resultados no mundo real. Por exemplo, os dados da WVS têm se mostrado altamente preditivos do comportamento pró-social, do nível de corrupção, da fraude eleitoral e do tamanho da economia paralela (por exemplo, Aycinena et al., 2022). Aqui, usamos a sétima onda dos dados da WVS (Haerpfer et al., 2020), coletados de meados de 2017 ao início de 2022. Após limpar os dados da pesquisa (ver Métodos para detalhes), obtivemos respostas de 94.278 indivíduos de 65 nações.
As amostras da WVS são representativas de todos os adultos com 18 anos ou mais que residem em domicílios particulares em cada país. O principal método de coleta de dados na WVS envolve a realização de entrevistas presenciais com os entrevistados em suas próprias casas ou locais de residência. Além dessa abordagem, a WVS também utiliza outros modos de entrevista, como pesquisas por correio, pesquisas online autoaplicáveis e entrevistas por telefone, que são usados em combinação com outras técnicas.
Usando a Interface de Programação de Aplicativos (API) da OpenAI, administramos as perguntas da WVS ao GPT. Em seguida, para cada pergunta, coletamos 1.000 respostas do GPT na tentativa de capturar a variação com um tamanho de amostra semelhante ao dos países pesquisados (ver Métodos). Após a limpeza inicial dos dados, 262 variáveis permaneceram para análise (ver procedimentos em Métodos).
Primeiro, nosso objetivo foi avaliar se as respostas do GPT são confiavelmente diferentes das respostas dos grupos humanos e quais grupos humanos são mais próximos do GPT. Realizamos uma análise de agrupamento hierárquico após normalizar todas as variáveis (Figura 1).
Levando em consideração holisticamente todas as variáveis normalizadas, o GPT foi identificado como o mais próximo dos Estados Unidos e do Uruguai e, em seguida, deste agrupamento de culturas: Canadá, Irlanda do Norte, Nova Zelândia, Grã-Bretanha, Austrália, Andorra, Alemanha e Países Baixos.
Por outro lado, as respostas do GPT estavam mais distantes de culturas como Etiópia, Paquistão e Quirguistão. Em seguida, procedemos à visualização do agrupamento cultural do GPT em relação às culturas atuais, executando um escalonamento multidimensional usando a distância euclidiana entre as culturas (para detalhes de implementação, consulte Métodos). A Figura 2 oferece um resumo da variação. O objetivo do escalonamento multidimensional é representar as distâncias entre pares de observações em um espaço de dimensão inferior, de modo que as distâncias nesse espaço reduzido sejam altamente semelhantes às distâncias originais.
Como verificação de robustez, realizamos uma análise de componentes principais (PCA). Os dois primeiros PCs (explicando a maior variação nos dados, 34,3%) mostraram padrões muito semelhantes. Entre os primeiros 20 PCs, o GPT foi um outlier nos PCs 3 e 4 (ver Materiais Complementares), sugerindo que o GPT é de fato um outlier em relação às populações humanas, mas se aproxima mais das culturas WEIRD se considerarmos seus vizinhos mais próximos. Mais informações sobre os PCs 3 e 4 (que causam a menor semelhança com os dados humanos) estão disponíveis nos Materiais Complementares.
Discussão
Quando os pesquisadores afirmam que os LLMs dão respostas semelhantes às dos “humanos”, eles precisam especificar de quais humanos estão falando. Muitos na comunidade de IA negligenciam ou subestimam a variação psicológica substancial entre as populações humanas, incluindo em domínios como preferências econômicas, heurísticas de julgamento, vieses cognitivos, julgamentos morais e autopercepções (Awad et al., 2018; Atari et al., 2023; Nisbett et al., 2001; Henrich, 2020; Falk et al., 2018; Heine, 2020; Blasi et al., 2022).
De fato, em muitos domínios, as pessoas das populações WEIRD contemporâneas são um outlier em termos de psicologia, de uma perspectiva global e histórica (Apicella et al., 2020; Muthukrishna et al., 2021). Trabalhos teóricos e empíricos em evolução cultural sugerem que a capacidade “humana” de evolução cultural cumulativa produz muitas ferramentas, técnicas e heurísticas com as quais pensamos e raciocinamos (Henrich et al., 2023).
As normas sociais nos informam quais ferramentas físicas e psicológicas usar para resolver problemas recorrentes, dependendo dos contextos socioecológicos e interpessoais em que estamos inseridos, produzindo assim uma diversidade psicológica substancial em todo o mundo. Questionamos se essa diversidade psicológica se reflete ou é adquirida pelos modelos de linguagem generativa. Defendemos que os LLMs não se assemelham às respostas humanas a diferentes baterias de testes psicométricos. Eles herdam uma psicologia WEIRD em muitos aspectos atitudinais (por exemplo, valores, confiança, religião), bem como em domínios cognitivos (por exemplo, estilo de pensamento, autoconceito).
Esse viés provavelmente se deve ao fato de os dados de treinamento dos LLMs terem sido produzidos por pessoas de populações WEIRD. No entanto, independentemente da origem desse viés, os pesquisadores devem ter cautela ao investigar a psicologia dos LLMs, perguntando continuamente “quais seres humanos” são a fonte dos dados de treinamento nesses modelos generativos.
Grande parte da pesquisa técnica em NLP tem se concentrado em tipos específicos de viés contra grupos sociais protegidos (por exemplo, com base em gênero, raça e orientação sexual) e no desenvolvimento de técnicas computacionais para remover essas associações emergentes em modelos não supervisionados (por exemplo, Omrani et al., 2023). No entanto, o viés WEIRD dos LLMs continua sendo pouco explorado. Para ter sistemas de IA que representem (e valorizem) plenamente a diversidade humana, tanto a ciência quanto a indústria precisam reconhecer o problema e avançar na diversificação de seus dados de treinamento, bem como dos anotadores.
“Garbage In, Garbage Out” (lixo entra, lixo sai) é um aforismo amplamente reconhecido na comunidade de aprendizado de máquina, enfatizando como dados de treinamento de baixa qualidade resultariam em resultados falhos. Essa expressão se concentra na qualidade dos dados e normalmente envolve rótulos precisos na anotação de dados para criar uma “verdade fundamental” para treinar um classificador. Esforços substanciais têm sido direcionados para melhorar a qualidade dos dados de entrada, bem como o feedback humano sobre as respostas geradas, mas as diferenças culturais nos dados de entrada e no feedback têm sido quase totalmente ignoradas ou simplesmente citadas como uma limitação das estruturas existentes. Nossas descobertas sugerem que “WEIRD in, WEIRD out” pode ser a resposta, um importante fenômeno psicotecnológico cujos riscos, danos e consequências permanecem amplamente desconhecidos.
Os modelos maiores no futuro não necessariamente melhorarão no sentido de reduzir seu viés WEIRD. Não se trata apenas do tamanho, mas também da diversidade e qualidade dos dados. Os modelos futuros ainda podem sofrer com o problema WEIRD-in-WEIRD-out porque a maioria dos dados textuais na internet é produzida por pessoas WEIRD (e principalmente em inglês). Alguns estudos mostraram que os LLMs multilíngues ainda se comportam de maneira WEIRD, refletindo as normas ocidentais, mesmo quando respondem a prompts em idiomas que não o inglês (Havaldar et al., 2023).
Os pesquisadores não devem presumir sem fundamento que a superparametrização desses modelos resolverá seu viés WEIRD. Em vez disso, os pesquisadores devem dar um passo atrás e examinar as fontes dos dados de entrada, as fontes de feedback humano alimentadas nos modelos e a peculiaridade psicológica que essas futuras gerações de LLMs recebem dos dados gerados por pessoas WEIRD. Notavelmente, a diversificação pós-hoc dos modelos de IA pode não resolver necessariamente o problema, porque a própria noção de diversidade pode significar coisas diferentes entre as populações. Por exemplo, em algumas nações, a diversidade pode estar mais intimamente relacionada às diferenças raciais e étnicas, e em outras nações mais homogêneas racialmente, pode estar mais relacionada às diferenças entre o meio rural e o urbano.
Os LLMs são treinados com dados gerados por humanos, permitindo que eles compreendam as probabilidades das sequências de tokens. Como resultado, eles refletem as tendências linguísticas humanas moldadas pela arquitetura do modelo, o que, por sua vez, afeta a forma como esses modelos abordam as tarefas de raciocínio (Dasgupta et al., 2022). Bender et al. (2021) argumentaram que os LLMs são como “papagaios estocásticos”, sugerindo que um modelo de linguagem “é um sistema para unir aleatoriamente sequências de formas linguísticas que observou em seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas se combinam, mas sem qualquer referência ao significado”.
Aqui, acrescentamos uma emenda à analogia do “papagaio estocástico” e argumentamos que os LLMs são uma espécie peculiar de papagaios, porque seus dados de treinamento são em grande parte provenientes de populações WEIRD: um outlier no espectro da psicologia humana, tanto em escala global quanto histórica. A produção dos LLMs atuais sobre temas como valores morais, questões sociais e política provavelmente soaria bizarra e estranha para bilhões de pessoas que vivem em populações menos WEIRD.
Conclusão
Os LLMs estão se tornando cada vez mais relevantes na vida cotidiana das pessoas e parecem estar bem posicionados para automatizar uma proporção cada vez maior da tomada de decisões em várias sociedades. Assim, pode ser crucial investigar as tendências pelas quais os LLMs “pensam”, “se comportam” e “sentem”, em outras palavras, sondar sua psicologia. Engenheiros e pesquisadores de IA normalmente comparam o desempenho dos LLMs com o dos “humanos”. Aqui, demonstramos que os LLMs adquirem uma psicologia WEIRD, possivelmente porque seus dados de treinamento provêm predominantemente de indivíduos que vivem em populações WEIRD. Portanto, os LLMs podem ignorar a diversidade psicológica substancial que vemos em todo o mundo. Esse viés sistemático dos LLMs pode ter consequências e riscos sociais de longo alcance, à medida que eles se tornam mais integrados aos nossos sistemas sociais, instituições e processos de tomada de decisão ao longo do tempo.
Autores: Mohammad Atari, Mona J. Xue, Peter S. Park, Damián E. Blasi, Joseph Henrich
Department of Human Evolutionary Biology, Harvard University
Artigo orginal: https://bit.ly/43F673q
