O aumento da IA Generativa (GenAI) nos fluxos de trabalho intelectual levanta questões sobre o impacto nas habilidades e práticas do pensamento crítico. Pesquisamos 319 trabalhadores de produção de conhecimento para investigar:
1) quando e como eles percebem a aplicação do pensamento crítico ao usar a GenAI, e
2) quando e por que a GenAI afeta seus esforços nesse sentido.
Os participantes compartilharam 936 exemplos em primeira mão do uso da GenAI em tarefas. Quantitativamente, ao considerar tanto a tarefa quanto os fatores específicos do usuário, a autoconfiança específica da tarefa e a confiança do usuário na GenAI são preditivos do fato de o pensamento crítico ser ou não adotado e do o esforço de fazê-lo em tarefas auxiliadas pela GenAI.
Especificamente, uma maior confiança na GenAI está associada a menos pensamento crítico, enquanto maior autoconfiança está associada a mais pensamento crítico. Em termos qualitativos, a GenAI muda a natureza do pensamento crítico para verificação de informações, integração de respostas e administração de tarefas. Nossas percepções revelam novos desafios e oportunidades de design para desenvolvimento de ferramentas GenAI para o trabalho intelectual.
Introdução
Ferramentas de IA generativa (GenAI), definidas como qualquer “ferramenta de usuário final […] cuja implementação técnica inclui um modelo generativo baseado em aprendizagem profunda aprendizagem profunda”, são as mais recentes em uma longa linha de tecnologias que levantam questões sobre seu impacto na qualidade do pensamento humano, uma linha
que inclui a escrita (contestada por Sócrates), a impressão (contestada por Trithemius), calculadoras (contestadas por professores de aritmética), e a Internet.
Essa consternação não é infundada. Usadas de forma inadequada, as tecnologias podem e de fato resultam na deterioração das faculdades cognitivas que deveriam ser preservadas. Como observou Bainbridge, uma das principais ironias da automação é que, ao mecanizar as tarefas rotineiras e deixar e deixando o tratamento de exceções para o usuário humano, você o priva das oportunidades rotineiras de praticar seu julgamento e fortalecer sua “musculatura” cognitiva, deixando-o “atrofiado” e despreparado quando as exceções surgirem.
Em resposta, a pesquisa começou a analisar de perto como as diferentes atividades são afetadas pela GenAI e até que ponto ocorre o descarregamento cognitivo, e se isso pode ser indesejável. Alguns trabalhos se concentraram, por exemplo, no estudo dos efeitos do uso da GenAI sobre a memória (o que pode ser um problema) e na criatividade. Além disso, a pesquisa de design também vem desenvolvendo intervenções que melhoram a capacidade das pessoas de pensar de determinadas maneiras.
Neste artigo, concentramo-nos em um conceito de nível superior que capta outro aspecto do pensamento considerado desejável e digno de preservação: o pensamento crítico. O efeito do uso das ferramentas GenAI no pensamento crítico, como objeto direto de investigação, ainda não foi explorado. Além disso, nosso foco é o pensamento crítico para o trabalho intelectual (conforme conceituado por Drucker e Kidd).
Grande parte das pesquisas sobre o efeito da GenAI nas habilidades de raciocínio está concentrada em ambientes educacionais, onde a preocupação com o cultivo de habilidades é mais acentuada (por exemplo, o efeito das ferramentas de preenchimento de código GenAI na programação e no ensino de ciência da computação). Conforme observado anteriormente, o pensamento crítico foi operacionalizado em detalhes em determinadas disciplinas específicas, como história acadêmica, psicologia clínica e enfermagem.
Mas as mudanças ostensivas nos comportamentos de pensamento crítico provocadas pela GenAI se estendem a um amplo conjunto de profissões e fluxos de trabalho intelectual – as ferramentas do GenAI agora são amplamente usadas no trabalho intelectual – e pouco se sabe sobre as demandas de pensamento crítico dessas profissões. Faltam exemplos empíricos de base ampla de quais tipos de atividades de trabalho de conhecimento são consideradas pelos profissionais como exigindo pensamento crítico.
Trabalhos recentes motivaram a necessidade de apoio ao pensamento crítico no trabalho intelectual assistido por IA. Isso é motivado principalmente pela observação da tendência dos fluxos de trabalho intelectual assistidos por IA estarem sujeitos à “convergência mecanizada”, ou seja, que os usuários com acesso às ferramentas GenAI produzem um conjunto menos diversificado de resultados para a mesma tarefa, em comparação com aqueles que não têm acesso.
Essa tendência convergência reflete a falta de julgamento pessoal, contextualizado, crítico e
e reflexivo dos resultados da IA e, portanto, pode ser interpretada como uma deterioração do pensamento crítico.
No entanto, não temos evidências empíricas diretas para uma interpretação que defenda uma conexão entre a convergência mecanizada e o pensamento crítico. A diversidade de resultados é um indicador do pensamento crítico, e com falhas. Por exemplo, os usuários que reutilizam os resultados do GenAI sem editá-los podem, no entanto, ter feito um julgamento crítico e reflexivo ao tomar a decisão de não editá-lo. Esse pensamento reflexivo é invisível para as medidas que se concentram apenas no artefato final produzido. Sem saber como os trabalhadores intelectuais utilizam o pensamento crítico ao usar a GenAI e os desafios associados, corremos o risco de criar intervenções que não atendam às necessidades reais dos trabalhadores.
Neste artigo, nosso objetivo é abordar essa lacuna por meio de uma pesquisa com um conjunto profissionalmente diversificado de trabalhadores intelectuais (𝑛 = 319), obtendo exemplos detalhados de tarefas do mundo real (936) para as quais eles usam o GenAI e medindo diretamente suas percepções durante essas tarefas: quando o pensamento crítico é necessário, como o pensamento crítico é aplicado, se as ferramentas da GenAI afetam o esforço do pensamento crítico e em que medida. Nós nos concentramos na “atuação” (ou seja, ações que são sinais ou manifestações) do pensamento crítico, e não no pensamento crítico em si, porque o próprio pensamento crítico, como um fenômeno mental puro, é difícil para as pessoas se auto-observarem, refletirem e relatarem. Em termos concretos, nosso objetivo é responder a duas perguntas de pesquisa:
RQ1. Quando e como os profissionais do conhecimento percebem a aplicação do pensamento crítico ao usar o GenAI?
RQ2. Quando e por que os profissionais do conhecimento percebem o aumento/diminuição do esforço para o pensamento crítico devido ao GenAI?
Com relação à RQ1, o estudo revela que os profissionais intelectuais se envolvem em pensamento crítico ao usar as ferramentas GenAI principalmente para garantir a qualidade de seu trabalho. Eles definem o pensamento crítico como a definição de metas claras, o refinamento de prompts e a avaliação do conteúdo gerado pela IA para atender a critérios e padrões específicos. Sua abordagem reflexiva envolve a verificação dos resultados em relação a fontes externas e seus próprios conhecimentos, especialmente em tarefas que exigem maior precisão.
Os dados identificam os principais motivadores do pensamento crítico: o desejo de melhorar a qualidade do trabalho, evitar resultados negativos e desenvolver habilidades. No entanto, várias barreiras inibem esse processo reflexivo, incluindo a falta de conscientização, a motivação limitada devido à pressão de tempo ou ao escopo do trabalho e a dificuldade de melhorar as respostas de IA em domínios desconhecidos.
Surpreendentemente, embora a IA possa aumentar a eficiência, ela também pode reduzir o envolvimento crítico, principalmente em tarefas rotineiras ou de menor risco, nas quais os usuários simplesmente confiam na IA, levantando preocupações sobre a dependência de longo prazo e a diminuição da solução independente de problemas.
Em relação à RQ2, as ferramentas GenAI parecem reduzir o esforço necessário percebido para tarefas de pensamento crítico entre os trabalhadores do conhecimento, especialmente quando eles têm mais confiança nos recursos de IA. No entanto, os trabalhadores que confiam em suas próprias habilidades tendem a perceber um esforço maior nessas tarefas, principalmente ao avaliar e aplicar as respostas da IA.
Os dados mostram uma mudança no esforço cognitivo à medida que os profissionais do conhecimento passam cada vez mais da execução de tarefas para a supervisão ao usar a GenAI. Embora essa mudança “da produção de material para a integração crítica” tenha sido observada em estudos anteriores, esses estudos são geralmente estudos controlados em domínios restritos com pequenas amostras de participantes.
Nossos dados fornecem evidências complementares de que isso também ocorre no uso de ferramentas de GenAI no mundo real, em uma ampla variedade de tarefas e profissões. Em tarefas como a recuperação de conhecimento, a IA reduz o esforço ao automatizar a coleta de informações, mas os funcionários agora precisam investir mais na verificação da precisão dos resultados da IA. Da mesma forma, embora a IA simplifique a criação de conteúdo, os funcionários ainda precisam dedicar tempo para alinhar os resultados com necessidades específicas e padrões de qualidade.
O artigo traz as seguintes contribuições:
Analisamos a literatura sobre intervenções de design de interação para o pensamento crítico e estudos sobre os efeitos da automação nos fluxos de trabalho intelectual.
Descrevemos o desenvolvimento e a implementação de uma pesquisa para coletar evidências empíricas sobre as experiências e percepções dos trabalhadores do conhecimento, experiências e percepções sobre o efeito da GenAI no pensamento crítico
Descobrimos que as ferramentas GenAI reduzem o esforço percebido do pensamento crítico e, ao mesmo tempo, incentivam o excesso de confiança na IA, com a confiança na ferramenta muitas vezes diminui a resolução independente de problemas. Quando os trabalhadores passam da execução da tarefa para a supervisão da IA, eles trocam o envolvimento prático pelo desafio de verificar e editar os resultados da IA, revelando tanto os ganhos de eficiência quanto os riscos de uma menor reflexão crítica.Com base nos insights de nossa pesquisa, destacamos como o uso das ferramentas de GenAI cria novos desafios para o pensamento crítico. Descrevemos as implicações para projetar a GenAI para apoiar trabalhadores do conhecimento para aumentar sua conscientização, motivação e a capacidade de pensar criticamente.
Trabalhos relacionados
Pensamento Crítico
Adotamos a definição de pensamento crítico desenvolvida por Bloom et al. [12, 54], uma taxonomia hierárquica que caracteriza os objetivos de aprendizagem dos em seis tipos: conhecimento (recordação de ideias), compreensão (demonstrar entendimento das ideias), aplicação (colocar as ideias em prática), análise (contrastar e relacionar ideias), síntese
(combinação de ideias) e avaliação (julgamento de ideias por meio de critérios).
Essa definição de pensamento crítico não é incontestável. Existem várias estruturas alternativas, e o pensamento crítico também é chamado de pensamento reflexivo [26], embora nem todos os acadêmicos os confundam. Houve várias propostas para conectar e reconciliar essa multiplicidade de estruturas. Adotamos a estrutura de Bloom et al. por vários motivos. Primeiro, como uma das primeiras estruturas, ela tem forte apoio na literatura de pesquisa e ampla adoção nos sistemas educacionais – sua definição de pensamento crítico tem sido amplamente influente resistido a críticas e análises severas.
Em segundo lugar, ela é relativamente simples, com apenas seis dimensões centrais (ao contrário, por exemplo, da estrutura matizada de a estrutura matizada de Paul-Elder [104], que consiste em oito “elementos do pensamento”, dez ‘padrões intelectuais’ e oito ‘virtudes intelectuais’).
A simplicidade da estrutura de Bloom et al. seu pequeno conjunto de dimensões com definições claras – torna-a mais adequada como base de um instrumento de pesquisa.
As habilidades de pensamento crítico podem ser desenvolvidas em estágios sequenciais. Apesar das preocupações sobre se o pensamento crítico pode ser pode ser ensinado, as pesquisas em educação desenvolveram várias abordagens para ensinar o pensamento crítico, como exercícios estruturados de argumentação.
O Pensamento crítico pode ser medido por meio de autoavaliação, por pares ou por especialistas, usando uma série de questionários, questões de múltipla escolha justificadas, redações estruturadas, protocolos para avaliação do portfólio, observação de tarefas e interação entre pares.
No estudo, aplicamos uma avaliação de um item em escala de cinco pontos para cada para cada uma das seis atividades cognitivas associadas ao pensamento crítico (seis itens no total, semelhante a trabalhos anteriores (por exemplo, Alaoutinen e Smolander).
Pesquisa de design para pensamento crítico e reflexivo
Pesquisas anteriores investigaram como o design de interação pode incentivar o pensamento crítico ou reflexivo. Várias dimensões do espaço das intervenções de pensamento crítico foram exploradas. Por exemplo, se o sistema deve ser proativo, ou seja, se deve introduzir avisos de pensamento crítico sem uma solicitação explícita do usuário. Ou até que ponto a participação e o envolvimento do usuário são importantes para criar resultados de pensamento crítico, por exemplo, apresentar explicações de IA como perguntas em vez de afirmações melhora o discernimento lógico, as perguntas também melhoram a leitura crítica, as verificações de atenção promovem o pensamento sistemático [49], a discussão repleta de conflitos induz ao pensamento crítico e, em geral, o aumento do envolvimento resulta em mudanças comportamentais. A pesquisa explorou a eficácia da gamificação do pensamento crítico. A pesquisa também explorou até que ponto as intervenções devem ser apresentadas de forma agente ou antropomimética.
Há domínios e atividades, alguns dos quais são relevantes para fluxos de trabalho de conhecimento comum, nos quais as intervenções de pensamento crítico foram muito estudadas. Por exemplo, o design para o pensamento crítico por meio de auxílios estruturados ao pensamento, estímulos ao pensamento analítico, planilhas e discussões em grupo e gamificação. Ou em ferramentas de escrita, ideação e argumentação, como a visualização da estrutura do argumento, a reflexão sobre cenários futuros, a ideação e o suporte à avaliação, avaliação de riscos em declarações de impacto de pesquisa. Outra área comum para intervenções de pensamento reflexivo é a saúde mental e bem-estar, por exemplo, para apoiar a reavaliação cognitiva, reduzir o uso compulsivo de smartphones, melhorar o gerenciamento do tempo, criar sugestões de registro em diário, incentivar a reflexão sobre, apoiar a oração, treinamento para o crescimento da liderança e reflexão sobre objetos queridos. As intervenções de pensamento crítico também foram exploradas na análise de dados.
O excesso de confiança, definido como “usuários que aceitam recomendações incorretas, ou seja, cometem erros de comissão”, está intimamente relacionado com (a falta de) pensamento crítico. Buçinca et al. [17] descobriram que “funções de forçamento cognitivo”, como exigir que o usuário espere antes de receber o resultado da IA, ou fazer atualizações interativas no resultado da IA, reduzem significativamente o excesso de confiança em comparação com explicações mais simples da IA.
Embora haja uma sobreposição, o excesso de confiança não é estritamente o mesmo problema que (e talvez seja um caso especial de) falta de pensamento crítico.
A falta de pensamento crítico também pode se manifestar por meio da aceitação de uma solução que apenas atende a um limite de aspiração de linha de base – Nesses casos, a solução de IA está correta (embora possivelmente de má qualidade) e, portanto, não é excesso de confiança, estritamente falando. Coletivamente, isso pode informar intervenções de design para apoiar o pensamento crítico dos trabalhadores do conhecimento. Ainda assim, esses sistemas e ferramentas não se envolvem em como a necessidade de apoio ao pensamento crítico muda devido a mudanças no fluxo de trabalho causadas especificamente pelo uso da GenAI. Também não temos bases empíricas para entender como os trabalhadores do conhecimento adotam o pensamento crítico em fluxos de trabalho reais do GenAI no mundo real.
Efeitos da automação no pensamento e nos fluxos de trabalho de conhecimento: escrita e memória
Efeitos sobre a escrita. As ferramentas de IA generativa, como Copilot e ChatGPT, podem aumentar a produtividade da escrita, auxiliando em tarefas como geração de conteúdo, geração de ideias e edição estilística, ajudando escritores experientes e novatos [18, 84, 112, 135]. No entanto, há preocupações de que os escritores iniciantes possam se tornar excessivamente dependentes dessas ferramentas, o que pode prejudicar o desenvolvimento de suas habilidades em longo prazo, ignorando processos críticos de redação, como a construção de argumentos lógicos e a compreensão do assunto.
Para atenuar isso, o uso da GenAI para feedback individualizado e focado no conteúdo pode ajudar os redatores iniciantes a desenvolver habilidades de redação e, ao mesmo tempo, melhorar a produtividade. Embora o feedback humano tenha sido tradicionalmente necessário para o autoaperfeiçoamento, a integração da IA em ferramentas como o Microsoft Word poderia democratizar o acesso ao desenvolvimento de habilidades de escrita, fornecendo feedback consistente e de baixo custo.
Estudos iniciais sugerem que o feedback gerado pela IA pode melhorar a qualidade e a estrutura lógica da redação, especialmente para alunos com desempenho inferior e alunos de inglês menos confiantes. Assim, equipar as ferramentas de IA com melhores mecanismos de feedback poderia promover o desenvolvimento de habilidades de escrita a longo prazo e, ao mesmo tempo, abordar as desigualdades no acesso ao ensino de escrita e permitir que humanos e IA interajam ao longo do tempo para maximizar a produtividade e os resultados de aprendizagem.
Efeitos na memória
Embora a GenAI e os mecanismos de busca conversacional possam simplificar tarefas como revisões de literatura, alguns temem que a terceirização desse trabalho possa prejudicar nossa capacidade de aprender e lembrar, no que às vezes é chamado de “amnésia digital”. Embora as evidências desse efeito sejam amplamente inconclusivas. As pesquisas mostram que o resumo do material, a prática da escrita, a prática de redação de acompanhamento, melhoram a memória ao integrar novos conhecimentos aos já existentes, mas a redação de resumos no mundo real geralmente é passiva e ineficaz e, portanto, pode não melhorar a recordação em comparação com a simples releitura do texto. As ferramentas GenAI, como o ChatGPT e o Copilot, podem atenuar essas desvantagens, especialmente para alunos menos experientes, fornecendo resumos de alta qualidade sobre os quais podem ser realizados monitorados. A ciência cognitiva mostra que o aprendizado eficaz exige “fundamentar” as informações por meio de perspectivas e exemplos múltiplos, e a GenAI pode oferecer analogias personalizadas para ajudar nesse processo.
Em resumo, trabalhos anteriores definiram o pensamento crítico e investigaram maneiras de desenvolver e medir essa habilidade em ambientes educacionais. Separadamente, a pesquisa de design investigou formas de desenvolver tecnologias que induzem à reflexão crítica. Também foi descobriu que as ferramentas de IA podem afetar significativamente os fluxos de trabalho comuns, como a escrita.
No entanto, há uma lacuna na compreensão das percepções dos trabalhadores do conhecimento sobre como a GenAI afeta sua ação de pensamento crítico e o esforço de fazer isso, em uma ampla gama de casos de uso. Essa é a lacuna que abordamos com nossa pesquisa.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
Metodologia
Para responder às nossas perguntas de pesquisa – quando e como os profissionais do conhecimento percebem a aplicação do pensamento crítico ao usar a GenAI (RQ1), e quando e por que os profissionais do conhecimento percebem o aumento/diminuição do esforço para o pensamento crítico devido à GenAI (RQ2) -, realizamos uma pesquisa on-line na plataforma Prolific2 para estudar as experiências dos profissionais do conhecimento com o pensamento crítico ao usar as ferramentas da GenAI em seu trabalho.
Para garantir que os participantes compreendessem totalmente o escopo e o significado das nossas perguntas sobre pensamento crítico, como parte da integração do estudo da pesquisa, eles foram apresentados ao conceito de pensamento crítico no contexto do uso da GenAI por meio de exemplos concretos de como o pensamento crítico poderia ser aplicado em vários níveis da taxonomia de Bloom (por exemplo, verificar o tom dos e-mails gerados, verificar a precisão dos trechos de código e avaliar possíveis vieses nos insights de dados).
Esses exemplos serviram para sensibilizar os participantes para as várias dimensões do pensamento crítico, evitando, ao mesmo tempo, conceituar o pensamento crítico de forma muito restrita. Eles agiram como “priming cognitivo”, ajudando os participantes a entender melhor o conceito de pensamento crítico, solicitando assim um melhor reconhecimento dos comportamentos de pensamento crítico no uso diário do GenAI pelos participantes.
No total, recebemos 319 respostas à pesquisa, nas quais os participantes compartilharam um total de 936 exemplos do mundo real em que usaram uma ferramenta GenAI em seu trabalho e compartilharam como o pensamento crítico desempenhou um papel nessas tarefas.
Para responder à RQ1, criamos um modelo de regressão explicativa com uma variável dependente que mede se os participantes perceberam a aplicação do pensamento crítico ao usar as ferramentas GenAI para as tarefas que compartilharam, e variáveis independentes correspondentes a dois conjuntos de fatores que, segundo nossa hipótese, poderiam se correlacionar com a tendência de se envolver com as tarefas de forma crítica:
1) fatores da tarefa: medidas sobre a tarefa em questão – por exemplo, tipo de tarefa, confiança na execução da tarefa.
2) Fatores do usuário: medidas sobre os usuários – por exemplo, idade, sexo, ocupação, tendência a refletir no trabalho e confiança na GenAI.
Além disso, analisamos os motivadores e inibidores do pensamento crítico dos participantes a partir de suas respostas de texto livre. Para responder à RQ2, criamos modelos de regressão explicativa com variáveis dependentes que medem se os participantes percebem que as diferentes atividades cognitivas que constituem o pensamento crítico (por exemplo, decompor um problema, reunir ideias) exigem mais ou menos esforço quando usam uma ferramenta GenAI para as tarefas, em comparação com quando não usam. As variáveis independentes incluíram o mesmo conjunto de fatores da RQ1 acima. Também analisamos as respostas de texto livre dos participantes para entender por que eles percebiam essas atividades cognitivas como mais ou menos trabalhosas devido ao GenAI.
O projeto de pesquisa
Para modelar a relação entre a tarefa e os fatores do usuário se relacionam com as atividades de pensamento crítico, elaboramos uma pesquisa da seguinte forma (consulte o Apêndice A.1 para ver a pesquisa completa).
Fatores relacionados à tarefa
Estudos anteriores mostraram que os trabalhadores do conhecimento aplicam as ferramentas GenAI para uma série de tarefas e expressam necessidades diferentes ao realizá-las, e que a confiança percebida em si mesmos e na IA ao realizar as tarefas pode influenciar seu uso e confiança na ferramenta. Nossa hipótese é que os fatores relacionados à tarefa do usuário, incluindo o tipo de tarefa, a confiança em si mesmo e a IA que realiza a tarefa, podem afetar seu pensamento crítico.
Tipo de tarefa
Brachman et al. classificam o uso atual das ferramentas GenAI pelos profissionais do conhecimento em nove tipos, agrupados em três categorias principais:
1) para criação,
2) para encontrar ou trabalhar com informações,
3) para obter conselhos.
Essa taxonomia oferece distinções claras entre as principais categorias de tipos de tarefas, que, segundo nossa hipótese, estariam correlacionadas com o pensamento crítico dos usuários devido aos diferentes objetivos e requisitos.
Seguimos a taxonomia de Brachman et al. e operacionalizamos sua categorização de tipo de tarefa em nossa pesquisa, concentrando-nos nas categorias principais. Para cada exemplo de uso da ferramenta GenAI, primeiro foi solicitado aos participantes que descrevessem detalhadamente a tarefa que realizaram (ou seja, diga-nos:
1) o que você estava tentando alcançar,
2) em que ferramenta GenAI e
3) como você usou a ferramenta GenAI, incluindo quaisquer instruções).
Em seguida, foi solicitado que você escolhesse um dos nove tipos de tarefa que melhor descrevesse sua tarefa. Com essas informações, classificamos cada exemplo como criação, informação ou aconselhamento, de acordo com a taxonomia de Brachman et al.
Tabela 1: Categorias e subcategorias para o uso de ferramentas de IA Generativa
Confiança na tarefa
Orientados por estudos anteriores sobre a confiança do usuário na tomada de decisão assistida por IA, consideramos três aspectos da confiança do usuário para cada tarefa relatada por ele mesmo:
1) confiança em si mesmo (ou seja, o quanto você está confiante em sua capacidade de realizar essa tarefa sem o GenAI?),
2) confiança na GenAI (ou seja, o quanto você está confiante na capacidade da GenAI de realizar essa tarefa?) e
3) confiança na avaliação (ou seja, o quanto você está confiante, no decorrer do seu trabalho normal, em avaliar o resultado que a IA produz para essa tarefa?)
Os participantes classificaram cada aspecto da confiança em uma escala de cinco pontos que varia de “nada confiante” (1) a “extremamente confiante” (5).
Fatores do usuário.
Nossa hipótese foi que a tendência geral dos participantes ao pensamento reflexivo e à confiança na GenAI afetaria a consciência e a prática do pensamento crítico de base, e adaptamos instrumentos validados de trabalhos anteriores para medir isso.
Tendência a refletir sobre o trabalho.
Usamos o Inventário de Pensamento Reflexivo de Kember et al. para medir a tendência básica dos participantes a pensar de forma reflexiva. O pensamento reflexivo está intimamente relacionado ao pensamento crítico e o inventário de Kember et al. pode ser interpretado como um indicador da disposição para pensar criticamente.
Confiança na IA Generativa
Medimos a confiança geral dos participantes na GenAI, que se mostrou correlacionada com as atitudes dos usuários e a adoção do uso das tecnologias. Para isso, adaptamos a escala de seis itens Propensity to Trust Technology, substituindo a palavra “tecnologia” por “GenAI”.
Gênero, idade e ocupação
Coletamos informações demográficas, incluindo gênero, faixa etária e ocupação. Com relação à ocupação, os participantes selecionaram a categoria de ocupação mais apropriada nas listas de ocupações da Occupational Information Network (O*NET)3. Classificamos as ocupações como estando em risco de automação com base nas análises econômicas de Ghosh et al., incluindo as categorias de Suporte administrativo e de escritório, Vendas e afins, Informática e matemática, Operações comerciais e financeiras e Artes, design, entretenimento, esportes e mídia.
Pensamento crítico, atividades cognitivas associadas e esforço.
Percepção da aplicação do pensamento crítico
Uma variável dependente importante da RQ1 – quando os trabalhadores do conhecimento percebem a interação para pensar criticamente – foi respondida usando um par de perguntas, primeiro perguntando se os participantes percebiam que haviam realizado o pensamento crítico para aquela tarefa (uma pergunta binária de sim/não), seguida por uma pergunta de texto livre pedindo que justificassem sua resposta. Se os participantes respondessem “sim” à primeira pergunta, eles deveriam explicar por que e como utilizaram o pensamento crítico em texto livre (ou seja, Por favor, compartilhe um exemplo do mundo real quando você aplicou a(s) tática(s) de pensamento crítico a essa tarefa e explique por que você fez isso), bem como os desafios, se houver, que enfrentaram ao fazer isso (ou seja, Ao aplicar essa tática de pensamento crítico durante o uso da ferramenta GenAI, você já encontrou algum desafio ou obstáculo? Se os participantes respondessem “não” à pergunta, eles deveriam explicar por que não pensaram criticamente para a tarefa, em texto livre.
Esforço percebido no pensamento crítico: A taxonomia de Bloom.
Conforme discutido anteriormente, escolhemos a taxonomia de Bloom como a estrutura para operacionalizar a medição das atividades de pensamento crítico. A taxonomia inclui seis níveis diferentes de atividades cognitivas:
Conhecimento (ou seja, recordação),
Compreensão (ou seja, organização/tradução de ideias),
Aplicação (ou seja, solução de problemas),
Análise (ou seja, decomposição de um problema),
Síntese (ou seja, junção de ideias) e
Avaliação (ou seja, avaliação e verificação de qualidade).
(Consulte a Tabela 2 para obter mais detalhes).
Para cada exemplo de tarefa, foi perguntado aos participantes se, e em que medida, o uso da ferramenta GenAI alterou o esforço das atividades de pensamento crítico em comparação com quando eles não usaram a ferramenta de IA.
Usamos a escala de cinco pontos “muito menos esforço”, “menos esforço”, “quase o mesmo”, “mais esforço” e “muito mais esforço”(que codificamos como números inteiros entre -2 e +2).
Os participantes podiam escolher “N/A” se achassem que uma atividade cognitiva não era relevante para a tarefa. Por fim, foi solicitado aos participantes que explicassem em texto livre por que haviam marcado qualquer atividade de pensamento crítico como exigindo mais ou menos esforço com o GenAI.
Tabela 2: Atividades cognitivas definidas na taxonomia de Bloom
Configuração e recrutamento do estudo
Recrutamos participantes por meio da plataforma Prolific que declararam usar as ferramentas GenAI no trabalho pelo menos uma vez por semana. Esse critério garantiu que o estudo se concentrasse em profissionais do conhecimento com experiência direta e contínua na integração de ferramentas GenAI em suas tarefas diárias de trabalho.
Recebemos 333 respostas, mas excluímos 14 da análise devido à baixa qualidade das respostas (ou seja, respostas de texto livre de baixo esforço). Para as 319 respostas restantes, os participantes gastaram uma média de 43,19 minutos (STD=23,13) para concluir a pesquisa. Os 319 participantes (159 homens, 153 mulheres, 5 não binários/diversos gêneros, 2 preferem não dizer) eram de diversas faixas etárias, ocupações e países de residência (consulte a Tabela 3).
Os participantes foram compensados com £10 libras esterlinas pela conclusão do estudo. Nosso protocolo de estudo foi aprovado pelo comitê de ética e conformidade da nossa instituição. Todos os participantes foram informados e assinaram um termo de consentimento.
Tabela 3: Demografia dos participantes
Procedimento e análise
Em nossa pesquisa, os participantes foram solicitados a compartilhar três exemplos reais do uso da ferramenta GenAI no trabalho. Para aumentar a variedade de exemplos coletados, foi solicitado aos participantes que pensassem em três exemplos diferentes, um para cada tipo de tarefa: Criação, Informação e Aconselhamento. Em seguida, os participantes foram solicitados a compartilhar um exemplo de cada tipo de tarefa em detalhes. A ordem dos tipos de tarefa foi aleatória para evitar efeitos de ordem e fadiga. Para cada exemplo, conforme mencionado, medimos a percepção dos participantes sobre a aplicação do pensamento crítico, o esforço percebido em atividades cognitivas críticas e a confiança percebida.
Todos os participantes compartilharam três exemplos. No entanto, eles puderam pular qualquer tipo de tarefa com a qual não tivessem experiência e substituí-la por outro tipo de tarefa – por exemplo, um participante poderia compartilhar dois exemplos sobre Criação e um exemplo sobre Aconselhamento, se não tivesse experiência em uma tarefa de Informação. Depois que os participantes compartilharam três exemplos de uso das ferramentas GenAI, a pesquisa avaliou a tendência geral de pensamento reflexivo, a confiança na GenAI e os detalhes demográficos, como sexo, faixa etária e profissão.
Empregamos análises quantitativas e qualitativas, orientadas por nossas perguntas de pesquisa. Tanto a RQ1 – quando e como os profissionais do conhecimento percebem a aplicação do pensamento crítico ao usar o GenAI? – e a RQ2 – quando e por que os profissionais do conhecimento percebem o aumento/diminuição do esforço para o pensamento crítico devido ao GenAI? – foram respondidas por meio de análise quantitativa e qualitativa (consulte a Figura 1 para obter uma visão geral de nossa abordagem).
Limpeza e visão geral do conjunto de dados.
Nossos 319 participantes compartilharam um total de 957 exemplos reais de seu uso das ferramentas GenAI no trabalho. Removemos 11 exemplos que não tinham detalhes suficientes para análise (por exemplo, exemplos breves ou vagos como “Para construir meu portfólio”). Também removemos 11 exemplos para os quais um participante compartilhou exemplos duplicados ou não relacionados ao uso da ferramenta GenAI em suas respostas.
Mantivemos 936 exemplos, incluindo 374 (39,96%) relacionados à criação, 303 (32,37%) relacionados a informações e 259 (27,67%) relacionados a aconselhamento. Nossos participantes declararam ter adotado o pensamento crítico em 555 (59,29%) dos exemplos que compartilharam e perceberam que as atividades de pensamento crítico, em geral, exigiam menos esforço quando usavam uma ferramenta GenAI do que quando não a usavam (veja a distribuição de DV na Tabela 4).
Análise quantitativa
Para modelar a relação entre a tarefa e os fatores do usuário (variáveis independentes) com (1) uma medida binária da percepção dos usuários sobre a ação do pensamento crítico e (2) seis escalas de cinco pontos da percepção do esforço dos usuários em atividades cognitivas associadas ao pensamento crítico, ajustamos, respectivamente, (1) um modelo de regressão logística de conceitos aleatórios e (2) seis modelos de regressão linear de conceitos aleatórios.
Para levar em conta as medidas repetidas, incluímos o ID do participante como um termo de interceptação aleatória. Para todas as variáveis categóricas, selecionamos o nível de fator mais comum como referência de linha de base. Para corrigir as comparações múltiplas, aplicamos o procedimento Benjamini-Hochberg com um total de 98 preditores hipotéticos nos sete modelos, produzindo um limite de valor p corrigido de 0,007. Ajustamos os valores de p de acordo e relatamos os efeitos significativos com base nesses valores corrigidos.
A Tabela 4 resume os sete modelos e informa os valores de p corrigidos.
Para fins de interpretação, calculamos as pontuações z para padronizar cada fator numérico do usuário (ou seja, tendência geral a refletir, confiança geral na GenAI). Assim, um coeficiente positivo implica o aumento nas probabilidades de log (no modelo de regressão logística) ou no valor (nos modelos de regressão linear), para cada aumento de um desvio padrão desse fator. Um coeficiente negativo implica o oposto. Para escalas de confiança (ou seja, confiança em si mesmo, confiança no GenAI, confiança na avaliação), um coeficiente positivo é o aumento nas probabilidades/valores logarítmicos para cada aumento de um ponto acima da pontuação de base (1: nada confiante), e um coeficiente negativo implica o contrário. Para fatores categóricos e binários (ou seja, tipo de tarefa, gênero, faixa etária, ocupação em risco de automação), o coeficiente é a diferença prevista nas probabilidades logarítmicas/aumento dos valores para um determinado nível de fator em relação a um nível de linha de base. Coeficientes positivos implicam em maiores probabilidades/valores de log em relação ao nível de referência e vice-versa.
Análise qualitativa
Orientados por nossas perguntas de pesquisa, codificamos abertamente as respostas de texto livre dos participantes sobre i) por que eles pensaram ou não de forma crítica ao usar a ferramenta GenAI para a tarefa, ii) por que eles perceberam mais ou menos esforço para realizar atividades de pensamento crítico com a ferramenta GenAI. Um pesquisador realizou a codificação inicial das 50 respostas da pesquisa em discussão com três outros pesquisadores para construir iterativamente um livro de códigos. Outro pesquisador entrou no processo de codificação quando o livro de códigos inicial foi construído e foi treinado com o livro de códigos inicial. Em seguida, os dois pesquisadores codificaram as 269 respostas restantes da pesquisa. Todos os membros da equipe de pesquisa se reuniam regularmente e discutiam os temas emergentes durante o processo de codificação. As discordâncias foram negociadas e resolvidas em cada estágio, usando as práticas recomendadas de acordo negociado. Relatamos nossas descobertas mais abaixo e incluímos o livro de códigos na Tabela 5 do Apêndice. Também relatamos a frequência com que os participantes discutiram os temas identificados.
Resultados da RQ1: Quando e como os profissionais do conhecimento percebem a aplicação do pensamento crítico ao usar o GenAI?
Para responder à RQ1, investigamos como os profissionais do conhecimento definem o pensamento crítico, quando e por que eles adotam o pensamento crítico no uso das ferramentas GenAI. Qualitativamente, descobrimos que os profissionais do conhecimento veem o pensamento crítico como a garantia dos objetivos e da qualidade de seu trabalho. Por meio de nossa análise quantitativa de quando os profissionais do conhecimento adotam o pensamento crítico, descobrimos que sua confiança em si mesmo ao realizar e avaliar a tarefa e sua tendência geral de refletir sobre o trabalho, estão fortemente correlacionadas com a percepção da adoção do pensamento crítico.
Também encontramos uma correlação negativa entre a percepção da aplicação do pensamento crítico e sua confiança na IA ao realizar a tarefa. Por fim, analisamos qualitativamente as respostas de texto livre dos participantes para entender por que eles adotam ou não o pensamento crítico, identificando três motivadores principais (qualidade do trabalho, possíveis resultados negativos, desenvolvimento de habilidades) e três inibidores (conscientização, motivação, capacidade) para o pensamento crítico.
Como os trabalhadores do conhecimento adotam o pensamento crítico
Em primeiro lugar, exploramos a definição e a percepção dos trabalhadores do conhecimento sobre a aplicação do pensamento crítico, examinando as atividades que eles descrevem como sendo de pensamento crítico. Embora nossos participantes trabalhassem em diversas ocupações, o denominador comum era que eles consideravam o pensamento crítico no uso da ferramenta GenAI como atividades cognitivas realizadas para garantir a qualidade das respostas da IA e a intencionalidade durante o uso das ferramentas. Mapeamos nossas descobertas para cada fase do fluxo de trabalho da ferramenta GenAI dos profissionais do conhecimento. Classificamos as práticas de pensamento crítico dos profissionais do conhecimento em
1) formação de metas e consultas,
2) inspeção da resposta e
3) resposta integrada.
Nossa análise baseia-se principalmente em caracterizações de fluxo de trabalho de trabalhos anteriores, embora estruturas mais gerais para solução de problemas cognitivos humanos e solução de problemas com IA [60, 89, 108] também estejam relacionadas.
Formação de metas e consultas
Durante a formação de metas e consultas, os participantes utilizam o pensamento crítico por meio da otimização de solicitações para produzir as respostas que desejam. Eles também utilizam o pensamento crítico ao “dar um passo atrás” para consolidar suas metas e consultas às ferramentas. Esses fenômenos correspondem às fases de formulação de metas e consultas na estrutura iterativa de satisfação de metas proposta por Drosos et al.
Meta de formulário (6/319)
Antes de se envolverem com uma ferramenta, os profissionais do conhecimento refletem sobre suas metas, necessidades e intenções e identificam uma necessidade de assistência em que a ferramenta GenAI poderia ser aplicada. Por exemplo, quando P140 tentou aprender a funcionalidade de um trecho de código por meio do ChatGPT, ele viu o pensamento crítico como a necessidade de “analisar qual era a minha meta e como eu iria alcançá-la… Primeiro, tive de aprender o que eu usaria para progredir”. Da mesma forma, os participantes definiram o pensamento crítico como a definição de metas claras em mente antes de usar as ferramentas GenAI para gerar imagens (por exemplo, P14) e ideias para um relatório (por exemplo, P2). A formação de intenções se aplica a outras ferramentas de computação e não é exclusiva do GenAI. No entanto, conforme enfatizado na estrutura metacognitiva de IA generativa proposta por Tankelevitch et al., o pensamento crítico na forma de definição de metas é particularmente relevante devido à sua conexão direta com o processo de “formação de consultas” – os usuários devem primeiro estabelecer metas claras para gerar consultas com eficácia para a ferramenta.
Consulta de formulário (30/319)
Alguns profissionais do conhecimento aplicaram o pensamento crítico criando ou revisando prompts para as ferramentas GenAI para obter a resposta desejada. Com uma meta em mente, os profissionais do conhecimento criam consultas que esclarecem melhor os resultados finais da ferramenta. Por exemplo, quando P97 tentou criar uma obra de arte para seu site, “[eu] estava refletindo quando se tratava de dar os prompts corretos, para obter o resultado correto é preciso dar uma descrição correta”. O processo de iteração em um prompt pode ajudar a esclarecer as metas dos profissionais do conhecimento e oferecer uma oportunidade para a aplicação do pensamento crítico. Por exemplo, quando uma professora (P19) gerou uma imagem com o DALL-E para sua apresentação sobre a lavagem das mãos na escola: “Percebi que não havia saboneteiras. Então, mudei meu prompt para incluí-los e tentei novamente… Ao pensar no que a imagem realmente precisava mostrar, obtive um resultado muito melhor com a IA para a minha apresentação.”
Inspecionar resposta
Trabalhos anteriores identificaram o trabalho de compreensão e avaliação dos resultados da GenAI como um aspecto fundamental ao trabalhar com a IA Generativa. Os participantes também adotaram o pensamento crítico ao avaliar se um resultado da GenAI atende a determinados critérios e padrões, ou se as informações contidas nele são verificadas ou verificáveis. Eles aplicaram vários tipos de critérios de qualidade e abordagens de verificação.
Garantir a qualidade por meio de critérios objetivos (125/319)
Quando aplicável, os trabalhadores do conhecimento avaliam o resultado da GenAI com critérios objetivos (que definimos como aqueles que são fáceis de articular e aplicar), como, por exemplo, se o resultado está de acordo com suas consultas ou se o artefato gerado é funcional (por exemplo, o código gerado é compilado sem erros). Por exemplo, quando P278 preparou um documento de especificação para seu cliente com o ChatGPT, “tive que me certificar de que cada parte do texto gerado atendia aos requisitos do cliente com base em critérios [no prompt] como paleta de cores e pessoas nas fotos – homem/mulher, tom de pele etc.” Da mesma forma, ao solicitar um resumo do conteúdo, os profissionais do conhecimento garantem que a resposta esteja “levando em conta todas as informações” (P177) e verificam “se a IA adicionou conteúdo irrelevante e se alterou meu ponto principal da carta” (P144). Artefatos como código de programação podem ser testados quanto à qualidade usando outras ferramentas de software, como compiladores, ou ambientes de tempo de execução, como navegadores. Por exemplo, P308 pediu a Claude que escrevesse um código para seu aplicativo da Web e teve de “certificar-se de que fosse executado sem erros e depois observar como funcionava”.
Garantir a qualidade por meio de padrões subjetivos (77/319)
Os profissionais do conhecimento também avaliam o resultado da GenAI por meio de padrões de qualidade subjetivos específicos da resposta, alguns dos quais refletem o que Paul e Elder chamam de “padrões intelectuais” no pensamento. Alguns participantes avaliaram a viabilidade de qualquer sugestão no mundo real. Por exemplo, quando P297 analisou seu trabalho de serviço social para pessoas com distúrbios de saúde mental e dificuldades de aprendizagem, ela teve que “realmente pensar se a resposta que a ferramenta GenAI me deu seria facilmente transferível para situações da vida real na assistência social… nem todas as empresas têm o orçamento e o equipamento necessário para fornecer isso na maioria das vezes”. Outros avaliaram a lógica interna da resposta da IA. Por exemplo, quando um trader de forex e commodities (P10) usou o ChatGPT para “gerar recomendações de novos recursos e estratégias a serem explorados para aprimorar minhas habilidades de negociação, avaliei se as ideias apresentadas fluíam logicamente”. Os participantes também avaliaram a relevância da resposta da IA, para ver se ela combinava “com a minha apresentação sobre os métodos Kaizen de gerenciamento de desempenho” (P188) ou se era adequada “de uma maneira que atendesse às necessidades do cargo pretendido e atraísse a atenção do recrutador” (P123).
Verificar as informações avaliando as fontes referenciadas (23/319).
De modo geral, os participantes estavam cientes dos problemas de alucinação da GenAI e verificaram manualmente as fontes que são diretamente referenciadas na saída da GenAI para garantir que sejam reais e confiáveis. Isso é especialmente verdadeiro quando os usuários solicitam informações de alto risco, como conselhos sobre sintomas médicos (por exemplo, P5), ou as referências precisam ser verificáveis para que a tarefa avance, por exemplo, na busca de emprego de P213: “Eu estava procurando uma função de pilha completa e não havia nenhuma função desse tipo na empresa [sites] que o GenAI listou”.
Verificar informações por meio de referências cruzadas de fontes externas (114/319)
Mais comumente, os profissionais do conhecimento cruzavam as informações do resultado da GenAI com fontes externas de boa reputação para validá-las. Para tarefas dentro de seu domínio de conhecimento, nossos participantes se basearam em seu próprio conhecimento para identificar vieses e limitações da resposta da IA, conforme observado por P133: “a IA pode sugerir repertório [para o concerto que dirijo], mas às vezes é muito centrada nos Estados Unidos. Muitas vezes tenho de usar meu discernimento para encontrar um repertório que se encaixe na minha realidade.” Para as respostas que envolviam detalhes técnicos e profissionais, os participantes fizeram referência cruzada a documentações técnicas ou formais, como manuais oficiais, diretrizes e relatórios, para verificar a confiabilidade das respostas. Por exemplo, uma enfermeira (P250) verificou um panfleto educativo gerado pelo ChatGPT para pacientes diabéticos recém-diagnosticados cruzando-o com as diretrizes de controle de diabetes de seu hospital. Da mesma forma, os participantes verificaram as respostas de IA com uma pesquisa mais geral na Web para obter informações acessíveis em fóruns on-line (por exemplo, Quora, YouTube, Wikipedia) e outros sites. Embora menos comuns, os participantes também compartilharam outras fontes externas para referência cruzada, como respostas de outras ferramentas GenAI, outras ferramentas especializadas em tarefas (por exemplo, tradução de idiomas) e consulta a especialistas humanos no domínio.
Integrar a resposta
Trabalhos anteriores sugeriram que a GenAI exige que os trabalhadores do conhecimento realizem a “integração crítica”: o trabalho de edição e incorporação dos resultados da GenAI em um fluxo de trabalho mais amplo. Qualitativamente, observamos que os participantes integram os resultados da GenAI a suas tarefas de duas maneiras distintas: eles se concentram no conteúdo – selecionando e manipulando uma parte do resultado para uso – ou na forma – modificando o estilo, a redação, o tom, etc.
Resposta parcial integrada (36/319).
A GenAI é excelente na geração de grandes quantidades de informações que parecem relevantes, mas nem todas são úteis. Os participantes consideraram o processo de incorporar seletivamente as partes relevantes do resultado da GenAI em suas tarefas como pensamento crítico. Por exemplo, quando P188 usou o ChatGPT para ajudá-la a resumir seu trabalho anterior como auditora para seu currículo: “algumas das informações fornecidas não se relacionavam particularmente à minha função e nem mesmo ao país em que eu estava trabalhando. Então, em vez de copiar tudo, tive que avaliar criticamente o que se aplicaria, os regulamentos mencionados, se eles se aplicam ao país em que trabalho.”
Modificar o estilo para que seja adequado à tarefa
Por fim, os participantes refletiram não apenas sobre o que incorporar da resposta, mas também como incorporá-la. Eles podem acrescentar um “toque pessoal” ou ajustar o tom para alinhar a resposta ao estilo pretendido. Por exemplo, quando P210 usou o ChatGPT para revisar o resumo de seu artigo, ele teve que reformular o resultado com um tom científico porque “muitas vezes a IA escreve coisas horríveis como ‘nossa análise inovadora e fundamental mostra…’ que soa muito enfática e não se encaixa no estilo científico”. Os participantes também tentaram fazer com que o resultado da GenAI parecesse menos “gerado pela IA” e mais pessoal, como observou P254: “Eu me certifiquei de que ele [o e-mail composto pelo ChatGPT] fosse lido corretamente, fizesse sentido e soasse como um e-mail que eu mesmo tivesse escrito e que um colega enviaria.”
Quando os profissionais do conhecimento percebem a a aplicação do pensamento crítico
Em 936 exemplos de uso da ferramenta GenAI, os participantes declararam ter realizado alguma atividade de pensamento crítico em aproximadamente 60% (555 de 936) delas. Tanto a confiança dos trabalhadores do conhecimento na tarefa quanto sua tendência a refletir sobre o trabalho estão associadas à percepção da aplicação do pensamento crítico durante o uso da ferramenta GenAI. Discutiremos os principais resultados de cada tipo de fator, individualmente.
Fatores da tarefa
Embora trabalhos anteriores sugiram que os trabalhadores do conhecimento empregam estratégias dependentes da tarefa para o uso da ferramenta GenAI, não encontramos um efeito principal no pensamento crítico percebido para o tipo de tarefa (Criação, Aconselhamento, Informação). Em vez disso, as percepções de confiança dos usuários – em si mesmos e na IA que executa a tarefa – foram significativamente correlacionadas com a percepção da aplicação do pensamento crítico. Em consonância com as recentes projeções de que ferramentas GenAI mais acessíveis podem exacerbar os riscos da dependência excessiva da tecnologia, nossos resultados fornecem evidências empíricas de que a confiança dos trabalhadores do conhecimento na IA que realiza as tarefas de fato se correlaciona negativamente com a sua aplicação do pensamento crítico (𝛽=-0,69, 𝑝 < 0,001).
No entanto, também descobrimos que a confiança dos trabalhadores do conhecimento em realizar a tarefa por conta própria (𝛽=0,26, 𝑝 = 0,026) e avaliar as respostas de IA (𝛽=0,31, 𝑝 = 0,046) se correlacionam positivamente com a adoção do pensamento crítico. Essas descobertas sugerem que uma abordagem reflexiva em relação ao uso das ferramentas GenAI, que pode levar ao que o trabalho anterior chama de “caminhos para a não dependência da IA”, tem maior probabilidade de ocorrer quando os trabalhadores do conhecimento têm mais confiança em realizar a tarefa sem IA ou em avaliar as respostas da IA. Nossa análise qualitativa conclui que os participantes adotaram o pensamento crítico ao tentar melhorar a qualidade e atenuar as consequências negativas das respostas da IA
Fatores do usuário
Também descobrimos que a tendência geral dos profissionais do conhecimento de refletir sobre seu trabalho teve um efeito positivo sobre a percepção da aplicação do pensamento crítico (𝛽=0,52, 𝑝 < 0,001). Isso sugere que os profissionais do conhecimento que já se envolvem com o pensamento crítico em seu trabalho provavelmente continuarão a fazê-lo mesmo quando usarem as ferramentas GenAI. No entanto, em contraste com a confiança dos profissionais do conhecimento na IA para realizar a tarefa em questão (ou seja, Confiança na IA, acima), que se correlacionou negativamente com a percepção da aplicação do pensamento crítico, não encontramos uma correlação significativa entre a confiança geral dos profissionais do conhecimento na GenAI e a percepção da aplicação do pensamento crítico. Uma possível explicação é que a confiança dos usuários na IA, bem como sua percepção da aplicação do pensamento crítico, podem variar de acordo com as tarefas; portanto, a variação que teria sido explicada pelo fator geral no nível do usuário pode já ter sido bem capturada pelos fatores de confiança no nível da tarefa.
Motivadores e inibidores da percepção da aplicação do pensamento crítico
Analisamos as respostas de texto livre dos participantes sobre por que eles se envolveram ou priorizaram o pensamento crítico (ou não o fizeram) ao usar as ferramentas GenAI para o trabalho. Descobrimos que a adoção do pensamento crítico foi motivada pelo aprimoramento da qualidade do trabalho, pela prevenção de resultados negativos e pelo desenvolvimento de habilidades. Encontramos muitos inibidores para a aplicação do pensamento crítico relacionados à conscientização (por exemplo, confiança na IA), motivação (por exemplo, falta de tempo) e capacidade (por exemplo, barreiras para melhorar a produção do GenAI).
Motivadores do pensamento crítico.
Qualidade do trabalho
As ações de pensamento crítico dos participantes eram frequentemente realizadas para melhorar a qualidade do trabalho que estava sendo produzido. Um dos principais motivadores do pensamento crítico é pensar em maneiras de melhorar as respostas de IA. Os participantes compartilharam vários exemplos de quando a resposta da IA ficou aquém de seus padrões e motivou a revisão crítica. Por exemplo, quando P92 gerou conteúdo com o ChatGPT para o site de sua empresa: “o resultado é muito padronizado, cheio de clichês [texto] e chato. Tenho que editar muito para conseguir algo que eu possa dar aos meus chefes”. O resultado da GenAI pode ser muito superficial e genérico para as tarefas dos participantes, motivando-os a pensar criticamente sobre a profundidade e a especificidade do trabalho. Como observou P133 ao usar o ChatGPT para escrever um resumo executivo: “a IA não entende o tipo de trabalho de nicho que faço. Tenho que adaptar o resultado para atender às minhas necessidades”.
Resultados negativos em potencial
Os participantes compartilharam que seu pensamento crítico foi motivado pelos possíveis resultados negativos do uso da GenAI. Eles desejavam evitar danos ao seu trabalho, como um código de programa que produzisse resultados errados (por exemplo, P210), informações desatualizadas (por exemplo, P240) ou fórmulas matemáticas defeituosas (P155). Isso ocorre principalmente quando a GenAI é aplicada em cenários e locais de trabalho de alto risco. Por exemplo, P267 usou o ChatGPT para ajudá-la a redigir os documentos de desenvolvimento profissional contínuo (CPD) do farmacêutico, “a entrada deve ser enviada para revisão, portanto, eu precisaria verificar novamente para ter certeza, caso contrário, poderia ter de enfrentar uma suspensão”. O conflito social foi outro resultado indesejável que motivou o pensamento crítico sobre os resultados do GenAI. Por exemplo, P101 se reportou a um supervisor mais jovem e de origem étnica diferente. Assim, ao preparar apresentações de trabalho e e-mails com o ChatGPT, ele deve “sempre considerar a hierarquia, a idade, o respeito até mesmo pelos festivais chineses, [que] são culturalmente muito importantes para eles.
Desenvolvimento de habilidades
Por fim, os profissionais do conhecimento são incentivados a aprimorar suas habilidades e aprender as práticas recomendadas para seu trabalho, mesmo quando auxiliados pelas ferramentas da GenAI. Os participantes foram motivados a adotar o pensamento crítico sobre o resultado da GenAI como um meio de aprender sobre a tarefa e não simplesmente confiar na IA a longo prazo. Por exemplo, quando P154 pede ao ChatGPT soluções para o problema em um trecho de código, “eu me certifico de que entendi como funciona e posso fazer isso sozinho da próxima vez”. Da mesma forma, P176 usou o ChatGPT para melhorar o rascunho de um e-mail importante para que soasse mais profissional, e ele decidiu “ler e detalhar todas as correções sugeridas para melhorar meu estilo de escrever e-mails”. Isso ajudou a melhorar seu estilo de escrita, e seus e-mails posteriores “exigiram menos correções”.
Inibidores de pensamento crítico.
Abaixo organizamos as descobertas destacando os três tipos de barreiras de pensamento crítico introduzidas pelo uso das ferramentas GenAI, ou seja, conscientização, motivação e capacidade.
Barreiras de conscientização
Os possíveis danos posteriores das respostas da GenAI podem motivar o pensamento crítico, mas somente se o usuário estiver conscientemente e ciente de tais danos. No entanto, nossa análise revela que as ferramentas GenAI criam obstáculos para que os trabalhadores do conhecimento estejam cientes da necessidade do pensamento crítico, especialmente quando as tarefas são consideradas menos importantes e quando os usuários confiam e dependem das ferramentas GenAI.
Alguns participantes compartilharam exemplos em que achavam que o pensamento crítico era desnecessário porque o uso da ferramenta GenAI é secundário para seus objetivos. P147 usou o “Dall-E para fins indiretos (referência visual), [portanto] não há necessidade de corrigir excessivamente o que a IA produz”. Da mesma forma, os participantes não adotam o pensamento crítico quando a tarefa é considerada trivial e insignificante, como escrever publicações em mídias sociais e resumos de atas de reuniões. Complementando nossas descobertas quantitativas, a confiança dos trabalhadores do conhecimento e a dependência da GenAI para realizar a tarefa podem desencorajá-los a refletir criticamente sobre o uso das ferramentas.
Os usuários geralmente adotam um modelo mental que pressupõe que a IA é competente para tarefas simples. Isso foi influenciado pela experiência anterior dos usuários com as ferramentas GenAI, em que a IA se mostrou confiável para tarefas específicas, como observou P289: “Com informações factuais diretas, o ChatGPT geralmente dá boas respostas.” Por exemplo, P275 comentou: “É uma tarefa simples [fazer uma passagem profissional] e eu sabia que o ChatGPT poderia fazer isso sem dificuldade, então nunca pensei nisso, pois o pensamento crítico não parecia relevante.”
Esse modelo mental, entretanto, pode levar você a superestimar os recursos de IA. Alguns usuários, como P185, acreditavam que as informações fornecidas pelas ferramentas GenAI eram sempre verdadeiras e de alta qualidade, enquanto outros (por exemplo, P143, P236) presumiam que os resultados refletiriam de forma consistente e precisa as fontes de dados referenciadas.
Em complemento à percepção da IA como competente e capaz, alguns participantes expressaram dúvidas sobre sua capacidade de realizar tarefas de forma independente, como verificar a gramática do texto (P101) ou redigir cartas jurídicas (P204). Essa dúvida os levou a aceitar os resultados da GenAI por padrão – um fenômeno corroborado por estudos anteriores.
O excesso de confiança na tecnologia de computação não é um fenômeno novo; no entanto, as ferramentas GenAI podem exacerbar os riscos associados. De fato, essa dependência pode ser tolerável para tarefas de baixo risco, como a verificação gramatical, mas pode levar a resultados negativos significativos em contextos de alto risco, como a redação de documentos jurídicos (por exemplo). Embora o pensamento crítico possa não ser necessário para tarefas de baixo risco, é arriscado para os usuários aplicar o pensamento crítico somente em situações de alto risco. Sem a prática regular em cenários comuns e/ou de baixo risco, as habilidades cognitivas podem se deteriorar com o tempo e, portanto, criar riscos se os cenários de alto risco forem as únicas oportunidades disponíveis para exercitar essas habilidades. Esse fenômeno está bem documentado, como nas “Ironias da automação” de Bainbridge, e foi recentemente revisitado no contexto da GenAI por Simkute et al. como as “Ironias da IA generativa”.
Barreiras de motivação
Os profissionais do conhecimento também discutiram como a priorização do pensamento crítico em seu trabalho pode estar desalinhada com as motivações gerais da tarefa ou com os objetivos do trabalho. Por exemplo, os participantes falaram sobre a falta de tempo para o pensamento crítico no trabalho. Por exemplo, um representante de desenvolvimento de vendas (P295) observou que “[a] razão pela qual uso IA é porque, em vendas, preciso atingir uma determinada cota diariamente ou corro o risco de perder meu emprego. Portanto, uso a IA para economizar tempo e não tenho muito espaço para refletir sobre o resultado.” Mesmo quando o tempo não era limitado, os trabalhadores do conhecimento muitas vezes não tinham incentivos para se engajar no pensamento crítico quando isso era percebido como não fazendo parte de suas responsabilidades profissionais. P232, que usava o ChatGPT para escrever as campanhas de marketing da empresa: “a verificação e a reescrita são feitas por outra parte da equipe. A equipe é capaz de verificar o sentido e modificar o conteúdo das páginas de destino como achar melhor.”
Barreiras de capacidade
Os participantes enfrentam obstáculos para implementar o pensamento crítico, especificamente na verificação e no aprimoramento dos resultados da GenAI, mesmo que estejam motivados para isso. Os participantes relatam barreiras para inspecionar as respostas da IA (58/319), como, por exemplo, não possuir conhecimento suficiente do domínio. Como observou P290: “nos casos em que você não conhece o tópico específico [por exemplo, tradução e problemas de matemática], é difícil determinar se a IA está dando a resposta correta ou não”. Mesmo que os profissionais do conhecimento identifiquem limitações no resultado da GenAI, eles encontram barreiras para revisar as consultas e melhorar a resposta (72/319). Por exemplo, P239 recebeu feedback negativo de colegas sobre um documento que o ChatGPT a ajudou a escrever, mas “não tenho certeza de como eu poderia ter melhorado o texto que o ChatGPT escreveu”. Além disso, as ferramentas GenAI podem ser “teimosas” e não seguir as instruções revisadas dos usuários, como P208 compartilhou ao pedir ao GenAI para corrigir um erro em seu código: “ele recomendou repetidamente a solução errada, apesar de pedir uma sugestão diferente”.
Resultados para a RQ2: Quando e por que os trabalhadores do conhecimento percebem um esforço maior/diminuído para o pensamento crítico devido à GenAI?
Para responder à RQ2, relatamos uma análise descritiva do esforço percebido pelos participantes em atividades cognitivas associadas ao pensamento crítico, conforme definido pela taxonomia de Bloom – ou seja, recordação (Conhecimento), organização/tradução de ideias (Compreensão), solução de problemas (Aplicação), decomposição de um problema (Análise), junção de ideias (Síntese) e avaliação e verificação de qualidade (Avaliação).
Complementamos isso com uma análise das elaborações de texto livre dos participantes sobre por que eles perceberam um aumento ou uma diminuição no esforço devido ao GenAI, observando três mudanças qualitativas no esforço de pensamento crítico. A percepção de uma redução no esforço ao usar o GenAI pode se dever ao fato de os participantes:
1) realizarem a mesma “quantidade” de pensamento crítico, mas se sentirem apoiados pelo GenAI;
2) transferirem o trabalho de pensamento crítico para a GenAI;
3) realizarem “menos” pensamento crítico em geral; ou
4) confundirem a redução do esforço cognitivo em geral com a redução do esforço de pensamento crítico especificamente. Abordamos cada uma dessas interpretações no contexto.
Quando os trabalhadores do conhecimento percebem o aumento/diminuição do esforço para o pensamento crítico devido à GenAI
Na maioria dos exemplos, os profissionais do conhecimento percebem a diminuição do esforço para as atividades cognitivas associadas ao pensamento crítico quando usam a GenAI em comparação com o não uso – os exemplos que foram relatados como “muito menos esforço” ou “menos esforço” compreendem 72% em Conhecimento, 79% em Compreensão, 69% em Aplicação, 72% em Análise, 76% em Síntese e 55% em Conjunto de dados de Avaliação (ver Figura 2). Além disso, os trabalhadores do conhecimento tendem a perceber que a GenAI reduz o esforço das atividades cognitivas associadas ao pensamento crítico quando têm mais confiança na IA para realizar as tarefas e possuem maior confiança geral na GenAI.
Fatores da tarefa
Descobrimos que a confiança dos trabalhadores do conhecimento na IA ao realizar as tarefas se correlacionou negativamente com o esforço percebido em cinco das seis atividades cognitivas (todas, exceto Aplicação). Quanto maior a confiança do participante na IA, maior a redução percebida no esforço para:
Conhecimento (𝛽=-0,11, 𝑝 = 0. 029),
Compreensão (𝛽=-0,13, 𝑝 = 0,014),
Análise (𝛽=-0,15, 𝑝 = 0,003),
Síntese (𝛽=-0,12, 𝑝 = 0,026) e
Avaliação (𝛽=-0,23, 𝑝 < 0,001).
Além disso, a confiança dos trabalhadores do conhecimento em si mesmos ao realizar a tarefa se correlaciona positivamente com o esforço percebido em Aplicação (𝛽=0,08, 𝑝 = 0,029) e Avaliação ((𝛽=0,10, 𝑝 = 0,027). Analisamos qualitativamente as justificativas dos participantes mais abaixo em detalhes, mas uma explicação para o fato de a confiança dos trabalhadores do conhecimento na IA e neles mesmos ter efeitos opostos sobre o esforço percebido nessas atividades cognitivas é a seguinte.
As ferramentas GenAI podem diminuir a carga cognitiva dos profissionais do conhecimento automatizando uma parte significativa de suas tarefas, mas, como os profissionais do conhecimento têm mais confiança em realizar a tarefa por conta própria, eles empregam práticas mais engajadas na condução das respostas da IA, especialmente ao aplicar (Aplicação) e avaliar (Avaliação) as respostas da IA.
Essas descobertas, juntamente com nossas descobertas quantitativas para a RQ1, revelam uma conexão entre a autoconfiança e a confiança dos profissionais do conhecimento na IA e seu pensamento crítico percebido durante o uso da ferramenta GenAI:
1) uma maior confiança na GenAI está associada a um pensamento menos crítico, embora seja percebido como um esforço menor para fazê-lo, e
2) uma maior autoconfiança está associada a um pensamento mais crítico, embora seja percebido como um esforço maior para fazê-lo. Discutiremos isso em mais detalhes abaixo
Fatores do usuário
Em contraste com as nossas descobertas sobre a percepção dos trabalhadores do conhecimento sobre a aplicação do pensamento crítico, não encontramos nenhuma correlação significativa entre a tendência geral de reflexão e a percepção do esforço do pensamento crítico em nenhuma atividade cognitiva. Isso sugere que os profissionais do conhecimento que tendem (ou não) a refletir sobre seu trabalho não percebem necessariamente um esforço maior ou menor de pensamento crítico com o GenAI.
No entanto, a confiança geral dos profissionais do conhecimento na GenAI foi negativamente correlacionada com o esforço percebido em quatro das seis atividades cognitivas – ou seja maior confiança na tecnologia está associada a menor esforço percebido para
Conhecimento (𝛽=-0,12, 𝑝 = 0,029),
Aplicação (𝛽=-0,17, 𝑝 = 0,002),
Análise (𝛽=-0,12, 𝑝 = 0,046) e
Avaliação (𝛽=-0,24, 𝑝 < 0,001).
Assim, os trabalhadores do conhecimento com níveis mais altos de confiança na GenAI – em geral ou para tarefas específicas – percebem que o envolvimento em atividades de pensamento crítico exige menos esforço. Uma possível explicação, complementada com nossa análise qualitativa na RQ1, é que a confiança e a dependência do GenAI inibem a aplicação do pensamento crítico, ou seja, os usuários investem menos no pensamento crítico ao usar o GenAI.
Por que os profissionais do conhecimento percebem o aumento/diminuição do esforço de pensamento crítico devido à GenAI
Para entender por que os participantes perceberam um aumento ou uma diminuição no esforço do pensamento crítico devido à GenAI, analisamos as respostas de texto livre nas quais eles foram solicitados a elaborar, mapeando as respostas nas seis atividades cognitivas. Descobrimos que as ferramentas GenAI mudam o esforço do pensamento crítico de três maneiras distintas: para Conhecimento e Compreensão, o esforço muda da coleta de informações para a verificação das informações; para Aplicação, o esforço muda da solução de problemas para a integração da resposta da IA; e para Análise, Síntese e Avaliação, o esforço muda da execução da tarefa para a administração da tarefa.
Conhecimento e compreensão: da coleta de informações à verificação de informações
Os esforços investidos em Conhecimento (por exemplo, recuperar informações relevantes) e Compreensão (entender essas informações) geralmente andam de mãos dadas ao usar as ferramentas GenAI. Em geral, os participantes perceberam menos esforço na recuperação e na curadoria de informações relevantes para a tarefa, porque a GenAI automatiza o processo.
No entanto, eles perceberam mais esforço na verificação das informações na resposta da IA. Os participantes perceberam menos esforço para obter informações específicas da tarefa em escala e em tempo real. Por exemplo, P232 compartilhou que os resultados de sua pesquisa de mercado por meio do ChatGPT “são imediatos e com um nível de detalhe suficiente para que eu entenda os fundamentos dos setores. Caso contrário, eu teria que ler muitos relatórios de imprensa e assinar vários boletins informativos”. Percebe-se que as ferramentas GenAI organizam e apresentam informações em um formato legível. Por exemplo, P86 comparou sua experiência de pesquisa em um navegador da Web com a do ChatGPT: “Pesquisar usando o Google é demorado; até mesmo clicar em alguns sites leva mais tempo do que fazer uma única pergunta a um LLM. Além disso, o LLM produz respostas organizadas… as ferramentas e técnicas foram categorizadas por tipo, e uma lista pontilhada foi produzida para cada uma delas.” Os participantes acham que é menos trabalhoso reestruturar e resumir informações nas ferramentas GenAI. Por exemplo, o P137 tentou atualizar os documentos do protocolo para atender a um novo padrão: “Não precisei verificar os modelos um a um… As dúvidas que eu tinha em relação aos procedimentos foram respondidas pelo GenAI, e isso me ajudou a conhecer melhor esse novo padrão.”
No entanto, muitos participantes compartilharam exemplos em que perceberam mais esforço na recuperação de informações porque a resposta da IA pode estar errada e precisa ser verificada (56/319). Por exemplo, quando um advogado (P147) usou o ChatGPT para encontrar leis relevantes para um caso jurídico, ele notou que “a IA tende a inventar informações para concordar com os pontos que você está tentando defender, por isso leva um tempo precioso para verificar manualmente”.
Aplicação: Da solução de problemas à integração de respostas
A GenAI pode aplicar contextualmente o conhecimento a perguntas e exemplos específicos dos usuários, reduzindo o esforço percebido para a aplicação em geral. No entanto, os usuários precisam se esforçar para integrar os resultados da GenAI, na forma e no conteúdo. Os participantes perceberam menos esforço na solução de problemas e na resposta a perguntas porque as ferramentas GenAI oferecem soluções personalizadas para seus problemas. Por exemplo, P154 comparou sua experiência na revisão de códigos com e sem o ChatGPT: “tentar entender como algo funciona ou entender o problema é o principal desafio. As pessoas precisam “pesquisar” muito no Google. Encontrar as informações corretas e, em seguida, tentar encontrar pessoas que estejam enfrentando problemas semelhantes. Isso exige muito esforço. O GPT simplesmente responde a essas perguntas de forma muito rápida e fácil e, na maioria das vezes, correta.”
Com o aprendizado no contexto, a GenAI também pode aplicar os exemplos dos usuários a um novo contexto. Por exemplo, os participantes usaram as ferramentas da GenAI para gerar texto, guiados por exemplos: “A empresa tem uma lista de cenários possíveis e como podemos lidar com eles, tudo o que tenho de fazer é alimentar a IA, e ela geraria uma resposta definida com base nos dados fornecidos”. Apesar da capacidade de personalização contextual, os participantes ainda relataram um esforço maior por terem de aplicar as respostas às suas tarefas e atender a necessidades específicas. Por exemplo, quando P51 escreveu uma postagem promocional no blog para o lançamento de seu produto, “o conteúdo gerado pela IA exigiu uma edição substancial para se alinhar às diretrizes de marketing específicas e às preferências de tom. Esse processo de edição pode consumir muito tempo, principalmente para garantir que os detalhes técnicos sejam precisos e compreensíveis para o nosso público-alvo.” O esforço adicional de aplicação é incorrido quando os profissionais do conhecimento integram o conteúdo gerado pela IA com o conteúdo de outras fontes ou julgam erroneamente até que ponto o resultado da GenAI será contextualizado em seu cenário. Como observou P36, “o esforço extra para determinar se o código gerado correspondia ao meu código existente e fazer as alterações subsequentes para adequá-lo foi mais trabalhoso do que simplesmente fazê-lo eu mesmo no final”.
Análise, síntese e avaliação: da execução de tarefas à administração de tarefas
Os participantes perceberam que essas atividades, de modo geral, exigem menos esforço devido às ferramentas GenAI. Especificamente, a GenAI ajuda os profissionais do conhecimento a estruturar tarefas e informações complicadas; ajuda os profissionais do conhecimento a automatizar a criação de artefatos; e ajuda a formar ciclos de feedback aos quais os profissionais do conhecimento não teriam acesso de outra forma. No entanto, os profissionais do conhecimento perceberam um maior esforço gasto na administração da IA – traduzindo intenções em consultas, orientando as respostas da IA e avaliando se a resposta da IA atende aos seus padrões de qualidade para o trabalho, mantendo a responsabilidade pelo trabalho.
Analise
Os participantes relataram que reduziram o esforço quando as ferramentas da GenAI ajudaram a estruturar tarefas e informações complicadas. Por exemplo, P203 usou o ChatGPT para escrever uma mensagem complexa no Slack para um colega desconhecido, e “a GenAI resolveu o problema”. Isso a ajudou a pensar analiticamente, a derivar critérios como “garantir que a estrutura da mensagem seja direta e compreensível para alguém que não tenha o mesmo conhecimento prévio”, bem como “garantir que eu não esteja perdendo elementos ou sendo confusa com exemplos”. No entanto, as ferramentas GenAI também exigem que os usuários articulem suas necessidades e traduzam as intenções em uma consulta, o que foi percebido como um aumento do esforço de análise. Conforme mencionado acima, a revisão de consultas é uma atividade de pensamento crítico específica para o uso da GenAI. P24 descreveu várias fases da solicitação de geração de imagens, dizendo: “A geração de imagens exige mais esforço para tudo, exceto para a geração real da imagem. Tenho de pensar no que quero que seja desenhado, depois em como a IA quer que seja descrito e, em seguida, corrigi-lo quando ele gera resultados malucos.”
Síntese
Os participantes perceberam menos esforço quando o GenAI automatiza o processo de criação, como redigir documentos, responder a e-mails ou gerar códigos. No entanto, os participantes observaram que o esforço reduzido na Síntese poderia levar a um envolvimento menos crítico com a tarefa. Por exemplo, P131, ao gerar campanhas de aconselhamento para sua empresa, comentou ter que “ler o que o ChatGPT gera e ter certeza de que é o que eu quero, mas não [deixar] que ele pense a ideia inteira”. Além disso, os participantes perceberam que é mais trabalhoso orientar constantemente as respostas da IA, o que implica um esforço adicional de pensamento sintético devido ao custo de desenvolver instruções explícitas de orientação. Por exemplo, P110 tentou usar o Copilot para aprender um assunto mais profundamente, mas percebeu que: “suas respostas são propensas a vários [desvios] ao longo do caminho. Preciso me certificar constantemente de que a IA está seguindo o ‘processo de pensamento’ correto, pois as inconsistências evoluem e se ampliam à medida que continuo interagindo com a IA.”
Avaliação
Por fim, o pensamento crítico é percebido como um esforço menor porque as ferramentas GenAI oferecem ciclos de feedback personalizados para tarefas às quais os usuários não têm acesso de outra forma. Por exemplo, para editar um texto, P313 disse que antes “muitas vezes passava por várias rodadas de verificações feitas por outras pessoas [humanos] para obter feedback”, mas com a GenAI podia fazer isso “no meu próprio tempo”, pedindo à “IA para fazer versões alternativas e comparar o que eu gosto e o que não gosto”. Em certos casos em que a GenAI é vista como um ponto forte em relação à capacidade do próprio usuário (por exemplo, em ortografia ou gramática em um idioma não nativo), as respostas da GenAI são vistas como tendo poucos erros. Assim, os participantes perceberam um esforço reduzido necessário para a Avaliação, como observou P239: “Posso ter certeza de que tudo está escrito corretamente, não preciso ficar me questionando… Posso ter a certeza de que preciso sem ter que incomodar outra pessoa para verificar para mim.” Apesar desses casos, conforme observado anteriormente, os participantes precisaram avaliar o conteúdo gerado pela IA por meio de vários critérios objetivos e subjetivos, e relataram um esforço maior ao fazer isso.
Discussão
Implicações para a criação de ferramentas de GenAI que apoiem o pensamento crítico
Autoconfiança e confiança na tarefa.
A confiança na tarefa parece influenciar significativamente a percepção dos trabalhadores do conhecimento sobre a aplicação do pensamento crítico e o esforço que investem nele. Especificamente, a confiança de um usuário na GenAI é um indicador da extensão em que o pensamento crítico é exercido nas tarefas auxiliadas pela GenAI.
Os resultados quantitativos e qualitativos sugerem que uma maior confiança na GenAI está associada a menos pensamento crítico, pois as ferramentas GenAI parecem reduzir a percepção do esforço necessário para as tarefas de pensamento crítico entre os trabalhadores do conhecimento. Por outro lado, com a importante ressalva de que a autoconfiança dos usuários é uma medida subjetiva de seus conhecimentos, experiências e habilidades nas tarefas, uma maior autoconfiança está associada a um pensamento mais crítico, embora os trabalhadores confiantes em suas próprias habilidades tendam a perceber um esforço maior nessas tarefas, principalmente ao avaliar e aplicar respostas de IA.
Nossa análise não estabelece a causalidade. No entanto, com base em nossas evidências, é possível que a promoção da experiência de domínio dos funcionários e a autoconfiança associada possam resultar em melhor pensamento crítico ao usar a GenAI. A confiança na tarefa influencia significativamente a forma como os usuários se envolvem com as ferramentas de IA, especialmente no contexto da “colaboração” humano-IA (apesar das objeções a esse termo).
Estruturas anteriores categorizaram as colaborações entre humanos e IA de acordo com a frequência com que o usuário ou a IA inicia uma ação e qual entidade assume uma função de “supervisão”. Nossas descobertas esclarecem essa questão no contexto do trabalho de conhecimento assistido pela GenAI.
A alta confiança na tarefa está associada à capacidade dos usuários de delegar tarefas de forma eficaz, promovendo uma melhor administração e mantendo a responsabilidade.
Por outro lado, a baixa autoconfiança pode levar os usuários a confiar mais na IA, o que pode diminuir seu envolvimento crítico e suas habilidades independentes de solução de problemas. Essa dependência da IA pode ser vista como uma forma de descarregamento cognitivo, em que os usuários dependem da IA para realizar tarefas que não se sentem tão confiantes para realizar sozinhos.
A confiança na IA está associada à redução do esforço de pensamento crítico, enquanto a autoconfiança está associada ao aumento do esforço de pensamento crítico. Essa dualidade indica que as estratégias de design devem se concentrar no equilíbrio desses aspectos.
Os objetivos são melhorar a qualidade das tarefas assistidas por IA e também capacitar os usuários para que desenvolvam suas habilidades e mantenham um “relacionamento” equilibrado com a IA. Para abordar a recalibração da confiança na tarefa, as ferramentas de IA podem incorporar mecanismos de feedback que ajudem os usuários a avaliar a confiabilidade dos resultados da IA, quando confiar na IA e quando aplicar suas habilidades de pensamento crítico. Isso se alinha com os objetivos da IA explicável.
Além disso, o usuário deve permanecer responsável pelo resultado. As ferramentas de IA devem dar suporte aos usuários para que personalizem e refinem de forma ativa e crítica o conteúdo gerado pela IA. As ferramentas podem incorporar controles explícitos para que os usuários regulem a extensão da assistência da IA, dependendo de seus níveis de confiança e da complexidade da tarefa.
Conscientização, motivação e execução do pensamento crítico
O estudo identifica os principais motivadores e inibidores do pensamento crítico entre os trabalhadores do conhecimento que usam a GenAI. As implicações do projeto são claras: as intervenções de pensamento crítico para as ferramentas GenAI devem ter como objetivo aprimorar e alavancar os motivadores e, ao mesmo tempo, mitigar e evitar os inibidores.
Uma abordagem do projeto é aumentar a conscientização das oportunidades do pensamento crítico. Nossas descobertas indicam que os profissionais do conhecimento tendem a renunciar ao pensamento crítico em tarefas consideradas sem importância ou secundárias, ao passo que se envolvem com ele quando o objetivo é melhorar a qualidade da tarefa ou evitar resultados negativos. Isso sugere a necessidade de intervenções proativas e reativas de pensamento crítico.
Os sistemas proativos tomam a iniciativa de interromper o usuário para destacar a necessidade e a oportunidade do pensamento crítico em situações em que ele provavelmente será ignorado; uma abordagem reativa permitiria que o usuário solicitasse explicitamente a assistência do pensamento crítico quando ele for conscientemente necessário.
Outra abordagem é aumentar a motivação para pensar criticamente. Nosso estudo revela que os profissionais do conhecimento geralmente negligenciam o pensamento crítico quando o consideram fora do escopo de seu trabalho, mas se envolvem com ele quando pretendem aprimorar suas habilidades profissionais. Assim, as intervenções de pensamento crítico para as ferramentas GenAI podem ser posicionadas como uma contribuição para o desenvolvimento de habilidades de longo prazo e para o crescimento profissional, em oposição a uma tarefa estranha de “coauditoria” que só é relevante em uma base de tarefa por tarefa.
Por fim, o design poderia ter como objetivo aprimorar a capacidade de executar o pensamento crítico. Descobrimos que os profissionais do conhecimento geralmente se abstêm do pensamento crítico quando não têm as habilidades necessárias para inspecionar, melhorar e orientar as respostas geradas pela IA. As ferramentas GenAI podem incorporar recursos que facilitem o aprendizado do usuário, como explicações sobre o raciocínio da IA, sugestão de áreas para aperfeiçoamento do usuário ou críticas guiadas. A ferramenta poderia ajudar a desenvolver habilidades específicas de pensamento crítico, como a análise de argumentos ou o cruzamento de fatos com fontes confiáveis. Isso se alinharia com a abordagem de aumento da motivação de posicionar a IA como parceira no desenvolvimento de habilidades.
Mudanças no pensamento crítico devido à IA generativa
O pensamento crítico no trabalho do conhecimento envolve uma série de atividades cognitivas, como análise, síntese e avaliação. Observamos que o uso das ferramentas GenAI muda o esforço de pensamento crítico percebido pelos profissionais do conhecimento de três maneiras. Especificamente, para recordação e compreensão, o foco muda da coleta de informações para a verificação das informações. Para aplicação, a ênfase muda da solução de problemas para a integração de respostas de IA. Por fim, para análise, síntese e avaliação, o esforço muda da execução de tarefas para a administração de tarefas. O uso da GenAI no trabalho do conhecimento cria novas tarefas cognitivas para os trabalhadores do conhecimento.
A tarefa de integração de respostas é um ótimo exemplo. Os profissionais do conhecimento devem avaliar o conteúdo gerado pela IA para determinar sua relevância e aplicabilidade às suas tarefas específicas, muitas vezes modificando o estilo e o tom para se alinhar ao objetivo e ao público-alvo pretendidos. Por outro lado, algumas tarefas cognitivas tornam-se menos necessárias devido à GenAI. Por exemplo, a coleta de informações foi significativamente reduzida. As ferramentas da GenAI automatizam o processo de busca e curadoria de informações relevantes para a tarefa, tornando-o menos trabalhoso para os profissionais do conhecimento.
Como resultado, a carga cognitiva associada à busca e à compilação de informações diminuiu. Algumas tarefas cognitivas permanecem, mas evoluíram em sua natureza devido à GenAI. Uma delas é a verificação das informações, ou seja, o cruzamento dos resultados gerados pela IA com fontes externas e com seus próprios conhecimentos para garantir a precisão e a confiabilidade.
Os funcionários sempre precisaram verificar as informações com as quais trabalham, mas, como ferramenta, a GenAI tem seus próprios pontos fortes e modos de falha quando se trata de correção, precisão e parcialidade. Com a GenAI, os profissionais do conhecimento também passam da execução de tarefas para a supervisão, exigindo que orientem e monitorem a IA para produzir resultados de alta qualidade – uma função que descrevemos como “administração”.
Não é que a execução tenha desaparecido completamente, nem a supervisão de alto nível em uma tarefa é uma função cognitiva totalmente nova, mas há uma mudança da primeira para a segunda. Diferentemente da colaboração entre humanos, em uma “colaboração” entre humanos e IA, a responsabilidade pelo trabalho ainda é do usuário humano, apesar de o trabalho de produção material ter sido delegado à ferramenta GenAI, o que faz com que a administração nos pareça uma metáfora mais apropriada para o que o usuário humano está fazendo do que colega de equipe, colaborador ou supervisor.
À luz dessas mudanças, o treinamento dos profissionais do conhecimento para que pensem criticamente ao trabalhar com a GenAI deve se concentrar no desenvolvimento de habilidades de verificação de informações, integração de respostas e administração de tarefas. Os programas de treinamento devem enfatizar a importância de fazer referência cruzada aos resultados da IA, avaliar a relevância e a aplicabilidade do conteúdo gerado pela IA e refinar e orientar continuamente os processos de IA. Além disso, o foco na manutenção de habilidades fundamentais na coleta de informações e na solução de problemas ajudaria os trabalhadores a evitar a dependência excessiva da IA.
Limitações
Nosso estudo tem limitações que merecem ser consideradas e oferecem caminhos para pesquisas futuras. Em primeiro lugar, observamos que os participantes ocasionalmente confundiam a redução do esforço no uso da GenAI com a redução do esforço no pensamento crítico com a GenAI. Esse equívoco pode ter origem na contemplação infrequente do pensamento crítico em suas tarefas diárias (independentemente de usarem ou não o GenAI), o que pode levar a um autorrelato impreciso. Essa confusão ocorreu com frequência quando os participantes estavam satisfeitos com as respostas geradas pela IA, o que sugere que, quando a IA produz resultados esperados, os usuários podem se envolver em uma avaliação menos crítica. Estudos futuros poderiam empregar medidas alternativas de pensamento crítico, como protocolos de pensamento em voz alta ou avaliações baseadas em tarefas, para diferenciar melhor entre redução de esforço e processos de pensamento crítico. Em segundo lugar, avaliamos a confiança subjetiva dos usuários na tarefa, seguindo trabalhos anteriores sobre tomada de decisão assistida por IA [20, 59, 85]. Ainda assim, a autoconfiança subjetiva de uma pessoa pode nem sempre estar bem calibrada com relação à experiência objetiva nas tarefas [39, 130]. Trabalhos futuros devem explorar essa distinção subjetiva/objetiva no contexto do pensamento crítico com a GenAI no trabalho de conhecimento. Em terceiro lugar, nossa pesquisa foi realizada exclusivamente em inglês, e os participantes deveriam ser falantes fluentes de inglês. Essa abordagem garantiu a consistência na coleta de dados e a viabilidade da análise pela nossa equipe de pesquisa que fala inglês, mas não representa populações que não falam inglês ou contextos multilíngues. Pesquisas futuras poderiam explorar perspectivas interlinguísticas e interculturais sobre o uso da GenAI e o pensamento crítico. Em quarto lugar, nossa amostra foi direcionada para participantes mais jovens e tecnologicamente mais qualificados que usam regularmente as ferramentas GenAI no trabalho pelo menos uma vez por semana. Essa inclinação demográfica pode não representar totalmente a população mais ampla de trabalhadores do conhecimento, o que pode ignorar as experiências e percepções de profissionais mais velhos ou menos orientados para a tecnologia. Por fim, as ferramentas GenAI estão em constante evolução, e as formas como os profissionais do conhecimento interagem com essas tecnologias provavelmente mudarão com o tempo. Adotamos a taxonomia de tarefas de Brachman et al. [13] para capturar características relativamente estáveis e de granulação grossa das tarefas sem complicar demais nossos modelos explicativos. Trabalhos futuros sobre diferentes objetivos podem expandir nossas medidas com categorização mais detalhada e/ou medidas específicas da tarefa (por exemplo, dificuldade e habilidade da tarefa). Para isso, nosso estudo oferece uma valiosa linha de base para a compreensão do pensamento crítico no contexto das ferramentas atuais de GenAI. Em trabalhos futuros, estudos longitudinais que acompanhem as mudanças nos padrões de uso da IA e seu impacto nos processos de pensamento crítico seriam benéficos. Além disso, os desenvolvedores de ferramentas de GenAI podem implantar telemetria, pesquisas dentro da ferramenta ou amostragem de experiência para seus usuários, a fim de obter mais informações sobre como as ferramentas específicas podem evoluir para apoiar melhor o pensamento crítico em diferentes tarefas.
Conclusão
Fizemos uma pesquisa com 319 profissionais do conhecimento que usam ferramentas GenAI (por exemplo, ChatGPT, Copilot) no trabalho pelo menos uma vez por semana, para modelar como eles adotam o pensamento crítico ao usar as ferramentas GenAI e como a GenAI afeta seu esforço percebido de pensar criticamente. Analisando 936 exemplos de uso da ferramenta GenAI no mundo real que nossos participantes compartilharam, descobrimos que os profissionais do conhecimento se envolvem no pensamento crítico principalmente para garantir a qualidade de seu trabalho, por exemplo, verificando os resultados em relação a fontes externas. Além disso, embora a GenAI possa aumentar a eficiência dos funcionários, ela pode inibir o envolvimento crítico com o trabalho e, potencialmente, levar a uma dependência excessiva da ferramenta no longo prazo e à diminuição da habilidade de resolver problemas de forma independente. A maior confiança na capacidade da GenAI de realizar uma tarefa está relacionada a um menor esforço de pensamento crítico. Ao usar as ferramentas da GenAI, o esforço investido no pensamento crítico muda da coleta de informações para a verificação de informações; da solução de problemas para a integração da resposta da IA; e da execução de tarefas para a administração de tarefas. Os trabalhadores do conhecimento enfrentam novos desafios no pensamento crítico à medida que incorporam a GenAI em seus fluxos de trabalho de conhecimento. Para isso, nosso trabalho sugere que as ferramentas da GenAI precisam ser projetadas para apoiar o pensamento crítico dos profissionais do conhecimento, abordando suas barreiras de conscientização, motivação e capacidade.
Referências
Abbas, Muhammad, Farooq Ahmed Jam, e Tariq Iqbal Khan. 2024. “Is it harmful or helpful? Examining the causes and consequences of generative AI usage among university students.” International Journal of Educational Technology in Higher Education 21, 1 (2024), 10.
Abel, Sophie, Kirsty Kitto, Simon Knight, e Simon Buckingham Shum. 2018. “Designing personalised, automated feedback to develop students’ research writing skills.” ASCILITE 2018 Conference Proceedings. University of Technology Sydney.
Alaoutinen, Satu, e Kari Smolander. 2010. “Student self-assessment in a programming course using Bloom’s revised taxonomy.” Proceedings of the fifteenth annual conference on Innovation and technology in computer science education. ACM, Bilkent Ankara Turkey, 155–159. https://doi.org/10.1145/1822090.1822135
Arakawa, Riku, e Hiromu Yakura. 2024. “Coaching Copilot: Blended Form of an LLM-Powered Chatbot and a Human Coach to Effectively Support Self-Reflection for Leadership Growth.” Proceedings of the 6th ACM Conference on Conversational User Interfaces (Luxembourg, Luxembourg) (CUI ’24). Association for Computing Machinery, New York, NY, USA, Article 2, 14 páginas. https://doi.org/10.1145/3640794.3665549
Arthur Jr, Winfred, Winston Bennett Jr, Pamela L. Stanush, e Theresa L. McNelly. 1998. “Factors that influence skill decay and retention: A quantitative review and analysis.” Human Performance 11, 1 (1998), 57–101.
Artinger, Florian M., Gerd Gigerenzer, e Perke Jacobs. 2022. “Satisficing: Integrating two traditions.” Journal of Economic Literature 60, 2 (2022), 598–635.
Bainbridge, Lisanne. 1983. “Ironies of automation.” Analysis, design and evaluation of man–machine systems. Elsevier, 129–135.
Barr, Nathaniel, Gordon Pennycook, Jennifer A. Stolz, e Jonathan A. Fugelsang. 2015. “The brain in your pocket: Evidence that Smartphones are used to supplant thinking.” Computers in Human Behavior 48 (2015), 473–480.
Benjamini, Yoav, e Yosef Hochberg. 1995. “Controlling the false discovery rate: a practical and powerful approach to multiple testing.” Journal of the Royal Statistical Society: Series B (Methodological) 57, 1 (1995), 289–300.
Binder, Jeffrey R., e Rutvik H. Desai. 2011. “The neurobiology of semantic memory.” Trends in Cognitive Sciences 15, 11 (2011), 527–536.
Binder, Jeffrey R., Rutvik H. Desai, William W. Graves, e Lisa L. Conant. 2009. “Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies.” Cerebral Cortex 19, 12 (2009), 2767–2796.
Bloom, Benjamin S., Max D. Engelhart, Edward J. Furst, Walquer H. Hill, David R. Krathwohl, et al. 1956. Taxonomy of educational objectives: The classification of educational goals: Handbook I: Cognitive domain. Technical Report. New York, US: D. McKay.
Brachman, Michelle, Amina El-Ashry, Casey Dugan, e Werner Geyer. 2024. “How Knowledge Workers Use and Want to Use LLMs in an Enterprise Context.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, 1–8. https://doi.org/10.1145/3613905.3650841
Brookes, Arthur, e Peter Grundy. 1990. Writing for Study Purposes: A Teacher’s Guide to Developing Individual Writing Skills. Cambridge University Press, 40 West 20th St.
Brown, Ann L., e Jeanne D. Day. 1983. “Macrorules for summarizing texts: The development of expertise.” Journal of Verbal Learning and Verbal Behavior 22, 1 (1983), 1–14.
Brown, Ann L., Jeanne D. Day, e Roberta S. Jones. 1983. “The development of plans for summarizing texts.” Child Development (1983), 968–979.
Buçinca, Zana, Maja Barbara Malaya, e Krzysztof Z. Gajos. 2021. “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making.” Proc. ACM Hum.-Comput. Interact. 5, CSCW1, Article 188 (abril 2021), 21 páginas. https://doi.org/10.1145/3449287
Buruk, Oğuz “Oz”. 2023. “Academic Writing with GPT-3.5: Reflections on Practices, Efficacy and Transparency.” arXiv preprint arXiv:2304.11079 (2023). https://doi.org/10.48550/arXiv.2304.11079
Castelluccio, Michael. 2022. “IS DIGITAL AMNESIA REAL?” Strategic Finance 104, 3 (2022), 57–58.
Chen, Valerie, Q. Vera Liao, Jennifer Wortman Vaughan, e Gagan Bansal. 2023. “Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations.” Proceedings of the ACM on Human-Computer Interaction 7, CSCW2 (setembro 2023), 1–32. https://doi.org/10.1145/3610219
Chiew, Ooi Yan, An Qi Lai, e Wen Xin Liew. 2020. Digital technology overuse as a predictor of digital amnesia and productivity. Ph.D. Dissertation. UTAR.
Chong, Leah, Guanglu Zhang, Kosa Goucher-Lambert, Kenneth Kotovsky, e Jonathan Cagan. 2022. “Human confidence in artificial intelligence and in themselves: The evolution and impact of confidence on adoption of AI advice.” Computers in Human Behavior 127 (fev. 2022), 107018. https://doi.org/10.1016/j.chb.2021.107018
Corbin, Juliet, e Anselm Strauss. 2015. Basics of qualitative research. Vol. 14. Sage.
Danry, Valdemar, Pat Pataranutaporn, Yaoli Mao, e Pattie Maes. 2023. “Don’t Just Tell Me, Ask Me: AI Systems that Intelligently Frame Explanations as Questions Improve Human Logical Discernment Accuracy over Causal AI explanations.” Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23). Association for Computing Machinery, New York, NY, USA, Article 352, 13 páginas. https://doi.org/10.1145/3544548.3580672
Davies, Martin. 2011. “Concept mapping, mind mapping and argument mapping: what are the differences and do they matter?” Higher Education 62 (2011), 279–301.
Dewey, John. 1910. How We Think. D.C. Heath & Co., Publishers, Boston.
Dirin, Amir, Ari Alamäki, e Jyrki Suomala. 2019. “Digital amnesia and personal dependency in smart devices: A challenge for AI.” Proceedings of Fake Intelligence Online Summit 2019 (2019).
Doshi, Anil R., e Oliver P. Hauser. 2024. “Generative AI enhances individual creativity but reduces the collective diversity of novel content.” Science Advances 10, 28 (2024), eadn5290.
Drosos, Ian, et al. 2024. “It’s like a rubber duck that talks back.” Proceedings of the 3rd Annual Meeting of the Symposium on Human-Computer Interaction for Work. ACM, Newcastle upon Tyne, UK, 1–21. https://doi.org/10.1145/3663384.3663389
Drucker, Peter F. 1959. Landmarks of Tomorrow. Harper.
Du, Wantong, Zhiying Zhu, Xinhui Xu, Haoyuan Che, e Shi Chen. 2024. “CareerSim: Gamification Design Leveraging LLMs for Career Development Reflection.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 71, 7 páginas. https://doi.org/10.1145/3613905.3650928
Dwyer, Christopher P., Michael J. Hogan, e Ian Stewart. 2014. “An integrated critical thinking framework for the 21st century.” Thinking Skills and Creativity 12 (2014), 43–52.
Ehsan, Upol, Philipp Wintersberger, Q. Vera Liao, Elizabeth Anne Watkins, Carina Manger, Hal Daumé III, Andreas Riener, e Mark O. Riedl. 2022. “Human-Centered Explainable AI (HCXAI): Beyond opening the black-box of AI.” CHI Conference on Human Factors in Computing Systems Extended Abstracts. 1–7.
Ennis, Robert H. 1993. “Critical thinking assessment.” Theory into Practice 32, 3 (1993), 179–186.
Facione, Noreen C., Peter A. Facione, e Carol A. Sanchez. 1994. “Critical Thinking Disposition as a Measure of Competent Clinical Judgment: The Development of the California Critical Thinking Disposition Inventory.” Journal of Nursing Education 33, 8 (outubro 1994), 345–350. https://ezp.lib.cam.ac.uk/login?url=https://www.proquest.com/scholarly-journals/critical-thinking-disposition-as-measure/docview/1026710544/se-2
Facione, Peter. 1990. Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction (The Delphi Report). (1990).
Facione, Peter A. et al. 2011. “Critical thinking: What it is and why it counts.” Insight Assessment 1, 1 (2011), 1–23.
Facione, Peter A., Carol A. Sanchez, Noreen C. Facione, e Joanne Gainen. 1995. “The disposition toward critical thinking.” The Journal of General Education 44, 1 (1995), 1–25.
Fernandes, Daniela, Steeven Villa, Salla Nicholls, Otso Haavisto, Daniel Buschek, Albrecht Schmidt, Thomas Kosch, Chenxinran Shen, e Robin Welsch. 2024. “AI Makes You Smarter, But None The Wiser: The Disconnect Between Performance and Metacognition.” https://doi.org/10.48550/arXiv.2409.16708 arXiv:2409.16708.
Forehand, Mary. 2010. “Bloom’s taxonomy.” Emerging Perspectives on Learning, Teaching, and Technology 41, 4 (2010), 47–56.
Garner, Ruth, e Joseph L. McCaleb. 1985. “Effects of text manipulations on quality of written summaries.” Contemporary Educational Psychology 10, 2 (1985), 139–149.
Ghosh, Bhaskar, Karthik Narain, Lan Guan, e Jim Wilson. 2023. AI for everyone. https://www.accenture.com/us-en/insights/technology/generative-ai
Glikson, Ella, e Anita Williams Woolley. 2020. “Human Trust in Artificial Intelligence: Review of Empirical Research.” Academy of Management Annals 14, 2 (julho 2020), 627–660. https://doi.org/10.5465/annals.2018.0057
Glinka, Katrin, e Claudia Müller-Birn. 2023. “Critical-Reflective Human-AI Collaboration: Exploring Computational Tools for Art Historical Image Retrieval.” Proc. ACM Hum.-Comput. Interact. 7, CSCW2, Article 263 (outubro 2023), 33 páginas. https://doi.org/10.1145/3610054
Göldi, Andreas, Thiemo Wambsganss, Seyed Parsa Neshaei, e Roman Rietsche. 2024. “Intelligent Support Engages Writers Through Relevant Cognitive Processes.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 1047, 12 páginas. https://doi.org/10.1145/3613904.3642549
Gordon, Andrew D., Carina Negreanu, José Cambronero, Rasika Chakravarthy, Ian Drosos, Hao Fang, Bhaskar Mitra, Hannah Richardson, Advait Sarkar, Stephanie Simmons, Jack Williams, e Ben Zorn. 2023. “Co-audit: Tools to help humans double-check AI-generated content.” http://arxiv.org/abs/2310.01297 arXiv:2310.01297 [cs].
Greenwood, Chris, e Matthew Quinn. 2017. “Digital amnesia and the future tourist.” Journal of Tourism Futures 3, 1 (2017), 73–76.
Harrison, Galen, Kevin Bryson, Ahmad Emmanuel Balla Bamba, Luca Dovichi, Aleksander Herrmann Binion, Arthur Borem, e Blase Ur. 2024. “JupyterLab in Retrograde: Contextual Notifications That Highlight Fairness and Bias Issues for Data Scientists.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 475, 19 páginas. https://doi.org/10.1145/3613904.3642755
Hauser, David J., e Norbert Schwarz. 2015. “It’s a Trap! Instructional Manipulation Checks Prompt Systematic Thinking on “Tricky” Tasks.” Sage Open 5, 2 (2015), 2158244015584617. https://doi.org/10.1177/2158244015584617
Holzer, Adrian, Sten Govaerts, Samuel Bendahan, e Denis Gillet. 2015. “Towards Mobile Blended Interaction Fostering Critical Thinking.” Proceedings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct (MobileHCI ’15). Association for Computing Machinery, New York, NY, USA, 735–742. https://doi.org/10.1145/2786567.2793695
Holzer, Adrian, Nava Tintarev, Samuel Bendahan, Bruno Kocher, Shane Greenup, e Denis Gillet. 2018. “Digitally Scaffolding Debate in the Classroom.” Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems (CHI EA ’18). Association for Computing Machinery, New York, NY, USA, 1–6. https://doi.org/10.1145/3170427.3188499
Horvitz, Eric. 1999. “Principles of mixed-initiative user interfaces.” Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 159–166.
Howell, C.W. 2023. “So I followed @GaryMarcus’s suggestion and had my undergrad class use ChatGPT for a critical assignment…” https://twitter.com/cwhowell123/status/1662501821133254656. Retrieved July 10, 2023.
Huitt, William. 2011. “Bloom et al.’s taxonomy of the cognitive domain.” Educational Psychology Interactive 22 (2011), 1–4.
Jeromela, Jovan, e Owen Conlan. 2023. “Voicing Suggestions and Enabling Reflection: Results of an Expert Discussion on Proactive Assistants for Time Management.” Proceedings of the 5th International Conference on Conversational User Interfaces (CUI ’23). Association for Computing Machinery, New York, NY, USA, Article 48, 6 páginas. https://doi.org/10.1145/3571884.3604317
Jessup, Sarah A., Tamera R. Schneider, Gene M. Alarcon, Tyler J. Ryan, e August Capiola. 2019. “The Measurement of the Propensity to Trust Automation.” Virtual, Augmented and Mixed Reality. Applications and Case Studies. Lecture Notes in Computer Science, Springer International Publishing, Cham, 476–489. https://doi.org/10.1007/978-3-030-21565-1_32
Jeung, Jun Li, e Janet Yi-Ching Huang. 2024. “Unlocking Memories with AI: Exploring the Role of AI-Generated Cues in Personal Reminiscing.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 356, 6 páginas. https://doi.org/10.1145/3613905.3650979
Jiao, Hong, e Robert W. Lissitz. 2020. Application of Artificial Intelligence to Assessment. IAP.
Johnston, Heather, Rebecca F. Wells, Elizabeth M. Shanks, Timothy Boey, e Bryony N. Parsons. 2024. “Student perspectives on the use of generative artificial intelligence technologies in higher education.” International Journal for Educational Integrity 20, 1 (fev. 2024), 2. https://doi.org/10.1007/s40979-024-00149-4
Joksimovic, Srecko, Dirk Ifenthaler, Rebecca Marrone, Maarten De Laat, e George Siemens. 2023. “Opportunities of artificial intelligence for supporting complex problem-solving: Findings from a scoping review.” Computers and Education: Artificial Intelligence 4 (2023), 100138.
Kang, Sol, e William Odom. 2024. “On the Design of Quologue: Uncovering Opportunities and Challenges with Generative AI as a Resource for Creating a Self-Morphing E-book Metadata Archive.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 255, 16 páginas. https://doi.org/10.1145/3613905.3650909
Karpicke, Jeffrey D., e Janell R. Blunt. 2011. “Retrieval practice produces more learning than elaborative studying with concept mapping.” Science 331, 6018 (2011), 772–775.
Kellogg, Ronald T. 2008. “Training writing skills: A cognitive developmental perspective.” Journal of Writing Research 1, 1 (2008), 1–26. https://doi.org/10.17239/jowr-2008.01.01.1
Kellogg, Ronald T., e Bascom A. Raulerson. 2007. “Improving the writing skills of college students.” Psychonomic Bulletin & Review 14, 2 (2007), 237–242. https://doi.org/10.3758/BF03194058
Kember, David, Doris Y.P. Leung, Alice Jones, Alice Yuen Loke, Jan McKay, Kit Sinclair, Harrison Tse, Celia Webb, Frances Kam Yuet Wong, Marian Wong, et al. 2000. “Development of a questionnaire to measure the level of reflective thinking.” Assessment & Evaluation in Higher Education 25, 4 (2000), 381–395.
Kember, David, Jan McKay, Kit Sinclair, e Frances Kam Yuet Wong. 2008. “A four-category scheme for coding and assessing the level of reflection in written work.” Assessment & Evaluation in Higher Education 33, 4 (2008), 369–379.
Kidd, Alison. 1994. “The marks are on the knowledge worker.” Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 186–191.
Kiefer, Markus, e Friedemann Pulvermüller. 2012. “Conceptual representations in mind and brain: Theoretical developments, current evidence and future directions.” Cortex 48, 7 (2012), 805–825.
Kim, Minyeong, Jiwook Lee, Youngji Koh, Chanhee Lee, Uichin Lee, e Auk Kim. 2024. “Interrupting for Microlearning: Understanding Perceptions and Interruptibility of Proactive Conversational Microlearning Services.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 570, 21 páginas. https://doi.org/10.1145/3613904.3642778
King, Patricia M. 1997. “The reflective judgment model: Transforming assumptions about knowing.” College Student Development and Academic Life: Psychological, Intellectual, Social, and Moral Issues 4 (1997), 141.
Kitson, Alexandra, Petr Slovak, e Alissa N. Antle. 2024. “Supporting Cognitive Reappraisal With Digital Technology: A Content Analysis and Scoping Review of Challenges, Interventions, and Future Directions.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA.
Kneupper, Charles W. 1978. “Teaching argument: An introduction to the Toulmin model.” College Composition and Communication 29, 3 (1978), 237–241.
Kobylarek, Aleksander, Kamil Błaszczyński, Luba Ślósarz, e Martyna Madej. 2022. “Critical Thinking Questionnaire (CThQ) – construction and application of critical thinking test tool.” Andragogy Adult Education and Social Marketing 2, 2 (2022), 1–1.
Kuhn, Deanna. 1993. “Connecting scientific and informal reasoning.” Merrill-Palmer Quarterly (1982-) (1993), 74–103.
Kwon, Soonho, Dong Whi Yoo, e Younah Kang. 2024. “Spiritual AI: Exploring the Possibilities of a Human-AI Interaction Beyond Productive Goals.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 299, 8 páginas. https://doi.org/10.1145/3613905.3650743
Lacroux, Alain, e Christelle Martin-Lacroux. 2022. “Should I Trust the Artificial Intelligence to Recruit? Recruiters’ Perceptions and Behavior When Faced With Algorithm-Based Recommendation Systems During Resume Screening.” Frontiers in Psychology 13 (julho 2022). https://doi.org/10.3389/fpsyg.2022.895997
Lakoff, George, e Mark Johnson. 2008. Metaphors We Live By. University of Chicago Press.
Lee, Sunok, Dasom Choi, Minha Lee, Jonghak Choi, e Sangsu Lee. 2023. “Fostering Youth’s Critical Thinking Competency About AI through Exhibition.” Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23). Association for Computing Machinery, New York, NY, USA, Article 451, 22 páginas. https://doi.org/10.1145/3544548.3581159
Lee, Young-Ju. 2020. “The Long-Term Effect of Automated Writing Evaluation Feedback on Writing Development.” English Teaching 75, 1 (2020), 67–92.
Li, Zhuoyang, Minhui Liang, Ray Lc, e Yuhan Luo. 2024. “StayFocused: Examining the Effects of Reflective Prompts and Chatbot Support on Compulsive Smartphone Use.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 247, 19 páginas. https://doi.org/10.1145/3613904.3642479
Li, Zhuoyang, Minhui Liang, Hai Trung Le, Ray Lc, e Yuhan Luo. 2023. “Exploring Design Opportunities for Reflective Conversational Agents to Reduce Compulsive Smartphone Use.” Proceedings of the 5th International Conference on Conversational User Interfaces (CUI ’23). Association for Computing Machinery, New York, NY, USA, Article 37, 6 páginas. https://doi.org/10.1145/3571884.3604305
Liao, Jingxian, Mrinalini Singh, e Hao-Chuan Wang. 2023. “DeepThinkingMap: Collaborative Video Reflection System with Graph-based Summarizing and Commenting.” Companion Publication of the 2023 Conference on Computer Supported Cooperative Work and Social Computing (CSCW ’23 Companion). Association for Computing Machinery, New York, NY, USA, 369–371. https://doi.org/10.1145/3584931.3607501
Lu, Zhuoran, e Ming Yin. 2021. “Human Reliance on Machine Learning Models When Performance Feedback is Limited: Heuristics and Risks.” Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. ACM, Yokohama, Japão, 1–16. https://doi.org/10.1145/3411764.3445562
Lubiana, Tiago, Rafael Lopes, Pedro Medeiros, Juan Carlo Silva, Andre Nicolau Aquime Goncalves, Vinicius Maracaja-Coutinho, e Helder I. Nakaya. 2023. “Ten Quick Tips for Harnessing the Power of ChatGPT/GPT-4 in Computational Biology.” arXiv preprint arXiv:2303.16429 (2023). https://doi.org/10.48550/arXiv.2303.16429
Ma, Shuai, Xinru Wang, Ying Lei, Chuhan Shi, Ming Yin, e Xiaojuan Ma. 2024. “Are You Really Sure? Understanding the Effects of Human Self-Confidence Calibration in AI-Assisted Decision Making.” http://arxiv.org/abs/2403.09552 arXiv:2403.09552 [cs].
McCaffrey, Jill Burstein, Brian Riordan, e Daniel. 2020. “Expanding Automated Writing Evaluation.” Handbook of Automated Scoring. Chapman and Hall/CRC.
McDonald, Nora, Sarita Schoenebeck, e Andrea Forte. 2019. “Reliability and Inter-rater Reliability in Qualitative Research: Norms and Guidelines for CSCW and HCI Practice.” Proc. ACM Hum.-Comput. Interact. 3, CSCW, Article 72 (novembro 2019), 23 páginas. https://doi.org/10.1145/3359174
McNeese, Nathan J., Beau G. Schelble, Lorenzo Barberis Canonico, e Mustafa Demir. 2021. “Who/what is my teammate? Team composition considerations in human–AI teaming.” IEEE Transactions on Human-Machine Systems 51, 4 (2021), 288–299.
Memmert, Lucas, e Eva Bittner. 2022. “Complex problem solving through human-AI collaboration: Literature review on research contexts.” (2022).
Meteyard, Lotte, Sara Rodriguez Cuadrado, Bahador Bahrami, e Gabriella Vigliocco. 2012. “Coming of age: A review of embodiment and the neuroscience of semantics.” Cortex 48, 7 (2012), 788–804.
Miller, Josh Aaron, Kutub Gandhi, Matthew Alexander Whitby, Mehmet Kosa, Seth Cooper, Elisa D. Mekler, e Ioanna Iacovides. 2024. “A Design Framework for Reflective Play.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 519, 21 páginas. https://doi.org/10.1145/3613904.3642455
Miller, Richard L., e William Wozniak. 2001. “Counter-attitudinal advocacy: Effort vs. self-generation of arguments.” Current Research in Social Psychology 6, 4 (2001), 46–55.
Morris, C. Donald, Barry S. Stein, e John D. Bransford. 1979. “Prerequisites for the utilization of knowledge in the recall of prose passages.” Journal of Experimental Psychology: Human Learning and Memory 5, 3 (1979), 253.
Mukherjee, Anwesha, Vagner Figueredo De Santana, e Alexis Baria. 2023. “ImpactBot: Chatbot Leveraging Language Models to Automate Feedback and Promote Critical Thinking Around Impact Statements.” Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems (CHI EA ’23). Association for Computing Machinery, New York, NY, USA, Article 388, 8 páginas. https://doi.org/10.1145/3544549.3573844
Muller, Michael, e Justin Weisz. 2022. “Extending a human-AI collaboration framework with dynamism and sociality.” Proceedings of the 1st Annual Meeting of the Symposium on Human-Computer Interaction for Work. 1–12.
Mulnix, Jennifer Wilson. 2012. “Thinking critically about critical thinking.” Educational Philosophy and Theory 44, 5 (2012), 464–479.
Nepal, Subigya, Arvind Pillai, William Campbell, Talie Massachi, Eunsol Soul Choi, Xuhai Xu, Joanna Kuc, Jeremy F. Huckins, Jason Holden, Colin Depp, Nicholas Jacobson, Mary P. Czerwinski, Eric Granholm, e Andrew Campbell. 2024. “Contextual AI Journaling: Integrating LLM and Time Series Behavioral Sensing Technology to Promote Self-Reflection and Well-being using the MindScape App.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 86, 8 páginas. https://doi.org/10.1145/3613905.3650767
Nguyen, Quoc Dinh, Nicolas Fernandez, Thierry Karsenti, e Bernard Charlin. 2014. “What is reflection? A conceptual analysis of major definitions and a proposal of a five-component model.” Medical Education 48, 12 (2014), 1176–1189.
Nordberg, Oda Elise, e Frode Guribye. 2023. “Conversations with the News: Co-speculation into Conversational Interactions with News Content.” Proceedings of the 5th International Conference on Conversational User Interfaces (CUI ’23). Association for Computing Machinery, New York, NY, USA, Article 32, 11 páginas. https://doi.org/10.1145/3571884.3597123
Noy, Shakked, e Whitney Zhang. 2023. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Technical Report. Working Paper.
Parra G., Lorena, e Ximena Calero S. 2019. “Automated Writing Evaluation Tools in the Improvement of the Writing Skill.” International Journal of Instruction 12, 2 (2019), 209–226.
Passi, Samir, e Mihaela Vorvoreanu. 2022. “Overreliance on AI literature review.” Microsoft Research (2022).
Paul, Richard, e Linda Elder. 2020. The Miniature Guide to Critical Thinking Concepts and Tools (8ª edição). Rowman & Littlefield, Lanham, MD.
Paul, Richard W., Linda Elder, e Ted Bartell. 1997. “California teacher preparation for instruction in critical thinking: Research findings and policy recommendations.” (1997).
Paul, Sheila A. 2014. “Assessment of critical thinking: A Delphi study.” Nurse Education Today 34, 11 (2014), 1357–1360. https://doi.org/10.1016/j.nedt.2014.03.008
Pellas, Nikolaos. 2023. “The Effects of Generative AI Platforms on Undergraduates’ Narrative Intelligence and Writing Self-Efficacy.” Education Sciences 13, 11 (2023), 1155.
Prather, James, Brent N. Reeves, Juho Leinonen, Stephen MacNeil, Arisoa S. Randrianasolo, Brett A. Becker, Bailey Kimmel, Jared Wright, e Ben Briggs. 2024. “The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers.” Proceedings of the 2024 ACM Conference on International Computing Education Research-Volume 1. 469–486.
Raisch, Sebastian, e Kateryna Fomina. 2023. “Combining human and artificial intelligence: Hybrid problem-solving in organizations.” Academy of Management Review ja (2023), amr–2021.
Reicherts, Leon, Gun Woo Park, e Yvonne Rogers. 2022. “Extending Chatbots to Probe Users: Enhancing Complex Decision-Making Through Probing Conversations.” Proceedings of the 4th Conference on Conversational User Interfaces (CUI ’22). Association for Computing Machinery, New York, NY, USA, Article 2, 10 páginas. https://doi.org/10.1145/3543829.3543832
Richards Maldonado, Liam, Azza Abouzied, e Nancy W. Gleason. 2023. “ReaderQuizzer: Augmenting Research Papers with Just-In-Time Learning Questions to Facilitate Deeper Understanding.” Companion Publication of the 2023 Conference on Computer Supported Cooperative Work and Social Computing (CSCW ’23 Companion). Association for Computing Machinery, New York, NY, USA, 391–394. https://doi.org/10.1145/3584931.3607494
Robert, S. James, S. Kadhiravan, e Dean McKay. 2024. “The Development and Validation of Digital Amnesia Scale.” Current Psychology (2024), 1–10.
Saffer, Christoph. 2023. “Boosting Productivity using GPT-4: Writing Articles and Coding Efficiently.” https://medium.com/@ChristophSaffer/boostingproductivity-using-gpt-4-writing-articles-and-coding-efficientlyab0ddb955c2c. Retrieved July 10, 2023.
Sarkar, Advait. 2023. “Enough With ‘Human-AI Collaboration’.” Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems (CHI EA ’23). Association for Computing Machinery, New York, NY, USA, Article 415, 8 páginas. https://doi.org/10.1145/3544549.3582735
Sarkar, Advait. 2023. “Exploring Perspectives on the Impact of Artificial Intelligence on the Creativity of Knowledge Work: Beyond Mechanized Plagiarism and Stochastic Parrots.” Proceedings of the 2nd Annual Meeting of the Symposium on Human-Computer Interaction for Work (CHIWORK ’23). Association for Computing Machinery, New York, NY, USA, Article 13, 17 páginas. https://doi.org/10.1145/3596671.3597650
Sarkar, Advait. 2023. “Will Code Remain a Relevant User Interface for End-User Programming with Generative AI Models?” Proceedings of the 2023 ACM SIGPLAN International Symposium on New Ideas, New Paradigms, and Reflections on Programming and Software (Onward! 2023). Association for Computing Machinery, New York, NY, USA, 153–167. https://doi.org/10.1145/3622758.3622882
Sarkar, Advait. 2024. “AI Should Challenge, Not Obey.” Commun. ACM 67, 10 (set. 2024), 18–21. https://doi.org/10.1145/3649404
Sarkar, Advait. 2024. “Intention Is All You Need.” Proceedings of the 35th Annual Conference of the Psychology of Programming Interest Group (PPIG 2024). (2024).
Sarkar, Advait. 2024. “Large Language Models Cannot Explain Themselves.” ACM CHI 2024 Workshop on Human-Centered Explainable AI (HCXAI).
Sarkar, Advait, Xiaotong (Tone) Xu, Neil Toronto, Ian Drosos, e Christian Poelitz. 2024. “When Copilot Becomes Autopilot: Generative AI’s Critical Risk to Knowledge Work and a Critical Solution.” Proceedings of the Annual Conference of the European Spreadsheet Risks Interest Group (EuSpRIG 2024).
Schultze, Ulrike. 2000. “A Confessional Account of an Ethnography about Knowledge Work.” MIS Quarterly (2000), 3–41.
Sherrard, Carol. 1986. “Summary Writing: A Topographical Study.” Written Communication 3, 3 (1986), 324–343.
Simkute, Auste, Lev Tankelevitch, Viktor Kewenig, Ava Elizabeth Scott, Abigail Sellen, e Sean Rintel. 2024. “Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction.” International Journal of Human–Computer Interaction (2024), 1–22.
Spataro, Jared. 2023. “Introducing Microsoft 365 Copilot – Your Copilot for Work.” https://blogs.microsoft.com/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/. Retrieved July 10, 2023.
Spirgel, Arie S., e Peter F. Delaney. 2016. “Does Writing Summaries Improve Memory for Text?” Educational Psychology Review 28 (2016), 171–196.
Stafford, Tom, Herman Elgueta, e Harriet Cameron. 2014. “Students’ Engagement with a Collaborative Wiki Tool Predicts Enhanced Written Exam Performance.” Research in Learning Technology 22 (2014).
Sun, Na, Chien Wen (Tina) Yuan, Mary Beth Rosson, Yu Wu, e Jack M. Carroll. 2017. “Critical Thinking in Collaboration: Talk Less, Perceive More.” Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems (CHI EA ’17). Association for Computing Machinery, New York, NY, USA, 2944–2950. https://doi.org/10.1145/3027063.3053250
Swaminathan, Shakti, et al. 2020. “Digital Amnesia: The Smart Phone and the Modern Indian Student.” Journal of Humanities and Social Sciences Studies 2, 3 (2020), 23–31.
Tajik, Elham, e Fatemeh Tajik. 2023. “A Comprehensive Examination of the Potential Application of ChatGPT in Higher Education Institutions.” (2023). https://doi.org/10.36227/techrxiv.22589497.v1
Tang, Haoheng, e Mrinalini Singha. 2024. “A Mystery for You: A Fact-Checking Game Enhanced by Large Language Models (LLMs) and a Tangible Interface.” Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 631, 5 páginas. https://doi.org/10.1145/3613905.3648110
Tankelevitch, Lev, Viktor Kewenig, Auste Simkute, Ava Elizabeth Scott, Advait Sarkar, Abigail Sellen, e Sean Rintel. 2024. “The Metacognitive Demands and Opportunities of Generative AI.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 680, 24 páginas. https://doi.org/10.1145/3613904.3642902
Tanprasert, Thitaree, Sidney S. Fels, Luanne Sinnamon, e Dongwook Yoon. 2024. “Debate Chatbots to Facilitate Critical Thinking on YouTube: Social Identity and Conversational Style Make a Difference.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 805, 24 páginas. https://doi.org/10.1145/3613904.3642513
Tost, Jordi, Marcel Gohsen, Britta Schulte, Fidel Thomet, Mattis Kuhn, Johannes Kiesel, Benno Stein, e Eva Hornecker. 2024. “Futuring Machines: An Interactive Framework for Participative Futuring Through Human-AI Collaborative Speculative Fiction Writing.” Proceedings of the 6th ACM Conference on Conversational User Interfaces (CUI ’24). Association for Computing Machinery, New York, NY, USA, Article 42, 7 páginas. https://doi.org/10.1145/3640794.3665904
Tsai, Chun-Yen, Chih-Neng Lin, Wen-Ling Shih, e Pai-Lu Wu. 2015. “The Effect of Online Argumentation Upon Students’ Pseudoscientific Beliefs.” Computers & Education 80 (2015), 187–197. https://doi.org/10.1016/j.compedu.2014.08.018
Wade-Stein, David, e Eileen Kintsch. 2004. “Summary Street: Interactive Computer Support for Writing.” Cognition and Instruction 22, 3 (2004), 333–362.
Wambsganss, Thiemo, Christina Niklaus, Matthias Cetto, Matthias Söllner, Siegfried Handschuh, e Jan Marco Leimeister. 2021. “ArgueTutor: An Adaptive Dialog-Based Learning System for Argumentation Skills.” Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. ACM.
Wang, Ge, Jun Zhao, Konrad Kollnig, Adrien Zier, Blanche Duron, Zhilin Zhang, Max Van Kleek, e Nigel Shadbolt. 2024. “KOALA Hero Toolkit: A New Approach to Inform Families of Mobile Datafication Risks.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 226, 18 páginas. https://doi.org/10.1145/3613904.3642283
Wang, Yingxu, e Vincent Chiew. 2010. “On the Cognitive Process of Human Problem Solving.” Cognitive Systems Research 11, 1 (2010), 81–92.
Willingham, Daniel T. 2008. “Critical Thinking: Why Is It So Hard to Teach?” Arts Education Policy Review 109, 4 (2008), 21–32. https://doi.org/10.3200/AEPR.109.4.21-32
Wilson, Donna, e Marcus Conyers. 2016. Teaching Students to Drive Their Brains: Metacognitive Strategies, Activities, and Lesson Ideas. ASCD.
Winograd, Peter N. 1984. “Strategic Difficulties in Summarizing Texts.” Reading Research Quarterly (1984), 404–425.
Yeo, ShunYi, Gionnieve Lim, Jie Gao, Weiyu Zhang, e Simon Tangi Perrault. 2024. “Help Me Reflect: Leveraging Self-Reflection Interface Nudges to Enhance Deliberativeness on Online Deliberation Platforms.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 806, 32 páginas. https://doi.org/10.1145/3613904.3642530
Yuan, Kangyu, Hehai Lin, Shilei Cao, Zhenhui Peng, Qingyu Guo, e Xiaojuan Ma. 2023. “CriTrainer: An Adaptive Training Tool for Critical Paper Reading.” Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (UIST ’23). Association for Computing Machinery, New York, NY, USA, Article 44, 17 páginas. https://doi.org/10.1145/3586183.3606816
Zavolokina, Liudmila, Kilian Sprenkamp, Zoya Katashinskaya, Daniel Gordon Jones, e Gerhard Schwabe. 2024. “Think Fast, Think Slow, Think Critical: Designing an Automated Propaganda Detection Tool.” Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 491, 24 páginas. https://doi.org/10.1145/3613904.3642805
Zawacki-Richter, Olaf, Victoria I. Marín, Melissa Bond, e Franziska Gouverneur. 2019. “Systematic Review of Research on Artificial Intelligence Applications in Higher Education–Where Are the Educators?” International Journal of Educational Technology in Higher Education 16, 1 (2019), 39. https://doi.org/10.1186/s41239-019-0171-0
Zuriguel-Pérez, Esperanza, Anna Falcó-Pegueroles, Juan Roldán-Merino, Sandra Agustino-Rodriguez, Maria del Carmen Gómez-Martín, e Maria Teresa Lluch-Canut. 2017. “Development and Psychometric Properties of the Nursing Critical Thinking in Clinical Practice Questionnaire.” Worldviews on Evidence-Based Nursing 14, 4 (2017), 257–264.
Zuriguel-Pérez, Esperanza, María-Teresa Lluch-Canut, Montserrat Puig-Llobet, Luis Basco-Prado, Adrià Almazor-Sirvent, Ainoa Biurrun-Garrido, Mariela Patricia Aguayo-González, Olga Mestres-Soler, e Juan Roldán-Merino. 2022. “The Nursing Critical Thinking in Clinical Practice Questionnaire for Nursing Students: A Psychometric Evaluation Study.” Nurse Education in Practice 65 (2022), 103498.
Autores: Hao-Ping (Hank) Lee, Advait Sarkar, Lev Tankelevitch, Ian Drosos, Sean Rintel, Richard Banks, Nicholas Wilson
Fonte: Microsoft
Artigo original: https://bit.ly/41O56Wc
