O artigo é longo, mas interessante. A questão que permanece é: por que precisamos terceirizar o nosso pensamento para a máquina? Sabemos que é impossível frear o avanço das tecnologias, e muito menos proibi-las, por isso precisamos aprender a nos adaptar ao mundo em que vivemos, felizmente ou infelizmente.
Como o uso massivo da IA Generativa ainda é recente, ainda não conhecemos todas as consequências. Diversos estudos apontam para uma possível deterioração da cognição humana, (é o que eu acredito) enquanto outros destacam ganhos expressivos em produtividade. Recentemente, li um estudo sobre como o workslop pode prejudicar o trabalho, e uma parte deste artigo dialoga diretamente com essa ideia.
Acredito que, em um futuro não muito distante, passaremos a usar as interfaces de IA Generativa como estímulos de aprendizagem, e não apenas como ferramentas de produção (espero que aconteça). Resta-nos observar o que as próximas pesquisas nos revelarão.
1. Introdução
Sistemas de inteligência artificial generativa (GenAI) que utilizam modelos os Modelos de Linguagem de Grande Escala (LLMs), capazes de gerar artefatos a partir de extensos parâmetros e dados de treinamento para modelar um espaço de características, têm o potencial de transformar o trabalho pessoal e profissional. Esse potencial deriva de uma combinação única de flexibilidade do modelo (em seu espaço de entrada/saída), generalidade (em sua aplicabilidade a uma ampla gama de tarefas) e originalidade (em sua capacidade de gerar um novo conteúdo). No entanto, essas mesmas propriedades também representam um desafio para o design de sistemas de GenAI centrados no ser humano. Estudos com usuários revelam uma série de desafios de usabilidade relacionados à criação de prompts, à avaliação e confiança nos resultados gerados, e à definição de uma estratégia de automação, ou seja, se e como integrar a GenAI aos fluxos de trabalho.
Trabalhos recentes têm procurado caracterizar as propriedades únicas da GenAI e seus efeitos potenciais sobre os usuários, além de oferecer roteiros técnicos ou de design para a concepção de uma GenAI centrada no ser humano. No entanto, ainda não existe uma compreensão coerente dos desafios de usabilidade da GenAI, muito menos uma baseada em uma teoria da cognição humana. De fato, trabalhos recentes têm solicitado pesquisas fundamentais para compreender como as pessoas interagem com a GenAI e a IA de forma mais ampla. Aqui, argumentamos que a metacognição, a capacidade psicológica de monitorar e controlar os próprios processos de pensamento, oferece uma perspectiva valiosa e inexplorada para compreender e projetar os desafios de usabilidade da GenAI.
Em primeiro lugar, sugerimos que os atuais sistemas de GenAI impõem múltiplas demandas metacognitivas aos usuários; compreender essas demandas pode ajudar a interpretar e investigar os desafios de usabilidade identificados e potencialmente novos. Em segundo lugar, sugerimos que a perspectiva das demandas metacognitivas oferece novas oportunidades de pesquisa e design para a interação humano-IA. As demandas metacognitivas de trabalhar com sistemas GenAI são paralelas às de um gerente que delega tarefas a uma equipe. Um gerente precisa entender e formular claramente seus objetivos, dividir esses objetivos em tarefas comunicáveis, avaliar com confiança a qualidade do resultado da equipe e ajustar os planos de acordo com o andamento do trabalho.
Além disso, ele precisa decidir se, quando e como delegar tarefas em primeiro lugar. Entre outras coisas, essas responsabilidades envolvem o monitoramento e o controle metacognitivo dos processos de pensamento e do comportamento.
De forma análoga, os sistemas GenAI atuais geralmente exigem prompts verbalizados, autoconsciência das metas da tarefa e decomposição das tarefas em subtarefas. Os resultados do sistema precisam então ser avaliados, exigindo confiança bem ajustada nas habilidades de avaliação e prompting e flexibilidade metacognitiva para iterar na estratégia de prompting conforme necessário.
Juntamente com as interações locais com os sistemas GenAI, a generalidade da GenAI apresenta outra exigência metacognitiva de nível superior: o desafio de saber se e como incorporar a GenAI nos fluxos de trabalho, ou seja, a “estratégia de automação” de cada um. Isso exige autoconsciência da aplicabilidade da GenAI e seu impacto no fluxo de trabalho; confiança bem ajustada na conclusão de tarefas manuais versus apoiadas pela GenAI; e flexibilidade metacognitiva para adaptar os fluxos de trabalho conforme necessário.
Postulamos que essas demandas metacognitivas são induzidas pela flexibilidade, generalidade e originalidade do modelo da GenAI. Na seção 3, nos baseamos em pesquisas sobre metacognição e estudos recentes com usuários da GenAI para ilustrar essas demandas metacognitivas e oferecer novas direções de pesquisa para investigá-las mais a fundo. Essas demandas podem ser abordadas de pelo menos duas maneiras complementares. Em primeiro lugar, dado que as habilidades metacognitivas podem ser ensinadas, podemos melhorar a metacognição dos usuários por meio de estratégias de apoio metacognitivo que podem ser integradas aos sistemas GenAI.
As estratégias de apoio metacognitivo baseadas em evidências incluem aquelas que ajudam os usuários em seu planejamento, autoavaliação e autogestão. Trabalhos recentes em HCI começaram a seguir essa direção, embora sem fundamentá-la explicitamente na metacognição; sugerimos que uma lente metacognitiva oferece novas direções de pesquisa e design para aumentar a usabilidade do sistema GenAI.
Em segundo lugar, podemos reduzir a demanda metacognitiva dos sistemas GenAI projetando abordagens adequadas à tarefa para a explicabilidade e personalização da GenAI. Sugerimos que a explicabilidade pode ajudar a transferir o processamento metacognitivo do usuário para o sistema e que as abordagens de explicabilidade existentes podem ser aprimoradas considerando a metacognição.
Da mesma forma, sugerimos que uma perspectiva metacognitiva pode fornecer insights sobre como abordar a personalização do usuário final dos sistemas GenAI. Na seção 4, nos baseamos em estudos de intervenção para melhorar a metacognição e em estudos de protótipos de GenAI e interação humano-IA para explorar direções de pesquisa e design que possam atender às demandas metacognitivas da GenAI.
Criticamente, também destacamos como a flexibilidade, generalidade e originalidade do modelo da GenAI podem servir como uma solução de design para essas demandas. Por fim, discutimos a relação entre a carga cognitiva e o atendimento às demandas metacognitivas, oferecendo maneiras de gerenciar seu equilíbrio. Em resumo, nosso trabalho traz três contribuições distintas:
- Conceituamos e fundamentamos os desafios de usabilidade da GenAI em uma compreensão da metacognição humana, com base em pesquisas da ciência psicológica e cognitiva e em estudos recentes com usuários da GenAI.
- Com base em pesquisas sobre intervenções metacognitivas, protótipos de GenAI e interação humano-IA, propomos duas direções para abordar as demandas metacognitivas da GenAI: melhorar a metacognição dos usuários e reduzir as demandas metacognitivas da GenAI.
- Usamos a lente da metacognição para identificar a necessidade, e direções concretas de mais pesquisas sobre as demandas metacognitivas da GenAI e projetar oportunidades que aproveitem as propriedades únicas da GenAI para aumentar a usabilidade do sistema.
2. O que é metacognição
A metacognição como conceito foi popularizada pela primeira vez pelo psicólogo do desenvolvimento John H. Flavell no final da década de 1970, quando ele tentava compreender como as crianças passam a ter consciência de seus próprios processos cognitivos. Posteriormente, Nelson e Narens mostraram que, embora os adultos sejam capazes de refletir sobre seus pensamentos, muitas vezes não conseguem tomar consciência das premissas subjacentes à sua tomada de decisões e não analisam, compreendem e controlam seus processos de pensamento de forma objetiva.
Seu “modelo metacognitivo” distinguiu pela primeira vez entre cognição no nível do objeto e no nível meta.
Os processos no nível do objeto refletem o trabalho cognitivo básico de perceber, lembrar, classificar, decidir e assim por diante. Os processos em nível meta monitoram esses processos em nível de objeto para avaliar seu funcionamento (por exemplo, avaliar o quão bem alguém compreendeu a essência de um texto) e alocar recursos de forma adequada (por exemplo, decidir reler o texto).
Desde então, uma linha crescente de pesquisas tem associado a melhora da metacognição a uma série de benefícios em diferentes domínios. Estudos demonstraram que a melhora da metacognição ajuda os indivíduos no gerenciamento do tempo, foco e esforço, resolução de problemas, desempenho acadêmico, bem-estar emocional e tomada de decisões em geral.
Como argumentamos na seção 3, além das promessas da GenAI de transformar o trabalho, ela também apresenta desafios de usabilidade que podem ser compreendidos de forma proveitosa por meio da metacognição. No entanto, o campo da interação humano-computador (HCI) tem considerado a metacognição principalmente no contexto do ensino da ciência da computação. A relativa ausência de pesquisas sobre metacognição em muitas áreas da HCI é surpreendente, considerando que os primeiros trabalhos sobre interfaces gráficas de usuário estavam, como concluiu Alan Kay, “solidamente entrelaçados com a aprendizagem”. Uma possível razão para essa ausência é a confusão causada pela abundância de estruturas e teorias existentes e sobrepostas sobre metacognição.
Da educação à gestão, saúde e até mesmo esportes, muitas disciplinas de pesquisa desenvolveram sua própria abordagem à metacognição, produzindo múltiplas terminologias e estruturas inconsistentes.
Para estruturar nossa análise das demandas metacognitivas dos sistemas GenAI, apresentamos uma estrutura descritiva simplificada da metacognição, também resumida na Figura 1. Em linha com as estruturas anteriores mais comuns, distinguimos entre conhecimento e experiências metacognitivas, duas fontes diferentes de informação para compreender a própria cognição, e entre as capacidades metacognitivas de monitorização e controle, através das quais se pode avaliar e orientar a própria cognição.
2.1 Conhecimento e experiências metacognitivas
O conhecimento metacognitivo, sendo explícito, inclui a compreensão consciente das pessoas sobre aspectos como suas estratégias (por exemplo, estratégias de memória), habilidades de raciocínio, tomada de decisões e crenças. As experiências metacognitivas incluem tudo o que as pessoas podem experimentar diretamente e podem ser implícitas, ocorrendo sem nossa intenção ou consciência direta. Isso inclui sentimentos subjetivos, como uma sensação de familiaridade ou a sensação de que se entendeu mal uma passagem durante a leitura, bem como outras pistas implícitas que fornecem informações sobre o processamento cognitivo (por exemplo, pistas de “fluência de processamento”, como a velocidade com que uma memória é recuperada).
O conhecimento e as experiências metacognitivas estão inter-relacionados. As experiências metacognitivas podem contribuir para o conhecimento metacognitivo, por exemplo, quando sentimentos de dificuldade durante a resolução de problemas são codificados como conhecimento de que se é ruim em resolver problemas. O conhecimento metacognitivo também pode ser recuperado durante experiências metacognitivas, por exemplo, quando se lembra que é ruim em resolver problemas ao experimentar um sentimento de dificuldade.
2.2 Habilidades metacognitivas: monitoramento e controle
As habilidades de monitoramento envolvem a avaliação do próprio pensamento, enquanto as habilidades de controle são aquelas que orientam diretamente o pensamento.
Nosso foco está nas habilidades de monitoramento e controle mais relevantes para as demandas metacognitivas concretas orientadas para tarefas impostas pela GenAI .
As habilidades de monitoramento relevantes para trabalhar com a GenAI incluem autoconsciência e ajuste da confiança. Autoconsciência é a capacidade de reconhecer os próprios pensamentos, emoções e ações, bem como a forma como esses fatores influenciam a cognição. Isso inclui ter uma consciência clara dos objetivos e intenções específicos de cada um, por exemplo, “O que estou tentando transmitir com este e-mail?”.
Essa habilidade é importante para estimular a GenAI e determinar a estratégia de automação de alguém.
A confiança é a autoavaliação das habilidades cognitivas de alguém e sua aplicação às tarefas, por exemplo, “Quão confiante estou de que posso escrever este e-mail com o tom e o nível de detalhes adequados?”. Ter uma percepção de confiança “bem alinhada” distingue o desempenho objetivamente correto do incorreto e corresponde com precisão às habilidades da pessoa.
A confiança e seu ajuste são fundamentais para a tomada de decisões e o raciocínio, especialmente em muitos aspectos da interação entre humanos e IA.
As habilidades de controle relevantes para trabalhar com GenAI incluem flexibilidade metacognitiva e decomposição de tarefas. Flexibilidade metacognitiva é a capacidade de mudar adaptativamente as estratégias cognitivas ao encontrar novas informações, ao perceber que uma estratégia atual não é eficaz ou quando as demandas da tarefa mudam, por exemplo, “Reconheço que o tom formal dos meus e-mails não combina com o estilo mais coloquial dos meus novos colegas de trabalho. Portanto, devo ajustar minha abordagem, mantendo o profissionalismo”. É uma característica marcante da resolução criativa de problemas e tem sido considerada essencial para organizar e integrar um conjunto de informações em rápida mudança.
A flexibilidade metacognitiva é especialmente importante ao solicitar e avaliar a saída da GenAI, e determinar a estratégia de automação de cada um. A decomposição de tarefas envolve dividir uma tarefa em subtarefas ou etapas concretas e acionáveis. Por exemplo, antes de escrever um e-mail, pode-se definir objetivos claros para os pontos específicos a serem comunicados, por exemplo, “Quero explicar claramente o status do projeto e pedir feedback”. Em seguida, pode-se decidir sobre uma estrutura para o e-mail, apresentando primeiro os aspectos mais importantes. Essas habilidades são especialmente importantes para solicitar a GenAI.
Como o exemplo sugere, a decomposição de tarefas não é exclusivamente metacognitiva, pois muitas vezes envolve processos cognitivos no nível do objeto. O monitoramento e o controle estão inter-relacionados. O monitoramento (ou seja, avaliar nosso desempenho) afeta o controle (por exemplo, influenciando uma mudança nas estratégias).
O controle (por exemplo, mudar estratégias) também pode fornecer feedback que afeta o monitoramento (por exemplo, alterando a avaliação do nosso desempenho).
2.3 Inter-relação entre conhecimento e experiências, e monitoramento e controle
O conhecimento e as experiências metacognitivas interagem com o monitoramento e, por sua vez, com o controle. Por exemplo, o conhecimento metacognitivo adequado dos pontos fortes e fracos das estratégias de uma pessoa pode afetar o ajuste da confiança em uma solução para um problema (ou seja, monitoramento metacognitivo). Por outro lado, melhorar o monitoramento, por exemplo, praticando a autoconsciência, pode aumentar a consciência das experiências e do conhecimento metacognitivo. Da mesma forma, as experiências metacognitivas podem influenciar e ser influenciadas pelo nosso monitoramento e controle metacognitivos. Por exemplo, após experimentar uma sensação de incompreensão, podemos inconscientemente ajustar nossa sensação de confiança (monitoramento) e ser levados a reler uma passagem (controle). Da mesma forma, o impacto das experiências metacognitivas pode variar com base nas habilidades de monitoramento.
Por exemplo, uma pessoa com melhor monitoramento pode estar mais sintonizada com essas experiências (tornando-as, assim, menos implícitas). Portanto, existe uma estreita inter-relação entre o conhecimento metacognitivo e as experiências, e o monitoramento e o controle.
2.4 Generalidade e especificidade do domínio da metacognição
Se as habilidades metacognitivas, o conhecimento e as experiências são gerais (universalmente aplicáveis em diferentes áreas do conhecimento, habilidades ou resolução de problemas) ou específicos (relacionados a uma área particular de especialização à qual estão finamente sintonizados, como a matemática) é uma questão em debate, embora haja evidências para ambas as visões. . O tipo de metacognição que uma situação exige provavelmente depende do contexto, uma consideração particularmente relevante para a GenAI, dada sua generalidade em todos os domínios.
2.5 Heurística e metacognição de priming
As pessoas frequentemente confiam implicitamente e involuntariamente em heurísticas para orientar seu monitoramento e controle metacognitivo.
Por exemplo, as pessoas orientam seu controle metacognitivo confiando implicitamente na facilidade de processamento da informação (“fluência de processamento”). As informações que são processadas com facilidade ou fluência (por exemplo, em termos de leitura) desencadeiam menos processamento cognitivo adicional em relação às informações que são mais difíceis de processar.
Como a fluência de processamento é experimentada subjetivamente, em vez de ser conscientemente conhecida, e como essas heurísticas são frequentemente ativadas implicitamente, sua ativação representa uma experiência metacognitiva. A manipulação da ativação dessas heurísticas (por exemplo, por meio do priming) pode ser usada para melhorar o controle metacognitivo: aumentar a dificuldade subjetiva de processamento (por exemplo, usando uma fonte degradada) estimula mais o controle metacognitivo e, assim, melhora o desempenho dos participantes em tarefas de raciocínio que se beneficiam de um estilo de processamento mais analítico. Na seção 3, discutimos como o uso dessas heurísticas ao interagir com a GenAI pode influenciar os usuários.
2.6 Melhorando a metacognição
As habilidades metacognitivas podem ser ensinadas e aprimoradas. Intervenções metacognitivas, como o treinamento por meio de feedback sobre o desempenho metacognitivo, podem, por exemplo, aumentar a precisão do julgamento, a capacidade de distinguir entre o próprio processamento metacognitivo correto e incorreto. Outras intervenções incluem fornecer feedback para ajustar o modelo mental de uma pessoa para uma tarefa específica e usar a reflexão guiada para melhorar a capacidade de discernir a confiabilidade dos resultados. Na seção 4.1, discutimos como algumas dessas intervenções podem ser usadas na prática para atender às demandas metacognitivas impostas pela GenAI.
2.7 Medindo a metacognição
Os pesquisadores da metacognição desenvolveram uma série de métodos para medir diferentes habilidades metacognitivas, tanto prospectivamente quanto retrospectivamente. A Tabela 1 resume os principais métodos da pesquisa em metacognição relevantes para explorar as interações com a GenAI.
| Habilidade | Tipo | Método | Descrição |
|---|---|---|---|
| Autoconsciência | |||
| Prospectivo | Pensamento em voz alta | Usuários verbalizam seu processo de pensamento durante uma tarefa. | |
| Prospectivo | Autoavaliação | Usuários relatam seus pontos fortes e fracos percebidos. | |
| Prospectivo | Registro de previsões | Usuários preveem desempenho e sentimentos para uma tarefa futura. | |
| Retrospectivo | Ensaio reflexivo | Usuários descrevem seus processos de pensamento após a tarefa. | |
| Retrospectivo | Entrevista | Entrevistas focam na autoimagem dos usuários durante ou após a tarefa. | |
| Retrospectivo | Rúbrica de avaliação | Usuários avaliam seu desempenho com base em uma rúbrica predefinida. | |
| Confiança | |||
| Prospectivo | Julgamento de aprendizagem (JOL) | Usuários preveem seu desempenho antes de um teste. | |
| Prospectivo | Autoavaliação | Usuários classificam sua confiança em habilidades específicas antes da tarefa. A correlação entre confiança e precisão objetiva pode estimar a calibração da confiança. Meta-d’ é uma métrica derivada que capta a resolução prospectiva da confiança de forma independente da calibração. | |
| Prospectivo | Estimativa de probabilidade | Usuários estimam a probabilidade de sucesso em eventos futuros. | |
| Retrospectivo | Autoavaliação | Usuários classificam sua confiança após uma tarefa ou teste. | |
| Retrospectivo | Diários reflexivos | Usuários refletem e comentam como se sentiram em relação à sua confiança durante a tarefa. | |
| Decomposição da Tarefa | |||
| Prospectivo | Questionário de expectativa | Usuários definem objetivos e planos antes da tarefa. | |
| Prospectivo | Microanálise de aprendizagem autorregulada (SRL) | Usuários respondem a perguntas avaliando estratégias e crenças motivacionais. | |
| Prospectivo | Planilha de metas | Usuários preenchem um formulário sobre valor percebido e expectativa de sucesso na tarefa. | |
| Retrospectivo | Avaliações de desempenho | Usuários avaliam suas estratégias de autorregulação utilizadas em uma tarefa. | |
| Retrospectivo | Observações comportamentais | As sessões de tarefa gravadas são analisadas para detectar sinais de autorregulação. | |
| Retrospectivo | Entrevista reflexiva | Entrevistas exploram o planejamento estratégico, monitoramento e avaliação dos usuários. | |
| Flexibilidade Metacognitiva | |||
| Prospectivo | Escala de flexibilidade cognitiva | Usuários descrevem como resolvem problemas em diferentes contextos. | |
| Prospectivo | Troca de tarefas | Usuários são testados em sua capacidade de alternar entre diferentes conjuntos de tarefas. | |
| Prospectivo | Fluência de categoria | Usuários listam exemplos dentro de uma categoria em um tempo limitado. | |
| Retrospectivo | Debriefing pós-tarefa | Entrevistas sobre as diferentes estratégias usadas pelos usuários e sua capacidade de adaptação durante a tarefa. | |
| Retrospectivo | Análise de soluções | Usuários revisam e discutem as soluções que geraram para a tarefa. | |
| Retrospectivo | Análise de erros | Erros cometidos durante a execução da tarefa são analisados para compreender a flexibilidade metacognitiva. | |
Tabela 1: Visão geral de alguns métodos prospectivos e retrospectivos para explorar habilidades metacognitivas relevantes. Usar esses métodos para medir as demandas metacognitivas impostas pela GenAI e aplicá-los para melhorar a usabilidade da GenAI são oportunidades promissoras para pesquisas futuras (ver Tabela 2 e Tabela 3).
3. As exigências metacognitivas da IA Generativa
Como observam Sarkar et al., a programação com GenAI pode ter “um impacto de longo alcance nas atitudes e práticas [dos programadores] de criação, busca de informações, depuração, refatoração, teste, documentação, manutenção de código, aprendizagem e muito mais”. Outros domínios, como design, redação e ciência de dados, provavelmente passarão por mudanças semelhantes com a GenAI.
Sugerimos que uma dimensão central subjacente a essas mudanças é uma maior demanda sobre a metacognição dos usuários, imposta quando eles precisam
(a) solicitar sistemas GenAI,
(b) avaliar e decidir confiar na saída do GenAI e
(c) decidir sobre sua estratégia de automação do fluxo de trabalho: se devem automatizar determinadas tarefas com o GenAI e como automatizá-las de forma mais eficaz (anteriormente descrito como “integração crítica”).
É importante aqui distinguir entre demanda metacognitiva, a necessidade de monitoramento e controle metacognitivo extensivo para uma tarefa, e carga cognitiva, a quantidade total de esforço mental necessário para uma tarefa.
A demanda metacognitiva contribui para a carga cognitiva, mas outros aspectos relacionados ao processamento cognitivo no nível do objeto (não meta) também contribuem (ou seja, a demanda metacognitiva é suficiente, mas não necessária para aumentar a carga cognitiva). Por exemplo, como ilustramos abaixo, o prompt nos sistemas GenAI atuais impõe uma alta demanda metacognitiva devido à necessidade de autoconsciência dos objetivos, aumentando a carga cognitiva, enquanto o método de interação por digitação (em vez de fala) aumenta ainda mais a carga cognitiva, embora sem muita demanda metacognitiva associada.
A relação entre a demanda metacognitiva e a carga cognitiva torna-se relevante ao considerar intervenções para apoiar a metacognição dos usuários. Esta seção aborda cada aspecto do trabalho com sistemas GenAI, descrevendo como a GenAI impõe altas demandas de monitoramento e controle metacognitivo aos usuários (resumidas na Figura 2).
Nem todos os sistemas GenAI impõem o mesmo tipo e extensão de exigências metacognitivas devido às diferenças no design da interface e nos modos de interação; quando relevante, apontamos as implicações disso. Ao longo do texto, fazemos sugestões concretas sobre pesquisas futuras para entender melhor essas exigências (resumidas na Tabela 2).
3.1 Elaboração de prompts em sistemas de IA generativa
Estudos com usuários finais sugerem que o prompting é desafiador, com usuários não especialistas cometendo vários erros e adotando estratégias ineficazes, um reflexo da demanda sobre o monitoramento e controle metacognitivo dos usuários. Durante a formulação do prompt, a natureza aberta de muitas interfaces atuais exige que os usuários tenham autoconsciência de seus objetivos específicos e sejam capazes de decompor suas tarefas em subtarefas menores, a fim de verbalizá-las como prompts eficazes (Figura 2a).
Em seguida, a avaliação e o ajuste iterativos da saída (iteração do prompt) dependem da confiança dos usuários em sua capacidade de construir bons prompts e da flexibilidade metacognitiva para adaptar sua estratégia de prompt (Figura 2b).
Postulamos que essas demandas são exacerbadas pelo não determinismo e pela flexibilidade do modelo (não confundir com flexibilidade metacognitiva) da GenAI em termos de
(a) ampla gama de parâmetros explícitos e implícitos que os usuários podem ajustar e
(b) capacidade dos sistemas de trabalhar com prompts em uma ampla gama de abstração.
3.1.1 Formulação de prompts: autoconsciência e decomposição de tarefas
Na conclusão manual de tarefas, muitos objetivos e intenções implícitas incorporadas às tarefas podem permanecer assim, sem nunca serem verbalizados. Por exemplo, ao escrever um e-mail para um colega sênior, pode-se saber implicitamente que é necessário adotar um certo tom.
Muitos sistemas GenAI exigem a especificação de que o e-mail é para um colega sênior e precisa de um tom apropriado. Além disso, muitas vezes exige que uma tarefa seja dividida em subtarefas (“combinar meu conteúdo”, “condensar em dois parágrafos”, “atualizar o tom”). Essa exigência de autoconsciência e decomposição de tarefas é exacerbada por um tipo específico de flexibilidade do modelo na GenAI: os sistemas atuais oferecem muitos parâmetros para os usuários finais ajustarem; esses podem ser parâmetros formais, como a temperatura do modelo, ou uma gama de parâmetros não especificados que podem ser ajustados por meio de prompts de texto (por exemplo, o tom, o nível de detalhes ou a estrutura de um trecho de texto). Essa flexibilidade e controle do modelo oferecidos aos usuários exigem saber o que se deseja alcançar e transmitir isso de forma explícita e eficaz ao sistema.
Estudos recentes com usuários de sistemas GenAI ilustram essas exigências. Em, participantes não especialistas usaram uma ferramenta baseada em LLM para melhorar um chatbot por meio de prompts. Um dos desafios que enfrentaram foi a dificuldade em começar. Zamfrescu-Pereira et al. interpretam isso como uma barreira na fase de design da programação do usuário final, refletindo alguma versão da pergunta implícita: “Eu nem sei o que quero que o computador faça”.
A autoconsciência e a explicitação exigidas pelo prompt também são observadas na escrita apoiada por LLM. Dang et al. definem e comparam o prompt diegético (instruções transmitidas implicitamente quando os usuários inserem texto para o sistema modificar) e o prompt não diegético (instruções explícitas para o sistema). O último é considerado muito mais desafiador pelos usuários, pois “obriga os escritores a mudar de pensar sobre sua narrativa ou argumento para pensar sobre instruções para o sistema”.
Dificuldade semelhante com o prompt não diegético foi observada entre programadores novatos em codificação assistida por IA e designers de manufatura que co-criam com GenAI, que tiveram dificuldade em “pensar antecipadamente no problema de design”.
Essas dificuldades foram exacerbadas pelos muitos parâmetros disponíveis para os usuários, que tiveram dificuldade em compreendê-los e usá-los de forma eficaz. A diferença entre prompts diegéticos e não diegéticos aponta para uma questão mais ampla em torno das interfaces e modos de interação do sistema GenAI e o que eles implicam para a experiência do usuário e para a produtividade. Por exemplo, embora os prompts diegéticos sejam mais fáceis, eles oferecem menos controle do que a alternativa, com preferências que variam entre os usuários. Além disso, a experiência do usuário e a produtividade nem sempre andam de mãos dadas. Por exemplo, sistemas com prompts não diegéticos (por exemplo, ChatGPT) podem ser mais desafiadores e demorados, mas a explicitação que exigem pode plausivelmente atuar como uma função forçadora que, em última análise, treina a autoconsciência metacognitiva e a decomposição de tarefas, levando a resultados de maior qualidade, supondo que os usuários perseverem.
No entanto, sugerimos que existem maneiras mais eficazes e fáceis de usar para apoiar a metacognição. A propósito do treinamento, uma diferença fundamental entre programadores especialistas e não especialistas, e por extensão, entre redatores de prompts especialistas e não especialistas, é uma abordagem explícita para considerar os requisitos da tarefa. Programadores especialistas têm monitoramento e controle metacognitivo avançados, na medida em que são capazes de identificar seus objetivos específicos e decompor esses objetivos em tarefas concretas. Um desenvolvedor descreveu sua estratégia com codificação apoiada por LLM como “ser incrivelmente específico com as instruções e escrevê-las com a mesma precisão com que eu escreveria para um colaborador estúpido”. Da mesma forma, os usuários em que decomporam a tarefa de programação em “microtarefas”, “trabalhos bem compreendidos e bem definidos”, foram capazes de trabalhar de forma eficaz com o Copilot. Além da codificação, os designers de manufatura que aprenderam com sucesso a co-criar com GenAI abstraíram e explicaram o problema para si mesmos.
Observamos que, embora a autoconsciência e a decomposição de tarefas sejam frequentemente necessárias em certa medida ao interagir com sistemas GenAI, sua pertinência aumenta à medida que os usuários concretizam suas intenções de uso (por exemplo, alcançar objetivos profissionais ou pessoais). Por exemplo, os usuários que interagem com sistemas GenAI para entretenimento ou exploração não específicos podem se preocupar menos com sua estratégia de prompt. Ao mesmo tempo, os sistemas que apoiam a metacognição dos usuários podem ajudar a revelar ou esclarecer intenções originalmente ocultas da autoconsciência dos usuários, influenciando assim seus objetivos iniciais ou a falta deles. Por exemplo, os usuários que “brincam” com um sistema podem ser capazes de identificar formas mais concretas ou diversas de brincar para explorar.
Assim, nossa estrutura de demandas metacognitivas é aplicável a muitos casos de uso. De maneira mais geral, não presumimos que as intenções e objetivos dos usuários (ou a falta deles) permaneçam estáticos durante a interação humano-IA e, conforme 4.1.2, sugerimos que os sistemas podem e devem ajudar os usuários a esclarecer suas intenções e objetivos.
Pesquisas futuras devem examinar sistematicamente como a autoconsciência e a capacidade de decomposição de tarefas moderam a capacidade dos usuários de controlar os sistemas em todos os modos de interação (por exemplo, prompts diegéticos vs. não diegéticos), contextos de tarefas (por exemplo, criar uma saída nova vs. editar um artefato existente) e domínios (por exemplo, escrever vs. programar).
3.1.2 Iteração rápida: ajuste da confiança e flexibilidade metacognitiva
Após o prompt inicial, o próximo passo comum é a iteração: avaliar o resultado e ajustar o prompt de acordo. Além de manter a consciência dos objetivos da tarefa, os usuários precisam (Figura 2b):
(a) avaliar o resultado em relação ao prompt,
(b) ajustar sua confiança na capacidade de produzir bons prompts, para separar isso das capacidades do sistema (“Meu prompt é específico e claro o suficiente; os parâmetros do sistema estão definidos adequadamente; o desempenho do sistema é geralmente ruim nessa tarefa; ou este é um resultado probabilístico ‘azarado’?”),
(c) ajustar com flexibilidade sua estratégia de prompt conforme necessário (“Devo ajustar meu prompt, ajustar um prompt anterior, decompor minhas tarefas em subtarefas adicionais, tentar novamente com o mesmo prompt… etc.”?).
A variedade de explicações possíveis para um resultado ruim torna o ajuste da confiança um desafio, e a variedade de adaptações estratégicas possíveis exige alta flexibilidade metacognitiva do usuário. Isso é exacerbado pelo não determinismo da IA Generativa, especialmente quando ajustar um aspecto da solicitação pode alterar involuntariamente um aspecto diferente do resultado. Isso requer manter constantemente a consciência dos objetivos da tarefa diante de resultados em constante mudança, ou correr o risco de se desviar da tarefa por resultados inesperados, como aconteceu com alguns usuários.
Isso é ainda mais exacerbado por um tipo distinto de flexibilidade do modelo nos sistemas GenAI (não confundir com flexibilidade metacognitiva): “[os sistemas de IA generativa] podem gerar resultados plausíveis e corretos para declarações em uma gama extremamente ampla de abstração”, o que apresenta o que Sarkar et al. chamam de problema de “correspondência de abstração difusa”, torna-se difícil para os usuários discernir as capacidades de um sistema e corresponder sua intenção e prompting de acordo. Os participantes tiveram dificuldades com isso. Eles foram incapazes de escolher as instruções de solicitação corretas, esperando incorretamente capacidades humanas; em alguns casos, subestimando as capacidades do sistema; e insistindo em formas socialmente apropriadas, em vez de eficazes, de solicitação.
ZamfrescuPereira et al. interpretam esses desafios como decorrentes de “generalização excessiva a partir de experiências limitadas” e “uma lente social que filtrou as sugestões dos participantes… por meio de expectativas originadas em interações entre humanos”. De uma perspectiva metacognitiva, a generalização excessiva reflete uma confiança mal ajustada; em vez de manter uma confiança adequadamente baixa (sobre suas próprias sugestões) e reunir mais evidências, os participantes tiraram conclusões confiantes com base em evidências limitadas. A insistência dos participantes em uma lente social pode refletir uma falta de autoconsciência de sua abordagem de sugestão, confiança mal ajustada e/ou inflexibilidade em suas estratégias.
Para ser claro, esses desafios decorrem em parte da falta de feedback no sistema sobre a eficácia das sugestões, deixando os usuários lutando com o problema difuso de correspondência de abstração sem suporte. No entanto, o fato de os participantes “terem evitado designs de prompts eficazes mesmo depois que o entrevistador incentivou seu uso e demonstrou sua eficácia” sugere que isso também é, em parte, uma falha metacognitiva em perceber e/ou ajustar seu modelo mental do sistema, sinalizando baixa flexibilidade metacognitiva. Pesquisas futuras devem investigar sistematicamente como diferentes aspectos dos sistemas GenAI, como seu não determinismo e flexibilidade de modelo, afetam a capacidade dos usuários de ajustar sua confiança em sua capacidade de prompt, adaptar com flexibilidade sua estratégia de prompt e atualizar seu modelo mental desses sistemas. Por exemplo, isso poderia examinar como a configuração de temperatura de um modelo influencia a confiança dos usuários e seu ajuste, ou como diferentes níveis de abstração influenciam as estratégias de prompting de usuários inexperientes.
3.2 Avaliar e confiar nos resultados da IA generativa
Avaliar e confiar nos resultados da IA exige que os usuários mantenham uma confiança bem ajustada em sua própria experiência na área e capacidade de avaliar os resultados (ou seja, autoconfiança; Figura 2c). A importância dessa exigência metacognitiva é evidenciada em pesquisas recentes sobre tomada de decisão assistida por IA concluem que, a autoconfiança dos usuários é um determinante fundamental de sua confiança nas respostas da IA, conforme discutido na seção 3.2.1 abaixo.
A confiança nas capacidades do sistema também é importante e provavelmente interage com a autoconfiança, embora aqui nos concentremos na última, pois é um conceito metacognitivo (ou seja, uma avaliação da cognição de alguém por meio do monitoramento metacognitivo). Postulamos que a GenAI exacerba a exigência de uma confiança bem ajustada na avaliação dos resultados. Nesse contexto, isso inclui confiança com “boa” calibração, o que significa que a confiança geral de um usuário na avaliação de seus resultados corresponde com precisão ao desempenho objetivo; e com “boa” resolução, o que significa que a confiança do usuário pode discriminar corretamente um resultado correto. A natureza generativa da GenAI, sua “originalidade”, significa que muitos fluxos de trabalho dos usuários mudarão ou já mudaram da geração de conteúdo para a avaliação do mesmo, como já documentado em programação e design de fabricação. Assim, os usuários devem manter um nível bem ajustado de confiança em sua própria capacidade de avaliar essa saída e não aceitar cegamente o conteúdo gerado. Além disso, a GenAI apresenta desafios únicos para o ajuste da confiança, que discutiremos a seguir.
3.2.1 Avaliação e confiança na saída da IA: ajuste de confiança.
Trabalhos recentes investigaram o papel da autoconfiança na avaliação e confiança nos resultados da IA, embora com modelos discriminatórios, em vez de GenAI. Por exemplo, na tomada de decisões assistida por IA no xadrez, a confiança dos participantes na IA foi significativamente prevista apenas pela sua autoconfiança, e não pela sua confiança na IA. Isso coincide com He et al., descobriram que pessoas com baixo desempenho em uma tarefa de raciocínio lógico tendem a ser excessivamente confiantes, o efeito Dunning-Kruger, levando a uma confiança insuficiente na IA. Lu e Yin mostram que, na ausência de informações sobre a precisão da IA, os humanos confiam em sua concordância com a IA como uma heurística para sua confiança nela, embora apenas quando têm alta autoconfiança.
Estudos mais antigos sobre interação humano-automação demonstraram um papel semelhante para a autoconfiança do usuário em influenciar a confiança na automação. Faltam pesquisas análogas em GenAI que meçam e manipulem explicitamente a autoconfiança do usuário, mas estudos com usuários sugerem um papel-chave semelhante para a confiança bem ajustada na avaliação e confiança na produção.
Os programadores relutavam em revisar e reparar profundamente o código gerado pela IA, preferindo reescrever todo o código eles mesmos. Da mesma forma, designers de manufatura que co-criavam com GenAI estavam incertos sobre como interpretar os resultados e se os usuários ou o sistema eram responsáveis por corrigir erros. Em contrapartida, programadores que estavam altamente confiantes em sua própria capacidade questionavam ativamente o assistente de código de IA quando ele produzia resultados confusos.
O desafio da avaliação dos resultados está presente mesmo em modos de interação sem solicitação do usuário, como no GitHub Copilot, que inclui sugestões automatizadas. Na verdade, esses modos de interação podem tornar a avaliação dos resultados mais desafiadora devido à necessidade de inferir a intenção por trás das sugestões dos sistemas . Os iniciantes em um domínio em GenAI podem ser particularmente vulneráveis, como comentou um participante sobre sugestões de código longo: “se você não sabe o que está fazendo, isso pode confundir você ainda mais”. Dada a importância da autoconfiança dos usuários para avaliar e confiar nos resultados da IA, pesquisas futuras devem medir e manipular a autoconfiança durante as interações entre usuários e GenAI em diferentes modos de interação.
A avaliação dos resultados é relevante para muitos sistemas, como mecanismos de busca, mas vários aspectos da GenAI apresentam desafios únicos, que discutimos a seguir: a extensão dos novos resultados de conteúdo da GenAI, a relativa facilidade de geração de novos conteúdos, os múltiplos modos de falha não intuitivos da GenAI e o desafio de obter medidas objetivas de qualidade para ajustar a confiança em alguns fluxos de trabalho.
A abrangência da produção de conteúdo inovador da AI Generativa
Enquanto pesquisas anteriores se concentraram em recomendações ou decisões explícitas da IA, a GenAI pode produzir conteúdo (muitas vezes extenso), como e-mails completos, apresentações ou software.
Avaliar a qualidade desses resultados torna-se, portanto, muito mais importante e trabalhoso (em termos de carga cognitiva) em comparação com sugestões de frases “autocompletadas” ou preenchimento inteligente de código. Ainda não está claro como isso afetará a autoconfiança dos usuários e sua confiança na IA, mas pesquisas sobre metacognição sugerem que o aumento dos requisitos de esforço pode desencorajar os usuários a fazer uma avaliação adequada.
Ackerman descobriu que o limiar de confiança interna das pessoas para resolver problemas de raciocínio diminui à medida que o esforço necessário aumenta; ou seja, “quando os problemas demoravam mais para serem resolvidos, os participantes pareciam comprometer seu critério de confiança e estavam dispostos a fornecer soluções com menos confiança”. É preocupante que isso persista mesmo quando os participantes têm a opção de desistir e responder “não sei”. Da mesma forma, programadores usuários finais têm sido relatados como “avaliando visualmente” os resultados da IA de consultas em linguagem natural, o que alguns sugerem que pode aprofundar a excessiva confiança que esses usuários têm na precisão de seus programas.
Pesquisas futuras devem examinar como o esforço de avaliar os resultados da GenAI (em termos de comprimento ou complexidade) afeta a autoconfiança dos usuários na avaliação dos resultados, a precisão de sua avaliação e sua confiança final na GenAI.
A relativa facilidade de geração de novos conteúdos
A relativa facilidade com que a GenAI pode produzir resultados extensos também pode afetar a avaliação e a confiança nos resultados por meio de pistas potencialmente enganosas nas quais as pessoas confiam implicitamente para atualizar sua confiança e orientar seu controle metacognitivo subsequente. Um tipo relevante de indício, “fluência de processamento”, “a facilidade subjetiva com que uma tarefa cognitiva é realizada”, pode influenciar a confiança das pessoas na precisão das informações. Por exemplo, as respostas a vários problemas são consideradas mais corretas simplesmente porque são exibidas mais rapidamente aos participantes após as descrições dos problemas. Isso também pode afetar a confiança das pessoas em sua memória: a facilidade com que uma memória é recuperada aumenta a confiança dos participantes em sua lembrança posterior, mesmo que, objetivamente, a recuperação mais fácil tenha sido associada a um pior desempenho da memória no futuro.
Criticamente, esse efeito se estende ao uso da tecnologia: a recuperação mais rápida de informações online aumenta a confiança dos participantes em sua memória subsequente dessas informações, apesar de não haver relação causal aparente entre os dois aspectos. O simples uso da tecnologia, como a pesquisa de informações online, também pode inflar a confiança das pessoas em seus conhecimentos. Analogamente, a capacidade dos sistemas GenAI de gerar conteúdo extenso de forma rápida e fácil pode servir como uma pista que aumenta de forma enganosa a confiança dos usuários, não apenas na saída em si, mas também em sua própria capacidade de avaliá-la.
Mais importante ainda, as mudanças na confiança podem afetar a abordagem das pessoas para avaliar os resultados da GenAI. Ao aumentar a confiança das pessoas, tais sinais podem afetar seu controle metacognitivo, levando-as a diminuir o esforço que investem em um processamento deliberado mais aprofundado, conforme medido pelo tempo de reflexão e mudanças de opinião. A confiança influencia de forma semelhante a dependência de lembretes externos e a busca de informações. Pesquisas futuras devem investigar sistematicamente como aspectos da produção da GenAI (por exemplo, a velocidade com que é produzida ou sua fluência verbal, no caso de texto) podem servir como pistas que influenciam a confiança dos usuários na produção e sua capacidade de avaliá-la, bem como o esforço que eles acabam investindo na avaliação.
Múltiplos modos de falha não intuitivos da GenAI
A confiança dos usuários e sua capacidade de ajustá-la também podem ser desafiadas pelo fato de que as ferramentas GenAI podem ter vários modos de falha, muitas vezes não intuitivos. Por exemplo, elas podem introduzir erros sutis e não intuitivos que um ser humano não introduziria, complicando ainda mais a avaliação. Da forma como está, isso requer o desenvolvimento de uma expertise e uma confiança bem ajustada que seja distinta da expertise de domínio existente, com, por exemplo, “desenvolvedores aprender novas práticas de ofício para depuração”. Além disso, conforme observado, os modelos GenAI são não determinísticos. Isso é indiscutivelmente uma troca necessária nos sistemas GenAI atuais, pois permite a diversidade de resultados, mas exacerba o desafio do ajuste de confiança, especialmente ao trabalhar iterativamente entre o prompt e a avaliação do resultado.
O grau de confiança que os usuários devem ter em sua capacidade de avaliação e quanto esforço devem investir na avaliação depende, em parte, do grau de não determinismo que podem esperar na saída.
De fato, os designers de manufatura que co-criavam com GenAI eram “incapazes de determinar se… as características do design eram intencionais ou causadas por falhas algorítmicas”. De forma mais ampla, conforme 3.1, as falhas na saída podem ser atribuídas às configurações de prompt ou parâmetros do usuário, ou ao não determinismo do sistema ou aos dados de treinamento, sem uma maneira óbvia de separar esses fatores, complicando ainda mais o ajuste de confiança, especialmente para usuários não especialistas. Trabalhos futuros devem examinar como diferentes razões para falhas de saída afetam a capacidade dos usuários de ajustar adequadamente sua confiança em sua capacidade de avaliação e como isso influencia sua avaliação e confiança na saída da GenAI.
Obtenção de medidas adequadas para o ajuste da confiança
Ajustar a confiança na avaliação da produção normalmente requer medidas objetivas de desempenho para comparação (por exemplo, o número de erros que um usuário detectou corretamente na produção), mas a qualidade do conteúdo gerado e seus usos podem ser mais difíceis de avaliar objetivamente (por exemplo, considere como alguém avaliaria objetivamente a qualidade de um e-mail gerado por LLM). Os benefícios do conteúdo gerado também podem ser difusos e indiretos. Por exemplo, os participantes que co-escreveram com um LLM descobriram que ver as sugestões do LLM era útil, mesmo quando não as implementavam. Isso implica subjetividade no fluxo de trabalho que, embora válida, torna difícil ajustar a confiança de cada um.
Mesmo com casos de uso que envolvem subjetividade, como tarefas criativas, os usuários precisam adotar uma estratégia de confiança adequada, o que requer uma confiança bem ajustada. Por exemplo, dada a facilidade de geração de ideias com o GenAI, como os usuários podem ter confiança de que as ideias geradas por esses sistemas são de fato úteis para seu processo de ideação, em vez de apenas parecerem úteis? Trabalhos futuros devem desenvolver medidas objetivas mais variadas da qualidade da produção e explorar como as medidas subjetivas de qualidade fornecidas pelos usuários podem apoiar a capacidade dos usuários de ajustar sua confiança na avaliação da produção (por exemplo, considerando a autoconsistência de seus relatórios).
3.3 Estratégia de automação e fluxos de trabalho com IA generativa
Além das exigências metacognitivas implícitas na interação local com a GenAI, a generalidade da IA Generativa e sua aplicabilidade a uma ampla gama de tarefas, levanta uma questão de nível superior para os usuários finais sobre sua estratégia de automação do fluxo de trabalho: se eles devem “empregar a IA generativa, como e qual é a utilidade de incorporar conteúdos gerados em comparação com as abordagens convencionais”.
Sarkar descreve essa mudança como uma transição da produção para a “integração crítica”, em que “a produção dos sistemas de IA precisará ser integrada a um fluxo de trabalho mais amplo envolvendo ação humana”, um processo que requer avaliação crítica dos resultados. Argumentamos que isso impõe uma exigência metacognitiva distinta aos usuários que devem tomar essas decisões, que apresenta um argumento semelhante para armazenamento e memória digitais.
Ou seja, os usuários devem ter autoconsciência da aplicabilidade e do impacto potencial do uso da GenAI em seu fluxo de trabalho; confiança bem ajustada na capacidade de concluir uma tarefa manualmente em comparação com a GenAI; e flexibilidade metacognitiva na adaptação dos fluxos de trabalho à GenAI (Figura 2d-e). Primeiro, resumimos brevemente as evidências iniciais sobre como a GenAI está impactando os fluxos de trabalho dos usuários e, em seguida, discutimos o papel da metacognição na estratégia de automação do fluxo de trabalho dos usuários.
3.3.1 Impacto inicial da IA generativa nos fluxos de trabalho dos usuários.
Pesquisas sobre fluxos de trabalho GenAI no mundo real, principalmente em codificação assistida por IA, sugerem que ferramentas como o GitHub Copilot alteram os fluxos de trabalho dos usuários de diversas maneiras. Embora muitas mudanças possam ser positivas e relacionadas a aumentos de produtividade, nos concentramos nos desafios para ilustrar a demanda por metacognição. Em uma amostra de estudantes de graduação com experiência em programação, trabalhar com o Copilot em tarefas de programação realistas foi considerado desafiador (embora os participantes ainda o preferissem fortemente).
Mais relevante ainda, a geração de um código longo, especialmente com erros, exigiu que os participantes alternassem entre codificação, leitura e depuração, resultando em uma alta carga cognitiva. Alguns usuários sentiram que o Copilot estava reestruturando negativamente seu fluxo de trabalho, “forçando-os a começar a escrever código antes de chegar a um projeto arquitetônico de alto nível”. Eles também relataram escrever comentários mais longos e com palavras diferentes para o Copilot, que depois passavam tempo apagando (ao contrário dos comentários destinados a humanos). Pesquisas em outros domínios apontam para desafios potenciais semelhantes.
Cientistas de dados destacaram a integração do fluxo de trabalho como uma alavanca de controle fundamental que determinava a utilidade da assistência da IA. A escrita de fluxos de trabalho também muda substancialmente com o ChatGPT, com o tempo do usuário passando da elaboração de rascunhos para a edição, embora os desafios de usabilidade que isso traz ainda precisem ser explorados.
O aumento dos custos de alternância entre tarefas automatizadas e manuais e a reestruturação de tarefas relacionada à automação, muitas vezes de maneiras improdutivas, têm sido estudados no campo da interação humano-automação há décadas como as “ironias da automação”.
O projeto de sistemas automatizados tem aderido às melhores práticas em engenharia de fatores humanos para mitigar o impacto desses desafios em contextos específicos, como a direção. No entanto, os sistemas GenAI atuais apresentam duas diferenças importantes: eles são aplicáveis a uma ampla gama de tarefas e, como resultado, também estão amplamente disponíveis para usuários com diferentes níveis de especialização no domínio, treinamento em sistemas e padronização de fluxo de trabalho, em linha com as tendências mais amplas de automação. Assim, os sistemas atuais transferem a tarefa de gerenciar a estratégia de automação para o usuário, que pode não ter experiência ou treinamento, deixando-o gerenciar sua atenção e reestruturar os fluxos de trabalho como achar melhor — uma exigência metacognitiva distinta da GenAI.
De maneira geral, essas mudanças dizem respeito à compreensão e, em seguida, à adaptação dos fluxos de trabalho. Discutimos cada uma delas abaixo.
3.3.2 Compreender os fluxos de trabalho: autoconsciência e ajuste da confiança.
Uma questão fundamental relacionada à estratégia de automação dos usuários é se uma determinada tarefa deve ser automatizada. A confiança inadequada na GenAI pode resultar em perda de produtividade, aumento do risco de erros ou potencial perda de qualificação.
Os usuários devem, portanto, ter autoconsciência da aplicabilidade da GenAI ao seu fluxo de trabalho e confiança bem ajustada em sua capacidade de concluir a tarefa manualmente em comparação com a GenAI (Figura 2d). Simplificando, isso requer responder a uma versão das seguintes perguntas: eu sei se um sistema GenAI disponível pode ajudar meu fluxo de trabalho; eu sei como trabalhar com ele de forma eficaz no contexto do meu fluxo de trabalho; e qual é o meu nível de confiança nesse conhecimento? Na programação do usuário final, isso é conhecido como o problema do “investimento de atenção”, no qual os usuários devem realizar uma análise de custo-benefício para decidir se os custos potenciais de atenção economizados com a programação de uma tarefa manual superam os custos de atenção da implementação do programa.
Pesquisas iniciais sugerem que alguns usuários, particularmente iniciantes em GenAI e/ou no domínio da tarefa, carecem de autoconsciência suficiente e confiança bem ajustada para trabalhar de forma eficaz com sistemas GenAI. Por exemplo, os estudantes de programação repetidamente passavam tempo editando as sugestões do Copilot antes de abandoná-las e seguir em frente, ou tentavam coagir o Copilot a fornecer uma sugestão correta, dois padrões de interação improdutivos que sugerem uma potencial dependência excessiva da GenAI.
Da mesma forma, alguns programadores menos experientes estavam particularmente entusiasmados com o Copilot e dependiam excessivamente dele antes de tentar manualmente qualquer uma das tarefas por conta própria. Quando comparados com a relativa ausência de tais interações entre desenvolvedores experientes (por exemplo), esses padrões de interação ilustram uma potencial falta de autoconsciência metacognitiva e confiança no gerenciamento de seus fluxos de trabalho.
No entanto, Kazemitabaar et al. não encontraram evidências de dependência excessiva entre programadores iniciantes ao aprender programação usando GenAI. Os relatórios acima se limitam a contextos de estudo curtos, com foco apenas em programação. São necessárias pesquisas mais aprofundadas sobre o impacto da GenAI em fluxos de trabalho realistas, incluindo a compreensão do papel da autoconsciência e da confiança do usuário, particularmente para casos de uso fora da programação. Decidir confiar na GenAI é uma forma de “descarga cognitiva”, o uso de ferramentas externas à mente (por exemplo, calendários) para reduzir a demanda cognitiva de uma tarefa (por exemplo, lembrar-se de um evento).
Com a GenAI, embora a intenção seja frequentemente (mas nem sempre) produzir um artefato externo, muitos processos cognitivos tradicionalmente envolvidos nessa produção são, pelo menos em parte, “transferidos” para a GenAI, como ideação, recuperação de memória e raciocínio. Por exemplo, embora os usuários solicitem aos sistemas instruções para gerar texto, são os sistemas que muitas vezes geram ideias, recuperam informações relevantes e as estruturam em argumentos. Pesquisas psicológicas exploraram como a metacognição afeta as decisões das pessoas de se envolverem em offloading cognitivo e, portanto, podem informar nossa compreensão das demandas metacognitivas pertinentes à estratégia de automação dos usuários. Estudos descobriram que a autoconfiança das pessoas no desempenho de tarefas ou no conhecimento é um forte determinante do uso de lembretes externos e da busca por informações externas.
Ou seja, uma menor autoconfiança nas próprias habilidades está associada a mais sobrecarga cognitiva. Os estudos acima mencionados sobre usuários de GenAI demonstram um padrão semelhante, em que usuários menos experientes eram mais propensos a apresentar padrões consistentes com a dependência excessiva de ferramentas como o Copilot.
Criticamente, estudos sobre sobrecarga cognitiva mostram que, mesmo quando se leva em conta o desempenho objetivo das pessoas em uma tarefa, sua autoconfiança subjetiva ainda influencia a decisão de se envolver em sobrecarga cognitiva. Trabalhos futuros devem explorar como a autoconfiança subjetiva se relaciona com as estratégias de automação dos usuários com a GenAI e como os usuários, particularmente os iniciantes, podem ser apoiados para ter maior autoconsciência e uma confiança bem ajustada para garantir uma confiança adequada na GenAI (ver também §4).
3.3.3 Adaptar os fluxos de trabalho: flexibilidade metacognitiva.
Além da autoconsciência e da confiança, trabalhar com a IA Generativa requer flexibilidade metacognitiva para poder adaptar efetivamente o fluxo de trabalho (Figura 2e). Por exemplo, os usuários devem ser capazes de reconhecer quando e como o uso da IA Generativa interfere em seu fluxo de trabalho, resultando em uma perda de produtividade, e conseguir se ajustar de acordo com a sua percepção. Conforme discutido acima, os desafios enfrentados por alguns usuários do Copilot sugerem um subdesenvolvimento dessa habilidade metacognitiva específica do domínio.
Por outro lado, evidências emergentes sugerem que alguns usuários experientes empregam melhor flexibilidade metacognitiva em seus fluxos de trabalho com a IA Generativa. Por exemplo, alguns usuários com experiência prévia no Copilot o desativam completamente devido à interrupção excessiva de seus fluxos de trabalho.
Em uma Pesquisa em grande escala sobre a usabilidade dos assistentes de programação de IA: sucessos e desafios, 26% dos programadores pesquisados citam a natureza perturbadora das sugestões da IA Generativa e 38% citam a natureza demorada da depuração ou modificação do código gerado como razões “muito importantes” para evitar ferramentas como o Copilot. Certos cientistas de dados expressaram ceticismo semelhante em relação à assistência da IA, particularmente para códigos gerados difíceis de entender.
Da mesma forma, muitos designers de manufatura tiveram dificuldades com a IA Generativa e acabaram evitando-a completamente em seus processos. Outros usuários adotam uma abordagem mais sutil: “Desativei a sugestão automática e isso fez uma enorme diferença. Agora vou usá-la quando souber que estou fazendo algo repetitivo que será fácil de entender, ou se não tiver 100% de certeza do que quero fazer e estiver curioso para saber o que ela sugere. Dessa forma, recebo a ajuda sem que ela interrompa meus pensamentos com suas sugestões”.
De forma mais ampla, apenas cerca de 20-30% das sugestões do Copilot são aceitas pelos usuários. Essa evidência também sugere diferenças relevantes entre as interfaces do sistema e os modos de interação que devem ser consideradas no contexto das demandas metacognitivas e da adaptação dos fluxos de trabalho. As sugestões automatizadas refletem uma integração mais estreita entre o trabalho manual e a IA Generativa, e nenhuma demanda metacognitiva associada ao prompt, mas, mesmo assim, apresentam desafios, como interrupções.
Em contrapartida, as interações baseadas em prompts permitem um maior controle do usuário sobre os fluxos de trabalho, mas apresentam exigências metacognitivas. As sugestões controladas pelo usuário podem ser um meio-termo, mas apresentam seus próprios desafios em termos de inferir a intenção do sistema.
Decidir entre essas abordagens como usuário pode contribuir para a demanda metacognitiva associada à determinação da estratégia de automação. Isso não significa que as abordagens dos usuários para a adaptação do fluxo de trabalho acima sejam necessariamente ideais para a produtividade, mas sim que elas refletem a autoconsciência e a confiança dos usuários experientes sobre como a IA Generativa afeta seu fluxo de trabalho e o exercício da flexibilidade metacognitiva em um esforço para mudar isso. Como Sarkar et al. concluem, essas estratégias ad hoc emergentes sugerem “uma nova carga cognitiva de avaliar constantemente se a situação atual se beneficiaria da assistência do LLM” — uma carga que identificamos como distintamente metacognitiva. Trabalhos futuros devem caracterizar o papel da flexibilidade metacognitiva na adaptação dos fluxos de trabalho de uma pessoa em diferentes interfaces e modos de interação da GenAI.
4. Abordando as exigências metacognitivas da IA generativa
As exigências metacognitivas impostas pela IA Generativa podem ser abordadas de duas maneiras complementares:
(1) melhorando a metacognição dos usuários por meio de estratégias de apoio metacognitivo que podem ser integradas aos sistemas IA Generativa e
(2) reduzindo a exigência metacognitiva dos sistemas de IA Generativa, projetando abordagens adequadas à tarefa para explicabilidade e personalização. A distinção entre as duas abordagens não é clara, mas ajuda a definir o espaço de projeto. Várias linhas de evidência sugerem que a metacognição pode ser melhorada e que indivíduos que recebem apoio em habilidades específicas de monitoramento ou controle metacognitivo podem melhorar significativamente seu desempenho em tarefas que exigem metacognição. Isso se aplica a diferentes faixas etárias (de crianças a adultos), tarefas (por exemplo, compreensão de palestras ou raciocínio matemático), escalas de tempo (ou seja, imediatas e retardadas) e ambientes de aprendizagem (ou seja, solitários e sociais). Assim, intervenções para melhorar a metacognição dos usuários que trabalham com a IA Generativa podem de uma maneira eficaz atender às demandas desses sistemas. Isso inclui incorporar estratégias de apoio metacognitivo, por exemplo, apoiar o planejamento e a autoavaliação dos usuários e diretamente nos sistemas de IA Generativa. As intervenções podem ser adaptadas às habilidades metacognitivas e à experiência com a IA Generativa de cada usuário para fornecer o nível adequado de suporte, fazendo uso produtivo da flexibilidade e generalidade do modelo da IA Generativa.
| Área | Perguntas de pesquisa | Exemplos de medidas de metacognição |
|---|---|---|
| Formulação de Prompt | Como a autoconsciência e a capacidade de decompor tarefas moderam a habilidade dos usuários de controlar sistemas em diferentes modos de interação (por ex., prompting diegético vs. não-diegético), contextos de tarefa (criação vs. edição de conteúdo) e domínios (escrita vs. programação)? | Pensamento em voz alta, auto-relato, microanálise SRL |
| Iteração de Prompt | Como diferentes aspectos dos sistemas GenAI (por exemplo, não determinismo, flexibilidade do modelo) afetam a capacidade dos usuários de ajustar sua confiança em sua habilidade de prompting e adaptar com agilidade e flexibilidade sua estratégia e modelo mental? | Autoavaliações prospectivas de confiança, microanálise SRL |
| Avaliação de Output | Como a autoconfiança dos usuários em um domínio ou com GenAI influencia sua avaliação e confiança nos resultados da IA em diferentes modos de interação? | Autoavaliações prospectivas e retrospectivas de confiança |
| Como a carga cognitiva associada à avaliação de outputs da GenAI (por exemplo, em termos de comprimento ou complexidade) afeta a confiança dos usuários, a precisão de sua avaliação e sua confiança final na IA? | Autoavaliações retrospectivas de confiança, estimativas meta-d' | |
| Como aspectos dos outputs da GenAI (por exemplo, velocidade de produção, fluência do texto) atuam como heurísticas que influenciam a confiança dos usuários na avaliação e no output, bem como a quantidade de esforço investido? | Autoavaliações retrospectivas de confiança, estimativas meta-d' | |
| Como diferentes causas de falhas de output afetam a capacidade dos usuários de ajustar sua confiança e estratégias de avaliação e confiança na GenAI? | Julgamentos prospectivos de aprendizagem, entrevistas retrospectivas | |
| Quais são medidas objetivas úteis de qualidade para outputs longos ou multidimensionais? Como medidas subjetivas dos usuários podem apoiar o ajuste de confiança na avaliação dos outputs? | Autoavaliações de confiança | |
| Compreensão de Fluxos de Trabalho | Como a autoconfiança subjetiva e a autoconsciência em um domínio e/ou no uso de GenAI se relacionam com estratégias de automação dos usuários? | Autoavaliações retrospectivas de confiança, microanálise SRL |
| Adaptação de Fluxos de Trabalho | Qual é o papel da flexibilidade metacognitiva na adaptação dos fluxos de trabalho dos usuários em diferentes interfaces e modos de interação com GenAI? | Microanálise SRL |
Por outro lado, os sistemas de IA Generativa podem ser projetados para reduzir sua demanda metacognitiva. Uma área propícia para essa abordagem é a explicabilidade. O projeto de IA explicável centrada no ser humano (HCXAI) tem sido um foco importante na pesquisa de interação humano-IA, mas a flexibilidade, generalidade e originalidade do modelo dos sistemas de IA Generativa apresentam desafios adicionais. No entanto, essas mesmas características da IA Generativa oferecem uma oportunidade para apoiar a HCXAI, especialmente quando consideradas através das lentes da metacognição. Juntamente com a explicabilidade, a personalização dos sistemas de IA Generativa é outra alavanca para reduzir a demanda metacognitiva.
Os sistemas de IA Generativa atuais fornecem muitos parâmetros aos usuários, tanto explicitamente (como configurações) quanto implicitamente (como estratégias de solicitação). Encontrar maneiras adequadas de revelá-los pode reduzir a demanda metacognitiva. Abaixo, discutimos como melhorar a metacognição dos usuários usando três tipos de estratégias de suporte metacognitivo que podem ser empregadas em sistemas de IA Generativa: planejamento, autoavaliação e autogestão. Depois de discutir a gama de estratégias possíveis para cada tipo de suporte metacognitivo, fornecemos uma imagem mostrando um exemplo hipotético de como elas podem ser usadas em um cenário dentro de um sistema de IA Generativa existente. Em seguida, passamos a discutir como os sistemas podem ser projetados para reduzir a demanda metacognitiva, com foco na explicabilidade e personalização.
Fornecemos exemplos de pesquisas sobre intervenções metacognitivas e estudos de protótipos existentes e sugerimos oportunidades para pesquisas futuras. Por fim, discutimos brevemente a importância de gerenciar a carga cognitiva associada às intervenções metacognitivas.
4.1 Melhorar a metacognição do usuário
4.1.1 Planejamento
O planejamento é uma estratégia metacognitiva orientada para tarefas que envolve tanto a definição de objetivos claros (ou seja, autoconsciência) quanto a elaboração de uma abordagem abrangente para alcançá-los, dividindo-os em etapas menores e mais fáceis de gerenciar (ou seja, decomposição de tarefas). As intervenções relacionadas ao planejamento podem apoiar esses dois aspectos à medida que os usuários trabalham com sistemas de IA Generativa. Conforme discutido abaixo (4.1.2), as intervenções de autoavaliação podem ajudar os usuários a refletir sobre suas metas de tarefas e abordagens para a decomposição de tarefas.
No entanto, as tarefas podem ser complexas ou ambíguas, muitas vezes exigindo a coleta, organização e síntese de informações de maneira não linear, diferente das interfaces conversacionais lineares na maioria dos sistemas de IA Generativa atuais. Por exemplo, as pessoas podem se envolver em um planejamento multinível, em que horas, dias e semanas devem ser considerados simultaneamente. Interfaces mais flexíveis podem apoiar a elaboração de uma estratégia de prompt complexa, permitindo a exploração aberta dos objetivos da tarefa e das relações entre eles durante o processo de planejamento.
O Sensecape é uma interface para LLMs que usa abstração multinível e organização visuoespacial para apoiar a exploração e a construção de sentido durante as interações com LLMs. Sistemas semelhantes têm demonstrado melhorar o planejamento dos usuários e outros processos metacognitivos. Quando aplicadas ao próprio processo de solicitação e avaliação de resultados, essas abordagens podem conscientizar os usuários sobre onde eles estão em uma tarefa.
Elas também podem ajudá-los a codificar informações em esquemas representacionais personalizados, o que pode ajudar os usuários a compreender os mecanismos subjacentes de um sistema de IA Generativa, suas capacidades e pontos de falha.
Essa compreensão, por sua vez, pode mitigar os riscos de avaliação inadequada e confiança nos resultados gerados pela IA. Intervenções relacionadas ao planejamento também podem apoiar os usuários diretamente na decomposição de tarefas, melhorando a eficácia do prompt por meio de instruções mais explícitas e discretas.
Uma abordagem promissora é o “encadeamento de prompts”, que envolve “decompor uma tarefa abrangente em uma série de subtarefas altamente direcionadas, mapeando cada etapa distinta do LLM e usando a saída de uma etapa como entrada para a próxima”.
Além de melhorar a capacidade do LLM de executar tarefas complexas, o encadeamento ajudou os participantes a “pensar melhor na tarefa” e, assim, fazer edições mais direcionadas para melhorar seus prompts.
O encadeamento também aumentou a autoconsciência dos usuários sobre seus objetivos: a capacidade de decompor tarefas levou alguns participantes a criar resultados mais generalizáveis e mais adequados aos seus objetivos mais amplos. O planejamento também pode ajudar os usuários a resolver o problema da “correspondência de abstração difusa”, ou seja, traduzir seus objetivos e intenções em ações executáveis, uma forma de externalização em que o conhecimento “tácito” é transformado em prompts explícitos. Isso pode ser apoiado por meio do design de feedforward (diferente do feedback): convidar uma ação e comunicar exatamente o que o usuário pode esperar como resultado.
Por exemplo, o feedforward pode ser usado para informar aos usuários que um prompt vago e de alto nível provavelmente não alcançará sua tarefa antes que eles a enviem. Como argumentam Vermeulen et al. “quanto mais complexo se torna um sistema ou contexto de interação, maior será a necessidade de feedforward elaborado para ajudar os usuários a atingir seus objetivos”. O encadeamento de prompts é um exemplo de uma abordagem de feedforward sequencial, revelando entradas, saídas e a estrutura de prompts subjacente para os usuários explorarem. No entanto, as informações de feedforward também podem aumentar a carga cognitiva, portanto, o equilíbrio certo, especialmente para sistemas complexos, ainda precisa ser explorado.
A estrutura Prompt Middleware usa feedforward em diferentes níveis de complexidade para orientar os usuários em direção a prompts eficazes e integrar o conhecimento especializado do domínio ao processo. A Figura 3 fornece um exemplo hipotético de uma intervenção metacognitiva focada no planejamento que poderia ser implementada em uma interface conversacional como o ChatGPT. Em vez de exigir uma estrutura de cadeia completa com controle total sobre entradas e saídas, os benefícios do encadeamento poderiam ser obtidos revelando um conjunto relevante de perguntas-chave aos usuários em um formato mais acessível.
4.1.2 Autoavaliação
A autoavaliação envolve permitir que os usuários reflitam sobre seus conhecimentos, estratégias e desempenho, bem como seu respectivo nível de confiança neles. Intervenções que levam os usuários a refletir sobre seus objetivos e estratégias por meio de perguntas ou interfaces conversacionais têm demonstrado melhorar os resultados no local de trabalho, na educação e em outros domínios.
Os sistemas GenAI, com sua flexibilidade e generalidade de modelo, têm o potencial de estimular de forma adaptativa esse tipo de autoavaliação em momentos-chave durante os fluxos de trabalho dos usuários, atuando efetivamente como um coach ou guia para os usuários. A autoavaliação pode ser usada para apoiar solicitações eficazes. Por exemplo, Gmeiner et al. empregaram especialistas humanos para orientar designers durante sua interação com sistemas GenAI; os usuários apreciaram as perguntas críticas que orientaram a autoavaliação e consideraram que isso melhorou as solicitações.
Gmeiner et al. sugerem que os sistemas GenAI podem oferecer proativamente solicitações de autorreflexão semelhantes, sensíveis ao contexto, para ajudar os usuários a refletir sobre os problemas.
As intervenções de autoavaliação podem contar com uma variedade de elementos de design para ajudar os usuários a esclarecer os objetivos de suas tarefas, incluindo aspectos temporais (por exemplo, considerando tarefas anteriores ou cronogramas de projetos mais amplos), comparação (por exemplo, com tarefas semelhantes) e descoberta (por exemplo, por meio da reformulação de tarefas).
A autoavaliação durante a fase de produção pode incluir intervenções que revelam resultados anteriores e pedem aos usuários que “pensem em voz alta” sobre seus processos de pensamento, promovendo a autoconsciência em “tempo real” e ajudando os usuários a detectar alucinações nos resultados da GenAI. Por exemplo, prompts textuais simples que promovem a autoconsciência diminuíram significativamente a suscetibilidade dos participantes a informações incorretas (embora realistas). Da mesma forma, prompts de autoexplicação melhoraram a precisão dos alunos na avaliação de sua própria compreensão das informações.
Os sistemas GenAI também poderiam investigar e responder proativamente à incerteza do usuário. Mesmo incluindo uma opção “não tenho certeza” para usuários que auditam LLMs, isso pode permitir que eles “reflitam sobre a especificação da tarefa e a adequação dos testes considerados”. A autoavaliação é particularmente promissora para aumentar a explicabilidade da GenAI, onde pode ajudar a aumentar a receptividade dos usuários a explicações que buscam atualizar seus modelos mentais dos sistemas GenAI.
Por exemplo, as sondagens de autorreflexão podem pedir aos usuários que reflitam sobre seu modelo mental e a confiança associada.
Os sistemas GenAI também oferecem oportunidades para suporte metacognitivo interativo, incentivando a autoavaliação e sugerindo ajustes nas estratégias metacognitivas com base no contexto. Por exemplo, os sistemas poderiam orientar os usuários de forma interativa pelas etapas de um problema, em vez de simplesmente fornecer uma solução.
De fato, o sucesso da programação em pares muitas vezes decorre da extensa verbalização entre programadores e da autoavaliação resultante, em vez da divisão de tarefas. As interações com sistemas GenAI poderiam replicar isso com um nível semelhante de profundidade reflexiva. Permitir que os usuários avaliem criticamente os resultados da IA pode construir autoconsciência, forçando os usuários a racionalizar suas decisões para o sistema GenAI, aumentar a flexibilidade metacognitiva, fornecendo aos usuários diferentes perspectivas sobre sua tarefa, e ajustar a confiança, adaptando as explicações às necessidades dos usuários e à confiança dos modelos.
Além disso, também pode fornecer feedback crítico aos próprios sistemas GenAI. No entanto, também existem armadilhas potenciais na interatividade. A fluência de processamento pode levar a uma confiança inflacionada sem necessariamente melhorar a precisão objetiva.
O design de interfaces intuitivas para sistemas GenAI pode, portanto, inadvertidamente dar aos usuários uma sensação enganosa de competência, aumentando o risco de erros (da mesma forma discutido em psicologia cognitiva).
Portanto, é necessário considerar cuidadosamente como melhorar a fluência do processamento sem levar ao excesso de confiança, por exemplo, incluindo verificações periódicas que desafiem as suposições ou soluções dos usuários. Isso se refere ao design “consciente”, que leva os usuários a fazer uma pausa ou refletir sobre seu envolvimento com a tecnologia, enfatizando “a configurabilidade, a apropriação do usuário e a revelação da complexidade, ambiguidade ou inconsistência”. A Figura 4 fornece um exemplo hipotético de uma intervenção metacognitiva focada na autoavaliação. Para apoiar um prompt eficaz, o histórico anterior do usuário é aproveitado para fornecer sugestões personalizadas para melhorar um prompt genérico neste caso e, potencialmente, ensinar o usuário a incluir mais detalhes em prompts futuros.
4.1.3 Autogestão
A autogestão envolve o gerenciamento estratégico de variáveis como tempo, configuração e fluxo de trabalho e, portanto, é um foco importante para estratégias de suporte metacognitivo para usuários de GenAI.
Essas considerações não são apenas escolhas arbitrárias, mas podem ser informadas por uma combinação de tendências de telemetria do usuário e solicitações explícitas do usuário.
Ao desenvolver sistemas que reconhecem o contexto, os usuários podem receber conteúdo ou prompts gerados por IA em momentos oportunos durante seus fluxos de trabalho. Por exemplo, os sistemas de assistência à codificação podem detectar quando um usuário está em um estado de fluxo (“aceleração”) ou resolução de problemas (“exploração”), adaptando as sugestões de código de acordo e fornecendo feedback ao usuário.
Da mesma forma, durante tarefas altamente sensíveis ou períodos cruciais, o sistema pode acionar um maior envolvimento do usuário ou exibir lembretes mais salientes para avaliar criticamente a saída gerada pela IA, promovendo a autoconsciência e o ajuste da confiança na saída.
Outra abordagem é projetar a complexidade do conteúdo gerado pela IA de acordo com a carga cognitiva experimentada pelo usuário.
Isso pode envolver adaptações dinâmicas, como reconhecer intenções implícitas, fornecer resumos quando o usuário está sobrecarregado ou aumentar a complexidade quando o usuário demonstra alta proficiência e envolvimento. Apoiar a autogestão de forma eficiente também depende das demandas da tarefa. Por exemplo, pesquisas sugerem que, no contexto da resolução de quebra-cabeças lógicos, tutores inteligentes devem oferecer fluxos de trabalho orientados para trás (por exemplo, usando prompts para incentivar o pensamento sobre a negação da solução real), em vez de se concentrarem em fluxos de trabalho orientados para a frente.
No contexto da ciência de dados, Gu et al. propõem que as ferramentas GenAI podem oferecer “um modo pensar” para sugestões de planejamento específicas, um modo ‘reflexão’ para conectar decisões e destacar possíveis etapas perdidas e um modo ‘exploração’ para sugestões de planejamento de nível superior”.
Decidir quando apresentar qualquer suporte GenAI é outra escolha de design que afeta a autogestão. Na tomada de decisão assistida por IA, Steyvers e Kumar distinguem entre o fornecimento de suporte de IA sob demanda (solicitado pelo usuário) e sequencial (ocorrendo após o usuário tomar uma decisão independente), entre outros.
Além de facilitar o envolvimento em momentos oportunos, presume-se que o paradigma sequencial incentive a reflexão independente por parte do usuário. Park et al. argumentam de forma semelhante que interfaces “mais lentas” permitem especialmente esses benefícios, já que o tempo de espera costuma ser usado para reflexão sobre a tarefa em questão (ver também).
Alternativamente, os fluxos de trabalho podem ser mais dinâmicos. Por exemplo, a patologia requer julgamentos altamente especializados, momento a momento; nesse contexto, a capacidade do usuário de controlar e modificar algoritmos de pesquisa em tempo real pode ser particularmente benéfica.
A Figura 5 fornece um exemplo hipotético de uma intervenção metacognitiva focada na autogestão e na autoavaliação. Durante a codificação, um sistema pode incentivar o usuário a refletir se todos os parâmetros relevantes estão incluídos, verificar se o código complexo é compreendido (especialmente útil se o código foi importado de outras fontes e pode afetar aspectos críticos da operação) ou o contexto mais amplo do trabalho.
Criticamente, ele oferece opções para ignorar a sugestão, agendá-la para mais tarde ou alterar as configurações de proficiência (ou seja, autoconfiança).
4.2 Reduzindo as exigências metacognitivas
Além de melhorar a metacognição dos usuários durante sua interação com a GenAI, os sistemas devem ser projetados para reduzir suas demandas metacognitivas. As áreas-alvo para isso incluem a explicabilidade e a personalização dos sistemas GenAI.
4.2.1 Explicabilidade
Aderimos à definição de explicabilidade como aquilo que permite “que as pessoas compreendam a IA para atingir seus objetivos”. Até este ponto, a seção 3 demonstrou como os usuários tiveram dificuldade em compreender os sistemas GenAI e atingir seus objetivos devido às exigências metacognitivas da GenAI. Nós nos concentramos naqueles que usam os sistemas GenAI como ferramentas em seu fluxo de trabalho (em contraste com, por exemplo, aqueles que se envolvem exclusivamente com os resultados do sistema GenAI ou supervisionam aspectos regulatórios), em linha com a especificidade do contexto da explicabilidade defendida pela pesquisa sobre HCXAI.
Da perspectiva da exigência metacognitiva, ao fornecer informações contextuais e de desempenho juntamente com as entradas e saídas do sistema, a explicabilidade deve ajudar a transferir parcialmente o processamento metacognitivo da mente dos usuários para a interface do sistema. Conforme ilustramos abaixo, as abordagens de explicabilidade podem revelar as informações necessárias para ajustar a confiança na solicitação, avaliação de saída e estratégia de automação.
Além disso, ao fornecer informações acionáveis, a explicabilidade pode permitir a autoconsciência e a flexibilidade metacognitiva dos usuários. A explicabilidade para sistemas de IA Generativa deve ajudar os usuários a ajustar sua confiança em sua capacidade de solicitar, avaliar saídas e determinar sua estratégia de automação, especialmente considerando os múltiplos modos de falha não intuitivos comuns aos sistemas de IA Generativa e outros desafios. Por exemplo, explicações que mapeiam cada aspecto de um resultado para aspectos do prompt (por exemplo, usando visualização de atenção) e comparam isso com exemplos de prompts eficazes que podem ajudar os usuários a separar as questões relacionadas ao prompt daquelas decorrentes do desempenho do modelo, apoiando assim o ajuste da confiança na capacidade de prompt.
Da mesma forma, a “co-auditoria” de um sistema GenAI, revelando as ações passo a passo do modelo (por exemplo, em um software de planilha eletrônica), pode permitir que os usuários entendam exatamente o que está envolvido em um fluxo de trabalho mais longo e ajudá-los a ajustar sua confiança em sua capacidade de avaliação. Por exemplo, uma explicação que introduz conceitos ou terminologia do domínio desconhecidos para os usuários pode sinalizar conhecimento insuficiente do domínio para avaliar essa saída e solicitar mais explicações.
Por fim, indicar a incerteza do modelo, por exemplo, por meio de codificação por cores, e uma explicação para essa incerteza, também pode ajudar os usuários a separar o papel de sua capacidade de avaliação de prompts e resultados da capacidade dos modelos, apoiando ainda mais o ajuste da confiança.
O fluxo de trabalho mais amplo do usuário, que abrange a interação local com a IA Generativa, constitui um contexto de uso importante para a explicabilidade. Para esse fim, explicações globais sobre as capacidades do modelo para uma determinada tarefa podem ajudar os usuários a ajustar sua confiança em sua capacidade de concluir a tarefa manualmente em comparação com o suporte da IA Generativa (ou seja, determinar sua estratégia de automação).
De fato, para a codificação assistida por IA, os usuários solicitaram informações sobre a qualidade geral da saída e o desempenho do tempo de execução. A explicabilidade também pode reduzir a demanda metacognitiva pela autoconsciência e flexibilidade metacognitiva do usuário.
Por exemplo, explicações sobre estratégias eficazes de solicitação para uma determinada tarefa, mais frequentemente solicitadas pelos usuários em um sistema de codificação assistida por IA Generativa, podem ajudar os usuários a traduzir seus objetivos em solicitações acionáveis ou ajustar suas solicitações de maneira flexível (o que pode ser visto igualmente como um apoio às suas habilidades metacognitivas, como no design feedforward).
Além disso, estimativas granulares de incerteza do modelo, como o destaque em nível de linha do código gerado, podem ajudar os usuários a priorizar a avaliação de seus resultados, permitindo assim a flexibilidade metacognitiva. Em suma, todas essas abordagens de explicabilidade visam reduzir a demanda metacognitiva dos sistemas de IA Generativa, permitindo que os usuários tomem ações concretas, incluindo ações de “estado mental” (por exemplo, ajuste de confiança), interações com o sistema (por exemplo, atualização de prompts) ou ações externas ao sistema (por exemplo, concluir uma tarefa sem IA Generativa).
Conforme sugerido em 4.1.2, as abordagens de explicabilidade acima podem ser aumentadas por meio de intervenções de autoavaliação metacognitiva que incentivam a autoconsciência. A GenAI oferece uma oportunidade única de aumentar ainda mais essas intervenções por meio da interatividade, conforme defendido em trabalhos recentes, incluindo especificamente para a IA Generativa.
A interatividade pode ser especialmente importante para a explicabilidade da IA Generativa, pois, devido à flexibilidade, generalidade e originalidade do modelo da IA Generativa, as necessidades de explicação dos usuários serão tão diversas quanto seus casos de uso, resultados e habilidades metacognitivas.
4.2.2 Personalização do sistema
A questão de quanto controle dar aos usuários, personalização do sistema ou quantos “botões” um usuário pode ajustar, é outra escolha de design que pode moderar as demandas metacognitivas da IA Generativa. Por um lado, aumentar a personalização pode aumentar a demanda por autoconsciência (por exemplo, “alguma das configurações é relevante para minha tarefa?”), confiança bem ajustada (por exemplo, “alguma das configurações afetou a qualidade da saída ou está relacionada ao meu prompt?”), decomposição de tarefas (por exemplo, “qual é a ordem correta para ajustar as configurações para cada uma das minhas subtarefas?”) e flexibilidade metacognitiva (por exemplo, “quais configurações devo ajustar para melhorar minha saída, se houver?”).
Isso pode aumentar a carga cognitiva, especialmente para usuários novatos. De fato, em Perry et al. metade dos usuários não ajustou nenhum parâmetro do modelo, embora muitos tenham produzido código inseguro usando um assistente de IA. Para esse fim, a estrutura Prompt Middleware visa reduzir a necessidade de criar prompts do zero, permitindo que os usuários escolham uma personalização limitada. Por outro lado, o aumento da personalização pode apoiar a metacognição, especialmente para usuários mais avançados. Por exemplo, considere a configuração de temperatura, que determina a extensão do não determinismo nas saídas da IA Generativa e, portanto, a probabilidade de alucinações.
Permitir que os usuários alterem essa configuração pode apoiar uma resolução de problemas mais flexível e autoconsciente em usuários experientes, apresentando-lhes perspectivas diferentes e talvez surpreendentes. Permitir que os usuários encontrem uma configuração de temperatura adequada à tarefa, que mantenha o equilíbrio certo entre diversidade e factualidade da saída, ou restringir a factualidade de diferentes maneiras (ou seja, por meio de pós-processamento automatizado e verificação determinística de fatos) poderia, portanto, permitir flexibilidade metacognitiva e autoconsciência. A personalização pode, portanto, aumentar a confiança e a satisfação dos usuários com a saída.
Outras configurações incluem o tamanho da lista restrita da qual a saída é amostrada, bem como o tamanho da própria saída. Aumentar o tamanho da janela de saída pode exigir uma confiança melhor ajustada para avaliar e integrar mais informações. No entanto, também pode apoiar a metacognição ao ajustar esses parâmetros, os usuários podem trabalhar para entender qual parte da saída deve ser usada e como, potencialmente aumentando também a explicabilidade. Autoavaliações iniciais, como, sugerem que, para encontrar as configurações ideais do sistema para uma tarefa, os usuários entram em um ciclo de feedback interativo com modelos, no qual precisam formular claramente seus objetivos (promovendo a autoconsciência), ajustar sua confiança na avaliação da saída e adaptar seu fluxo de trabalho de maneira flexível. É preciso explorar onde está o equilíbrio entre personalização excessiva e insuficiente.
Combinar maior personalização com estratégias de apoio metacognitivo (por exemplo, planejamento, autoavaliação, autogestão) é uma direção promissora para pesquisas futuras.
4.3 Gerenciando a carga cognitiva enquanto lida com demandas metacognitivas
Existe o risco de que as estratégias para lidar com as demandas metacognitivas também aumentem a carga cognitiva, devido às informações adicionais que os usuários precisam processar, como prompts autorreflexivos, um conjunto de submetas resultantes da decomposição da tarefa ou explicações do modelo. A relação entre metacognição e carga cognitiva é uma área de pesquisa ativa, mas é plausível que, embora a carga cognitiva possa aumentar devido aos requisitos de processamento de muitas intervenções de apoio metacognitivo, a melhoria na metacognição possa ser acompanhada por uma redução simultânea e maior na carga cognitiva, resultando em uma diminuição líquida na carga cognitiva. Alguns estudos mostram que o suporte metacognitivo não aumenta a carga cognitiva geral. Mais importante ainda, nossa hipótese é que a melhora na metacognição deve resultar em uma melhora líquida na qualidade da produção. Da mesma forma, propomos que a explicabilidade, ao transferir parcialmente o processamento metacognitivo dos usuários para o sistema, deve reduzir a carga cognitiva associada ao monitoramento e controle metacognitivo. No entanto, isso pode aumentar a carga cognitiva associada ao processamento de explicações. Em relação a este último ponto, verificou-se que algumas explicações interativas aumentam a carga cognitiva. No entanto, em última análise, à medida que os usuários se adaptam a trabalhar com sistemas GenAI explicáveis, nossa hipótese é que o resultado deve ser uma redução líquida na carga cognitiva. Conforme observado acima, a personalização do sistema envolve uma tensão semelhante entre carga cognitiva e metacognição.
| Área | Perguntas de pesquisa | Abordagens sugeridas |
|---|---|---|
| Apoiar a metacognição dos usuários | Como os sistemas GenAI podem aumentar a autoconsciência dos usuários e a decomposição de tarefas durante a criação de prompts? | Explorar prompts de autorreflexão, suporte à decomposição de tarefas, exploração aberta, design feedforward e outras intervenções de planejamento. |
| Como os sistemas GenAI podem incorporar intervenções de autoavaliação para ajudar os usuários a aumentarem sua autoconsciência e ajustarem sua confiança? Isso afeta sua estratégia de automação? | Explorar ativação proativa da incerteza dos usuários, uso de prompts para autoexplicação e reflexão interativa, e apoio ao ajuste da confiança. | |
| Como os sistemas GenAI podem incorporar intervenções de autogestão para ajudar os usuários a determinar sua estratégia de automação e melhorar sua autorregulação e flexibilidade metacognitiva? | Explorar decomposição de tarefas automatizada, detecção do estado do usuário, adaptação dinâmica da complexidade e modos mais estruturados e interativos de uso da GenAI. | |
| Reduzir a demanda metacognitiva | Como a explicabilidade pode reduzir a demanda metacognitiva da GenAI, e qual o impacto de explicações interativas? | Explorar o impacto de explicações interativas em diferentes níveis de complexidade. |
| Como compreender as habilidades metacognitivas dos usuários durante o uso da GenAI pode melhorar as abordagens de explicabilidade e atualização de modelos mentais? | Monitorar habilidades metacognitivas durante interações com GenAI e explorar onde intervenções metacognitivas melhoram a atualização de modelos mentais. | |
| Qual é o equilíbrio ideal entre personalização dos sistemas GenAI e a redução da demanda metacognitiva? Como isso pode ser combinado com estratégias de apoio à metacognição? | Explorar diferentes níveis de personalização de sistemas conforme tarefas e proficiência do usuário, e seu impacto no desempenho e metacognição. | |
| Gerenciar carga cognitiva ao lidar com demandas metacognitivas | Como as intervenções metacognitivas afetam a carga cognitiva à medida que os usuários aprendem a interagir com GenAI ao longo do tempo? As intervenções devem se adaptar ou desaparecer? | Explorar a redução ou adaptação gradual de intervenções conforme aumenta a proficiência metacognitiva e de desempenho. |
| Quais outras formas de otimizar o equilíbrio entre atender às demandas metacognitivas e a carga cognitiva geral? | Explorar gamificação apropriada ao contexto das intervenções metacognitivas. |
Os efeitos do treinamento ao longo do tempo podem ser fundamentais, pois os usuários podem internalizar gradualmente as estratégias metacognitivas, explicações ou configurações de personalização e não precisar mais depender de prompts externos.
Assim, a carga cognitiva relacionada à metacognição deve diminuir, embora não esteja claro se a carga cognitiva associada ao processamento de prompts externos também diminui suficientemente. A esse respeito, descobriu que o desaparecimento adaptativo e gradual das sugestões metacognitivas produziu os maiores benefícios de desempenho, pois proporcionou tempo para os alunos internalizarem estratégias metacognitivas, ao mesmo tempo em que reduziu a carga cognitiva associada ao processamento de sugestões externas agora irrelevantes.
O mesmo pode ser verdade para alguns tipos de explicações (por exemplo, explicações globais). Pesquisas futuras devem estudar como as intervenções metacognitivas afetam a carga cognitiva à medida que os usuários aprendem a interagir com os sistemas GenAI ao longo do tempo e como adaptar ou reduzir as intervenções de maneira ideal ao longo do tempo. Também é importante explorar outras maneiras de otimizar o equilíbrio entre atender à demanda metacognitiva e a carga cognitiva geral (por exemplo, por meio da gamificação). Por último, e talvez de forma um pouco controversa, destacamos o valor da “seamfulness” (contínua) no design de interface para ajudar os usuários a refletir sobre o uso da tecnologia.
Essa ideia pode ser estendida para questionar a “doutrina da simplicidade”, que pressupõe que as interfaces devem ser sempre “fáceis” ou “naturais” de usar. Propomos que algum esforço potencial introduzido por estratégias de apoio metacognitivo e explicações pode ser justificado, desde que estas sejam bem concebidas e atuem, em última análise, no sentido de melhorar a metacognição e a produtividade com a GenAI, uma tecnologia que promete transformar o trabalho pessoal e profissional.
5. Conclusão
Russell propôs que ser alfabetizado na “Era do Google” exigia uma espécie de “metaalfabetização”, saber como ler a interface de pesquisa, como usá-la de forma eficaz e o que é possível pesquisar.
Analogamente, à medida que transferimos mais de nossa cognição para os sistemas IA Generativa atuais, a demanda por nossa metacognição aumenta. Projetar sistemas AI Generativa verdadeiramente centrados no ser humano significa lidar com essas demandas metacognitivas.
Felizmente, um rico conjunto de pesquisas sobre metacognição e HCI de ponta pode dar início a esse esforço. Da mesma forma, a interação com a IA Generativa oferece um paradigma poderoso para avançar nossa compreensão fundamental da metacognição, abrindo caminho para pesquisas interdisciplinares frutíferas. Por fim, reiteramos que a perspectiva da metacognição, quando considerada com as características únicas da IA Generativa, flexibilidade, generalidade e originalidade do modelo, apresenta uma oportunidade para concretizar o que Alan Kay propôs como uma “grande colaboração” com “agentes: processos de computador que atuam como guia, treinador e amanuense”.
Autores:
Lev Tankelevitch (Microsoft Research, Cambridge, United Kingdom)
Viktor Kewenig (University College London, London, United Kingdom)
Auste Simkute (University of Edinburgh, Edinburgh, United Kingdom)
Ava Elizabeth Scott (University College London, London, United Kingdom)
Advait Sarkar (Microsoft Research, Cambridge, United Kingdom)
Abigail Sellen (Microsoft Research, Cambridge, United Kingdom)
Sean Rintel (Microsoft Research, Cambridge, United Kingdom)
Artigo original:
https://dl.acm.org/doi/pdf/10.1145/3613904.3642902
