O artigo Educadores devem adaptar seus cursos ao uso de IA pelos alunos analisa como os estudantes utilizam ferramentas generativas e oferece diretrizes para integrar IA na aprendizagem.
Com base nos resultados do projeto GENIAL, que estudou como os estudantes utilizam as ferramentas de IA generativa em tempo real, Dorottya Sallai, Jon Cardoso-Silva e Marcos Barreto analisam como os estudantes aplicam essas ferramentas de maneiras distintas em disciplinas qualitativas e quantitativas.
Eles oferecem recomendações sobre como os educadores podem integrar esses achados em seus planos de ensino e avaliação.
Como as ferramentas de IA generativa (GenAI) tornaram-se disponíveis gratuitamente para todos, seu uso no processo de ensino e aprendizagem disparou. Os chatbots e outras ferramentas de aprendizagem baseadas em IA começaram a mudar o cenário educacional no ensino superior, mas essa transformação não foi liderada pelas universidades.
Embora a questão de como a IA afetará as universidades ainda seja uma preocupação urgente para as instituições acadêmicas em todos os lugares, os alunos adotaram as ferramentas de GenAI sem hesitação.
No ano passado, as universidades se viram tomando decisões rápidas sobre como regulamentar as ferramentas de GenAI sem uma base de evidências significativa sobre como os alunos estavam realmente usando essas ferramentas em tempo real.
Para solucionar essa lacuna, decidimos investigar os padrões de aprendizagem de 220 alunos por meio do projeto ‘The GENerative AI Tools as a Catalyst for Learning’ (GENIAL).
Liderada pelo Dr. Marcos Barreto e pelo Dr. Jon Cardoso-Silva, a iniciativa, que começou em setembro de 2023 como um grupo de foco para avaliar a eficácia das ferramentas de geração de código, transformou-se em um projeto multidisciplinar durante o ano acadêmico de 2023-2024 para esclarecer como os alunos usam as ferramentas GenAI em sua aprendizagem.
Coletamos e analisamos dados de quatro cursos de graduação e três de pós-graduação oferecidos pelos Departamentos de Estatística, Ciência de Dados, Administração e Políticas Públicas da LSE, usando uma combinação de pesquisas, sessões de grupos focais, experimentos observacionais e análise de registros de bate-papo.
Os alunos participantes usaram um chatlog exclusivo para todas as consultas relacionadas ao curso e compartilharam seus chatlogs e os resultados correspondentes com a equipe de pesquisa por meio de pesquisas semanais.
Os resultados preliminares sugerem que a maioria dos estudantes participantes estava usando as ferramentas GenAI para concluir tarefas e aumentar sua produtividade. Os alunos usaram a tecnologia com mais frequência com a intenção de “acelerar” a jornada de aprendizagem. Por exemplo, usando chatbots para resumir as leituras necessárias ou solucionar erros de codificação em cursos com muita programação.
Em contrapartida, descobrimos que os alunos só usavam ocasionalmente a GenAI para explorar conceitos, desenvolver sua compreensão ou aprofundar seu aprendizado do assunto. Em vez disso, eles usavam os chatbots predominantemente para interações relacionadas à produção, com a intenção de economizar tempo ao trabalhar em suas tarefas. Como disse um aluno:
[Usando a IA generativa], concluí meu trabalho [e] o enviei duas semanas antes do prazo final. Depois, analisei linha por linha e entendi o que cada linha da solução [de código] faz.
Entretanto, nossa análise também sugere que tentar economizar tempo dessa forma pode ser contraproducente no contexto da aprendizagem. Descobrimos que os alunos só se beneficiavam do envolvimento com as ferramentas GenAI quando entendiam claramente o objetivo da tarefa e tinham uma sólida compreensão dos conceitos subjacentes necessários para concluí-la.
Por exemplo, observamos que os alunos pediram às ferramentas de IA que explicassem como uma estrutura de gerenciamento se aplica a um caso de negócios, o que teria sido uma maneira eficaz de explorar como as teorias poderiam ser usadas na prática. No entanto, em vez de verificar a resposta do chatbot em relação ao material do curso ou de avaliá-la criticamente, os alunos geralmente integravam o resumo gerado pela IA em seu trabalho como ele era, sem nenhuma alteração substancial relacionada ao conteúdo.
Também descobrimos que os alunos enviam códigos gerados por IA em suas avaliações em cursos de estatística e ciência de dados, assumindo erroneamente que a resposta que geraram com a ajuda do chatbot estava correta. Nesses casos, embora o código estivesse sendo executado corretamente, muitas vezes não tinha relação com os objetivos da tarefa e, portanto, não era suficiente para mostrar uma compreensão dos materiais do curso.
Os alunos só se beneficiaram do envolvimento com as ferramentas GenAI quando entenderam claramente o objetivo da tarefa e tiveram uma sólida compreensão dos conceitos subjacentes necessários para concluí-la.
Em cursos quantitativos e qualitativos, descobrimos que o tom convincente e autoritário dos chatbots de IA deu até mesmo aos melhores alunos a impressão de que o resultado era preciso e verdadeiro.
Em alguns cursos, os alunos produziram trabalhos de qualidade inferior quando confiaram demais nos chatbots do que quando não contaram com o “apoio” deles. Isso não é surpreendente, pois os chatbots podem permitir que os alunos imitem uma linguagem de alta qualidade que sinaliza uma falsa impressão de conhecimento sem a compreensão real.
Por exemplo, durante os grupos de discussão do GENIAL, um aluno comentou: “Há uma espécie de ‘dupla finalidade’, portanto, uma delas é, obviamente, tirar notas altas no trabalho e a outra é aprender o que está acontecendo”, o que implica que o processo de aprendizagem em si, às vezes, está em desacordo com a exigência de bom desempenho nas avaliações.
Embora os alunos tivessem uma visão mais mista dos benefícios da GenAI no período de outono, mais de 80% dos alunos de todos os cursos no período de inverno consideraram a IA útil para o aprendizado.
É interessante notar que, em contraste com nossas suposições anteriores, os alunos dos cursos de administração consideraram as ferramentas de IA um pouco menos úteis do que os alunos dos cursos de ciências quantitativas e de dados.
Isso é surpreendente, pois as ferramentas de IA são frequentemente vistas como uma possível ameaça ao futuro das redações. No entanto, nosso estudo sugere que os alunos confiam mais nas ferramentas de IA quando estão tendo dificuldades com a quantidade de materiais de leitura ou com a complexidade do conteúdo do curso e tendem a confiar menos nelas quando o ritmo de entrega e o conteúdo são mais acessíveis para eles.
Como disse um dos alunos de administração:
“O conteúdo desta semana foi bastante simples, e não me vi usando IA”
Leia também ...
O artigo 9 estudos de caso sobre a aplicação da IA na aprendizagem, explora estudos de caso que mostram como...
Com base nessas descobertas preliminares, definimos algumas recomendações práticas de políticas para educadores universitários em relação ao projeto e à avaliação do curso.
Dada a alta probabilidade de os alunos usarem a IA como atalhos, os educadores devem encontrar estratégias para garantir que os estudantes usem essas ferramentas para aprimorar o aprendizado, em vez de contorná-lo.
O que os educadores devem considerar ao elaborar seu currículo?
- Suponha que os alunos estejam usando a GenAI, mesmo que você não saiba.
- Integre atividades não marcadas ao curso e dê aos alunos um feedback que inclua comentários sobre o uso da IA.
- Certifique-se de que a GenAI não seja usada de forma que possa limitar a capacidade dos estudantes de se envolverem totalmente com o currículo. Embora com a GenAI os alunos possam obter resultados significativos, por exemplo, em codificação, com pouca habilidade, é fundamental prepará-los para ir além das soluções favorecidas pela IA.
- Ensine os alunos sobre a importância de localizar fontes primárias de informação e de ser crítico com relação aos resultados produzidos pela IA.
- Evite tentar superar a capacidade de resolução de problemas dos modelos especificando detalhes de tarefas de forma insuficiente. Essas técnicas podem trazer benefícios apenas a curto prazo, pois os modelos futuros provavelmente superarão esses desafios.
- Em cursos com muita codificação, oriente-os sobre como identificar e corrigir problemas e ajude-os a reconhecer que existem alternativas. Procure ensinar conceitos de engenharia de alto nível, criticando as inconsistências das funções geradas por um modelo ou aprendendo a solicitar novamente que um sistema produza resultados mais limpos e consistentes. Essa abordagem pode ajudar os alunos a entender e aplicar os princípios de engenharia.
O que os educadores devem considerar ao elaborar suas avaliações?
- Mapeie o processo pelo qual você acha que seus alunos devem passar enquanto trabalham em suas tarefas e crie um caminho de processo para visualizar os marcos na jornada de aprendizado deles. Esses pontos de controle podem ser usados na avaliação do trabalho dos alunos durante a avaliação.
- Separe o processo de aprendizagem do “produto” avaliado criando avaliações contínuas durante o período ou, se preferir manter o projeto de avaliação no final do curso, integre tarefas na avaliação que exijam a documentação do processo de desenvolvimento ou de raciocínio.
- Encontre maneiras de medir e apoiar a jornada de aprendizado individual dos alunos.
As ferramentas de GenAI facilitam para os educadores a avaliação da compreensão dos alunos e do conhecimento relacionado ao conteúdo durante todo o ciclo de vida do curso. A integração de questionários em sala de aula no início, no meio e no final do período pode ajudar a medir o progresso individual e ser usada no final do período para comparar a nota final dos alunos com suas jornadas de aprendizado.
Autores: Dorottya Sallai, Jon Cardoso-Silva e Marcos Barreto
Fonte: London School of Economics and Political Science
Artigo original: https://bit.ly/3TFxKV5
