Download |
A inteligência artificial generativa (GenIA) está a redefinir o que significa ter acesso a um tutor. Um estudo recente da Universidade da Pensilvânia demonstrou que um sistema que combina chatbot com um algoritmo de aprendizagem por reforço conseguiu melhorar significativamente os resultados dos alunos — sem aumentar o trabalho dos professores.
O problema com os tutores de chatbot
A maior parte das plataformas de tutoria baseadas em GenIA funciona de forma reativa: o aluno faz uma pergunta e o chatbot responde. Embora este modelo tenha valor, a investigação mostra que aprender exige muito mais do que conversas. Os alunos precisam de se confrontar com problemas desafiantes, adequados ao seu nível de conhecimento atual — o que a literatura designa de produtive struggle (luta produtiva), zona de desenvolvimento proximal ou aprendizagem por domínio.
O grande obstáculo dos sistemas existentes era a falta de informação rica sobre o que o aluno realmente sabe. Algoritmos como o Bayesian knowledge tracing apenas usavam sinais binários (certo ou errado), o que é uma aproximação muito grosseira do estado real do conhecimento.
A solução: integrar o chatbot com sequenciação adaptativa
Os investigadores desenvolveram um sistema com três componentes principais:
- Banco de problemas gerado por IA: um modelo de linguagem (GPT-4o) gerava problemas de programação em Python com base nos materiais de aula, validados automaticamente e revistos por assistentes humanos.
- Chatbot tutor incorporado: o tutor estava disponível 24h/7 dias para responder a dúvidas, dar pistas e interpretar mensagens de erro, mas era instruído para não fornecer respostas diretas sem que o aluno demonstrasse esforço.
- Algoritmo de sequenciação personalizada: um sistema de aprendizagem por reforço (baseado num processo de decisão de Markov parcialmente observável — POMDP) selecionava o próximo problema com base numa estimativa contínua do nível de domínio do aluno.
A grande inovação estava na forma como o algoritmo estimava o conhecimento do aluno. Em vez de apenas verificar se a resposta estava certa ou errada, o sistema usava o LLM para analisar as interações do aluno com o chatbot e as edições ao código — distinguindo, por exemplo, alterações meramente cosméticas (formatação) de alterações funcionais que revelam raciocínio.
O estudo: 770 alunos em Taipé
Em parceria com o Governo da Cidade de Taipé e o Instituto Americano em Taiwan, os investigadores implementaram a plataforma num curso de cinco meses para ensinar Python a alunos do secundário em dez escolas. Os 770 participantes foram aleatoriamente divididos em dois grupos:
- Grupo de controlo: sequência fixa de problemas, do mais fácil para o mais difícil.
- Grupo de tratamento: sequência adaptativa determinada pelo algoritmo de aprendizagem por reforço.
Ambos os grupos tiveram acesso ao mesmo chatbot tutor e aos mesmos materiais — a única diferença foi a ordem e seleção dos problemas de prática.
Resultados: equivalente a 6 a 9 meses de escolaridade
Os resultados foram claros: o grupo com sequenciação personalizada obteve uma pontuação 0,15 desvios-padrão superior no exame final presencial — sem recurso a dispositivos digitais. Segundo algumas estimativas da literatura, este ganho é equivalente a seis a nove meses de escolaridade adicional.
Importa destacar que estes ganhos não vieram de:
- Resolver mais problemas (o número de problemas completados foi idêntico nos dois grupos).
- Receber problemas sistematicamente mais difíceis (a dificuldade extra, por si só, não explica a melhoria).
A análise de mediação revelou que os ganhos foram quase inteiramente explicados pelo aumento do envolvimento — medido pelo tempo na plataforma e pelo número de tentativas. Por outras palavras, a sequenciação personalizada manteve os alunos motivados e persistentes ao longo dos cinco meses, superando o chamado efeito de novidade que rapidamente desvanece noutras plataformas digitais.
Quem beneficiou mais?
Os resultados foram especialmente significativos para dois grupos:
- Alunos iniciantes (sem experiência prévia em Python): ganho de 0,215 desvios-padrão, em comparação com um efeito negligenciável para alunos com conhecimento prévio.
- Escolas de nível académico mais baixo: ganho de 0,173 desvios-padrão, superior ao observado nas escolas mais seletivas.
Estes dados sugerem que a tutoria personalizada por IA pode ter um papel relevante na redução das desigualdades educativas, beneficiando mais quem habitualmente fica para trás com métodos tradicionais.
O que isto significa para a educação
Este estudo oferece várias lições para educadores, bibliotecários e profissionais de tecnologia educativa:
- Personalizar a sequência, não apenas o conteúdo: adaptar a ordem e a dificuldade dos exercícios é tão ou mais importante do que personalizar as explicações do chatbot.
- As interações do aluno com a IA são dados valiosos: o que o aluno escreve no chat e como edita o seu código revelam o seu estado de aprendizagem com muito mais precisão do que um simples certo/errado.
- A IA deve guiar proativamente, não apenas responder: o paradigma reativo dos chatbots é insuficiente; o impacto real vem de sistemas que antecipam e dirigem o processo de aprendizagem.
- A carga do professor não aumentou: todos os ganhos foram obtidos sem exigir mais tempo ou esforço dos docentes, o que torna este modelo escalável.
Referência do estudo: Chung, A. T.-H., Zhang, B., Kung, L.-C., Bastani, H., & Bastani, O. (2025). Effective personalized AI tutors via LLM-guided reinforcement learning. Universidade da Pensilvânia / Universidade Nacional de Taiwan.
