METHODS FOR EVALUATING AI CAPABILITIES
Download |
À medida que a inteligência artificial (IA) expande o seu âmbito de aplicações em toda a sociedade, a compreensão do seu impacto torna-se cada vez mais crítica. O projeto IA e o Futuro das Competências (AIFS) da OCDE está a desenvolver um quadro abrangente para medir regularmente as capacidades da IA e compará-las com as competências humanas. Os indicadores de IA resultantes deverão ajudar os decisores políticos a antecipar os impactos da IA na educação e no trabalho.
Este volume descreve a segunda fase do projeto: explorar três abordagens diferentes para avaliar a IA. Em primeiro lugar, o projeto explorou a utilização de testes educativos para a avaliação, pedindo a especialistas em informática que avaliassem o desempenho da IA nos testes da OCDE em leitura, matemática e ciências. Em segundo lugar, o projecto alargou a classificação das capacidades de IA aos testes utilizados para certificar trabalhadores para ocupações. Estes testes apresentam tarefas práticas complexas e são potencialmente úteis para a compreensão da aplicação da IA no local de trabalho. Terceiro, o projeto explorou medidas provenientes de avaliações diretas de IA. Encomendou a especialistas o desenvolvimento de métodos para selecionar medidas diretas de alta qualidade, categorizando-as de acordo com as capacidades da IA e sistematizando-as em indicadores únicos. O relatório discute as vantagens e os desafios da utilização destas abordagens e descreve como serão integradas no desenvolvimento de indicadores de capacidades de IA.
OECD (2023), AI and the Future of Skills, Volume 2: Methods for Evaluating AI Capabilities, Educational Research and Innovation, OECD Publishing, Paris, https://doi.org/10.1787/a9fe53cb-en.
