Fonte. Autor: Jean-Claude Domenjoz

A avaliação das políticas educativas é essencial tanto para a sua pilotagem como para o debate público. Por este motivo, é importante que os seus resultados sejam coerentes. Uma caixa de ferramentas desenvolvida pela Ofcom propõe sugestões metodológicas para avaliar o impacto dos projectos educativos nos meios de comunicação social. Os autores académicos românticos podem contribuir para avaliar a pertinência, a eficácia e a eficiência da conceção dos programas curriculares.

A digitalização dos media e das produções culturais, a omnipotência dos media sociais, a desinformação generalizada e a rápida evolução dos usos estão a modificar profundamente a relação com a informação e as habilidades necessárias para entendê-la. É assim que a literacia mediática e informacional, na escola e ao longo da vida, se tornou uma questão vital para a nossa sociedade.

Planos de ação são elaborados tanto pelos poderes públicos quanto pelas organizações da sociedade civil para desenvolver o conhecimento mediático dos jovens e de certas categorias da população, geralmente com o objetivo de limitar os riscos de usos problemáticos dos media, bem como promover boas práticas.

É essencial que os resultados dessas políticas públicas de alfabetização mediática sejam conhecidos. No entanto, entre retórica e realidade muitas vezes há uma grande lacuna.

Avaliação, uma fase essencial na gestão de projetos educacionais

Os projetos educativos não devem fugir aos princípios gerais da boa governação. Devem ser adaptados às legítimas necessidades e expectativas da população em causa, geridos de forma eficaz e eficiente, com preocupação de transparência. O público e as partes interessadas devem ter acesso a toda a informação que lhes permita monitorizar a sua implementação, desde as intenções aos resultados. A participação é a palavra-chave da boa governação.

A gestão bem entendida de qualquer tipo de projeto de qualquer importância é composta por várias fases, organizadas em ciclos, dos quais vale a pena relembrar: identificação e análise do problema, definição dos objetivos, planejamento, execução e avaliação. Isso é bem conhecido, mas muitas vezes podemos observar que a avaliação, fase essencial de qualquer projeto, é omitida ou silenciada.

Qualquer plano de ação visa alcançar um resultado previamente definido e verificável. Não basta definir a intenção, os objetivos visados, os meios necessários para a sua concretização. Ainda precisamos ser capazes de ver os seus efeitos. É o processo de avaliação que permite saber se os recursos comprometidos foram utilizados com sabedoria e fornecer indicações que permitam melhorar o sistema, corrigindo suas deficiências por meio de feedback loops. É por isso que a avaliação deve ser integrada, desde o início, ao longo do processo de desenvolvimento e implementação de um projeto. Um cuidado especial deve ser tomado para comunicar seus resultados e os conhecimentos adquiridos durante a implementação do projeto aos beneficiários e partes interessadas.

A OCDE definiu critérios de avaliação para projetos de ajuda ao desenvolvimento que são frequentemente repetidos. Vale a pena mencioná-los:

> Relevância: em que medida os objetivos e o desenho da intervenção são coerentes com as necessidades do público-alvo e com as prioridades dos agentes e instituições parceiras.

> Eficácia: Grau em que os objetivos e resultados visados ​​pela intervenção foram alcançados ou podem ser alcançados.

> Eficiência: Medição da relação entre os resultados – qualitativos e quantitativos – e os recursos utilizados para obtê-los.

> Impacto: Medida das mudanças positivas ou negativas – no nível social ou individual – que uma intervenção causou voluntariamente ou não, seus efeitos.

> Sustentabilidade: Até que ponto os resultados positivos de uma intervenção são susceptíveis de serem sustentados após o seu término.

Esses critérios muito gerais são a base de uma avaliação séria de projetos de todos os tipos. Eles são bem conhecidos, mas ainda precisam ser implementados.

A necessidade de avaliar os sistemas de formação

A necessidade de avaliar os sistemas de formação é uma preocupação que foi abordada num número do boletim “Politiques de l’éducation et innovations”, intitulado A Avaliação dos Sistemas Educativos , publicado pela Secretaria Geral da Conferência Intercantonal de Educação. de língua suíça e Ticino (CIIP) em março de 2001.

No seu editorial, Martine Brunschwig Graf, então presidente do CIIP, afirmou que as informações produzidas pela avaliação dos sistemas de formação são essenciais para orientá-los e determinar as medidas a serem tomadas para que evoluam favoravelmente. Mas também para que o debate público não se baseie apenas nas avaliações pessoais da população. Especificou que a gestão do sistema formativo Romandie exige “uma avaliação objetiva do modo de funcionamento da escola e dos instrumentos que implementa para servir a formação, a educação, a prevenção e os necessários apoios sociais”.

“ainda não foi feita nenhuma análise da eficácia da introdução do plano de estudos porque o seu desenvolvimento continua”

Diego Erba, secretário-geral do Departamento de Educação e Cultura do Ticino, defendeu, em artigo que nos chamou a atenção, não apenas a necessidade de verificar os resultados obtidos, mas também de comparar as políticas educacionais dos cantões de língua francesa. No entanto, paradoxalmente, apontou a dificuldade, pela resistência aos procedimentos avaliativos do próprio ambiente educacional, dos quais a avaliação dos alunos, porém, “seja somativa, formativa ou certificadora – é praticada no dia a dia como um ferramenta de trabalho”.

Considerando que “a escola já não cabe apenas a professores e pedagogos”, a autora atribuiu três tarefas à avaliação: primeiro “verificar se os objectivos traçados foram alcançados”, depois verificar se o “esforço dos professores e os recursos investidos pelos poderes públicos na formação dos jovens são plenamente satisfatórios”, por fim, disponibilizando informação aos stakeholders de forma a “responder adequadamente às questões colocadas pelos meios políticos, pelos meios de comunicação e pelos pais, questões a que não se pode fugir, ao mesmo tempo momento em que a transparência está a tornar-se um elemento importante na oferta formativa, bem como na gestão política da escola”.

Diego Erba especificou que, a nível escolar, o objetivo da avaliação, tanto qualitativa como quantitativa, é comparar os resultados com os objetivos planeados, a fim de permitir a adaptação de estruturas e programas, se necessário, bem como fornecer pontos de referência aos professores para permitir que eles se situem em relação aos seus colegas, bem como a outros estabelecimentos”. Sublinhou que a participação do corpo docente deve ser privilegiada porque “a escola não é uma empresa e as suas referências são sempre as pessoas, que devem ser informadas, convencidas, associadas a qualquer processo de reforma”.

O secretário-geral do Departamento de Educação e Cultura do Ticino insistiu que a avaliação deve ser “parte integrante de qualquer processo de reforma escolar” e que estão previstos recursos que permitam avaliar e acompanhar desde o início do projeto.

A necessidade de avaliar a relevância, efetividade e eficiência das políticas educacionais acaba de ser destacada, mas como avaliar projetos de media-educação?

Um kit de ferramentas para avaliar projetos de alfabetização mediática

Para apoiar as organizações que implementam iniciativas de alfabetização mediática, o regulador de telecomunicações do Reino Unido (Ofcom) publicou recentemente um conjunto de guias práticos para elas. O Evaluation Toolkit , que faz parte dele, é especialmente voltado para quem é novo na avaliação, “pode ​​ser uma pequena organização de caridade cujo projeto aborda questões relacionadas à desinformação sobre saúde ou uma biblioteca que oferece cursos sobre habilidades digitais básicas para adultos mais velhos. ” Mas a Ofcom enfatiza que, é claro, grandes organizações também poderão beneficiar da consultoria metodológica oferecida.

Depois de recordar todos os benefícios que se podem esperar da integração da abordagem avaliativa no desenvolvimento do projeto desde a sua origem, os autores insistem na importância de avaliar os seus resultados.

Antes de tudo, o seu impacto , que se refere a “mudanças no nível individual ou social que podem ser atribuídas a uma intervenção” – seus efeitos, portanto. O resultado deve ser diferenciado de seu escopo, que se refere a elementos quantitativos, como: o número de oficinas organizadas para os beneficiários, ou o número de downloads dos recursos disponibilizados no âmbito do projeto. O impacto de um projeto de literacia mediática consiste em mudanças qualitativas e culturais, que podem consistir, por exemplo, no “aumento da resistência à desinformação, numa mudança na forma como os participantes consomem informação ou num aumento da criatividade do público no que diz respeito aos media online”. Ainda é necessário implementar os meios para apreender essas disposições e perceber como os beneficiários estão mais críticos e criativos do que antes da intervenção. Assim, melhor equipados para lidar com manobras destinadas a influenciá-los,

Ao nível dos indivíduos, o processo avaliativo deve permitir evidenciar resultados mensuráveis ​​em termos de aumento de conhecimentos, aquisição de novas competências e mudança de atitude, especifica o guia Ofcom.

Este guia vem em boa hora, porque a avaliação muitas vezes é o parente pobre das políticas públicas de educação para a mídia.

A caixa de ferramentas do Ofcom pode ser útil na Suíça francófona?

Quais são as conquistas dos alunos, uma década após a introdução da educação para a mídia (MITIC) no Plan d’études romand?

A formação geral em Media, imagens e tecnologias de informação e comunicação (MITIC) foi introduzida em 2011 no Plan d’études romand (PER). Desde o início do ano letivo de 2013, todo o corpo docente deve lecionar, do 1.º ao 11.º ano, aspetos de media-educação, bem como supervisionar a utilização pelos alunos das ferramentas multimédia nas aulas. No centro do programa, o desenvolvimento gradual do pensamento crítico das crianças e a sua capacidade de decodificar a encenação do conteúdo dos media.

Em março de 2021, o Plan d’études romand (PER) foi revisto para integrar a cultura de TI ao curso de estudo. A nova área disciplinar, denominada Educação Digital, inclui três dimensões: os usos de ferramentas digitais, media educação e informática. Prevê-se que este ensino seja alargado a todas as vertentes do secundário II, tanto do ensino geral como da formação profissional inicial.

Uma vez que a Conférence intercantonale de l’instruction publique de la Suisse romande et du Ticino (CIIP) lançou uma nova fase do seu projeto, é razoável questionar quais os resultados obtidos pelo seu plano de ação após uma década, em particular o que os alunos têm adquiridos em termos de habilidades de media e atitudes em relação aos media.

O estudo Educação na Suíça – relatório 2023 do Centro Suíço de Coordenação de Pesquisas Educacionais (CSRE) diz-nos contra todas as probabilidades que na Suíça francófona “nenhuma análise da eficácia da introdução do plano de estudos PER ainda não pôde ser realizada porque seu desenvolvimento continua”. O argumento deixa dúvidas… A tabela 28 do relatório intitulado “Avaliação externa no âmbito da garantia de qualidade” que classifica os cantões de acordo com a realização ou não dessa avaliação confirma essa realidade.

Não podemos deixar de nos surpreender que uma nova fase no desenvolvimento deste projeto (Educação Digital) tenha sido lançada pela mais alta autoridade educacional da Suíça francófona, o CIIP, sem que nenhuma avaliação tenha sido realizada. É realmente sério? Quando os riscos são tão altos para os jovens e para a sociedade como um todo, como isso é possível?

A oportunidade de saber mais foi-nos dada durante o 3º Romand Media Forum , que aconteceu em 1º de setembro de 2022 em Lausanne. No final da sua apresentação intitulada “A comunicação social na escola”, entrevistámos Pascale Marro, Secretária-Geral do CIIP, para saber se têm sido realizados projetos de avaliação dos alunos que permitam medir os resultados desta política pública.

A Sra. Marro respondeu que o MITIC (Meios de Comunicação, Imagens e Tecnologias de Informação e Comunicação) estando relacionado com uma área relativa às competências transversais, a escola não dá aos alunos provas como o francês ou a matemática. Mas o facto de a educação digital se ter tornado recentemente um campo disciplinar que faz parte do plano de estudos “agora incluído nos horários, vai induzir que será necessariamente necessário encontrar formas de avaliar este tipo de competências e desenvolver ferramentas de desvalorização”.

Assim, como indicou o Secretário-Geral do CIIP, os meios de avaliação das competências dos alunos relativos ao eixo Media da Educação Digital nem sequer foram considerados mais de uma década após a introdução deste ensino (então denominado MITIC) no Plano d ‘études romand. No entanto, o Acordo Intercantonal sobre a Harmonização da Escolaridade Obrigatória de 14 de junho de 2007 ( Concordat Harmos ) da Conferência Suíça dos Diretores Cantonais de Educação Pública (CDIP) fez de facto “monitoramento sistemático, contínuo e cientificamente comprovado de ‘todo o sistema educacional suíço ‘ um instrumento de ‘garantia de qualidade’. O acordo estabelece que “a evolução e o desempenho da escolaridade obrigatória são avaliados regularmente”.

No entanto, sem avaliação é impossível saber o que os alunos adquiriram, saber que mudanças podem ser atribuídas a um projeto educativo a nível individual ou a uma população escolar, perceber o que deve ser modificado para que tenha mais impacto, é mais relevante, eficaz, eficiente e que seus efeitos têm maior probabilidade de perdurar no tempo (viabilidade). Os critérios de avaliação da OCDE que mencionamos acima. Numa palavra, garantir a qualidade do sistema educacional.

No entanto, um artigo publicado no boletim de janeiro de 2020 da Conférence intercantonale de l’Instruction publique de la Suisse romande et du Ticino (CIIP) atesta que este programa só foi aplicado de forma muito incompleta: “A educação para os media sempre sofreu de um problema crónico: as boas intenções oficiais não se concretizam num dispositivo que satisfizesse as necessidades de forma sistemática e metódica […] é um pequeno milagre que consiga produzir alguns frutos meritórios, de que a exibição serve de testemunho tela conveniente para mascarar a fria realidade do terreno escolar: inércia pontuada por impregnações pontuais e sem futuro”. Nestas condições, este projeto educacional só poderia ter até agora efeitos insignificantes (seu impacto).

Na ausência de uma avaliação objetiva e sistemática de seu projeto educacional, é claro que as autoridades escolares francófonas estão a fazer progressos tímidos e sem que as partes interessadas possam discutir validamente os resultados de sua política e informação de educação para os media.

---

Referências
> Organização para a Cooperação e Desenvolvimento Econômico (OCDE), Glossário dos principais termos relacionados à avaliação e gestão baseada em resultados, 2002.
> Conferência Intercantonal sobre Educação Pública na Suíça Francófona e no Ticino (CIIP), A avaliação dos sistemas educacionais, Políticas e inovações educacionais, março de 2001.
> Ofcom, Um kit de ferramentas para avaliar intervenções de alfabetização midiática, 7 de fevereiro de 2023.
> Conferência Intercantonal sobre Instrução Pública na Suíça francófona e no Ticino (CIIP), Educação Geral (FG) – MITIC, Objetivos prioritários .
> Centro Suíço de Coordenação de Pesquisa Educacional (CSRE), Educação na Suíça – relatório 2023, Aarau, 2023.
> Keystone-ATS, Fórum para falar sobre direitos vizinhos e alfabetização midiática, Swissinfo, 1 de setembro de 2022.
> Conferência Suíça de Diretores Cantonais de Educação Pública (CDIP), Acordo Intercantonal sobre a Harmonização da Educação Obrigatória de 14 de junho de 2007 (Concordat Harmos).
> Christian Georges e Anne Bourgoz, Educação para a mídia, para fortalecer a distância crítica dos alunos, Boletim CIIP nº 5 – janeiro de 2020: Rumo à educação digital, Conferência Intercantonal sobre Educação Pública na Suíça francófona e no Ticino (CIIP ), p. 20-22.
Os sites e documentos foram consultados em 15 de abril de 2023

---

Domenjoz J.-C., “A avaliação de projetos de educação para a mídia, um princípio de boa governança”, Educação para a Mídia e Informação [online], 15 de abril de 2023, consulte a data. https://educationauxmedias.ch/evaluation-des-projets-education-aux-medias-principe-une-bonne-gouvernance