Piri Szabo - gisele@ralcoh.com.br
Diretora Geral do escritório Cambridge English Language Assessment no Brasil
e conta com mais de 29 anos de experiência no ensino e estudo da língua
inglesa.
Partindo do pressuposto de que é possível encontrar no Brasil inúmeras
iniciativas diferentes em relação ao ensino e aprendizado do inglês, é
fundamental considerar a forma de medir a eficácia desses programas – obviamente
há que se levar em consideração a finalidade de cada um deles.
Nós, falantes de português em um continente espanhol, ainda lutamos para
encontrar o caminho certo na atual prática educacional para medir e relatar os
resultados. Como uma profissional de ELT (ensino de língua inglesa), sempre
soube disso, mas essa era apenas uma das muitas questões que eu devia considerar
em minha prática cotidiana.
Olhando para esse cenário, sinto que cada iniciativa deve contar com uma
abordagem abrangente e robusta para medir os resultados (linguísticos e
não-linguísticos) do programa. Não vou apresentar aqui a terminologia comum em
testes de linguagem e avaliação, nem a teoria por trás disso. Prefiro focar no
conceito de "avaliação de resultados", respondendo a 3 questões básicas:
1) Por que devemos avaliar?
2) O que devemos avaliar?
3) Como
devemos avaliar?
1) Por que nós devemos avaliar os resultados?
Em geral, argumenta-se que a mensuração de resultados no ensino de línguas é
difícil, já que se trata de um processo muito individual. Concordo totalmente,
mas esta é exatamente a razão pela qual precisamos monitorar e realizar
avaliações ao longo de todo o processo de aprendizagem. Não podemos correr o
risco de chegar ao final de um ciclo e perceber que o aluno não alcançou as
metas. Infelizmente, esta é uma situação muito comum no Brasil, nos diversos
ambientes educacionais. Isso acontece nas escolas regulares e escolas de
idiomas, seja em iniciativas públicas ou privadas.
Se coletarmos dados
sobre os resultados do processo de ensino e aprendizagem em nossa instituição,
no dia a dia, é possível promover mudanças mais rapidamente caso o programa não
esteja fluindo da forma esperada. Esse processo de monitoramento deve fornecer
informações que nos permita fazer alterações importantes ao longo do percurso.
Medir os resultados com frequência nos permite:
a) Monitorar o
impacto do ensino por meio de metas mensuráveis;
b) Monitorar se nossas
intervenções têm alcançado os resultados planejados e os pontos onde é
necessário mudar de estratégia;
c) Melhorar a qualidade do nosso trabalho e
do planejamento futuro;
d) Compartilhar o aprendizado com toda a organização
e melhorar a qualidade do programa;
e) Assumir a responsabilidade para nós
mesmos;
É muito importante mencionar que, ao se definir os objetivos de
aprendizado e o momento de se avaliar os resultados, deve se considerar quem são
os alunos e onde eles estão em relação aos objetivos que querem atingir. A
aptidão para aprender e orientação para o aprendizado também devem ser levados
em consideração, já que ambos esses pressupostos são centrais na vida dos
estudantes.
2) O que devemos avaliar?
Muito provavelmente todos esperam que eu afirme que devemos avaliar os
resultados linguísticos. Sim, devemos avaliar o conhecimento e desempenho de um
aluno em um determinado domínio, uma vez que este é o principal objetivo do
curso. É fundamental que o que quer que seja que desejemos medir reflita a
finalidade e os objetivos de um determinado programa, ou alternativamente, meça
a competência global em relação à língua.
Mas eu gostaria de destacar a
possibilidade de também avaliar os resultados não-linguísticos. O que o aluno
também desenvolveu durante o processo de aprendizagem que não está diretamente
relacionado com a língua? Estratégias de aprendizagem (envolvimento estratégico
ativo na aprendizagem) de aptidão da língua? Autoconhecimento? Por alguma razão,
não costumamos analisar realmente o quanto as diferenças individuais contribuem
para as diferenças nos padrões de aprendizado de línguas. Definitivamente
acredito que os fatores psicolinguísticos, que exercem uma forte influência
sobre todo o processo de aprendizagem de línguas, deveriam receber mais atenção.
3) Como devemos mensurar?
Podemos medir resultados de maneira formal ou informal. Grande parte do
caminho informal é incorporada em atividades de sala de aula, mas também pode
ser espontânea e não planejada. Já a maneira formal de medir deve ser planejada
e estruturada. Pode ser um teste ou quiz, um conjunto sistemático de observações
da performance oral do estudante, um jornal, um portfólio ou um exame
padronizado. Neste caso, podemos medir a competência global na língua e não nos
limitarmos ao currículo do curso.
Há alguns pontos importantes a se considerar quando se fala em exames
padronizados. Tradicionalmente, consideram-se a validade e a confiabilidade,
mas, hoje em dia, é importante observar um quadro mais completo, que engloba:
validade, confiabilidade, impacto, praticidade e gestão da qualidade.
(Princípios de boa gestão Prática de qualidade e validação de avaliação de
linguagem Janeiro de 2013)
http://www.cambridgeenglish.org/images/22695-principles-of-good-practice.pdf
“A VALIDADE é geralmente definida como a extensão em que uma avaliação
demonstra produzir resultados que são um reflexo preciso do verdadeiro nível de
habilidade do candidato”.
Existe uma preocupação com a adequação e a
significância das inferências feitas ao usar os resultados do teste dentro de um
contexto social ou educacional particular. “A validação é, portanto, o processo
de acúmulo de evidências para apoiar estas interpretações”.
"CONFIABILIDADE se refere ao grau em que os resultados dos testes são
estáveis, consistentes e livres de erros de avaliação."
"IMPACTO: A
avaliação tem importantes consequências no sistema educacional e, de forma mais
abrangente, também sociedade. Esses efeitos são classificados como IMPACTO. Os
candidatos, em particular, são afetados porque os resultados dos testes acabam
servindo como referência para a tomada de decisões importantes, que podem
influenciar suas vidas".
"PRÁTICA: Pode ser definida como a medida em
que a análise é viável, em termos de recursos necessários para produzi-la e
administrá-la, em seu contexto e uso pretendido. Um exame prático é aquele que
não coloca uma demanda irracional dos recursos disponíveis".
"GESTÃO DA
QUALIDADE busca alcançar a adequação ao propósito, fazendo isso de forma
consistente. A qualidade está, portanto, relacionada a todas as políticas,
processos e procedimentos que permitam a uma organização atingir essa adequação.
Qualidade envolve buscar a melhoria contínua, e alcançá-la requer foco em um bom
planejamento, em boa manutenção de registros e em eliminar erros e desperdícios
onde for possível".
Meu objetivo não era discutir a avaliação em
profundidade, mas mostrar a importância da mensuração de resultados. Sei que que
se trata de uma área muito complexa, mas "Falar Inglês" é usado, cada vez mais,
como um dos critérios fundamentais para a educação e o emprego. Com isso, vem
uma enorme responsabilidade para escolas, professores, coordenadores e
diretores. Todos estes devem ser envolvidos no processo de "avaliação de
resultados" e devem obter uma imagem clara e precisa do desempenho do aluno.
Não podemos continuar a ter alunos que estudam inglês por muitos anos e, ao
final do processo, não conseguem se comunicar. Se estamos envolvidos no ensino
de inglês, então somos todos responsáveis e todos devemos estar comprometidos
com a entrega de qualidade e resultados.