Piri Szabo - gisele@ralcoh.com.br
Diretora Geral do escritório Cambridge English Language Assessment no Brasil e conta com mais de 29 anos de experiência no ensino e estudo da língua inglesa.
Diretora Geral do escritório Cambridge English Language Assessment no Brasil e conta com mais de 29 anos de experiência no ensino e estudo da língua inglesa.
Partindo do pressuposto de que é possível encontrar no Brasil inúmeras
iniciativas diferentes em relação ao ensino e aprendizado do inglês, é
fundamental considerar a forma de medir a eficácia desses programas – obviamente
há que se levar em consideração a finalidade de cada um deles.
Nós, falantes de português em um continente espanhol, ainda lutamos para encontrar o caminho certo na atual prática educacional para medir e relatar os resultados. Como uma profissional de ELT (ensino de língua inglesa), sempre soube disso, mas essa era apenas uma das muitas questões que eu devia considerar em minha prática cotidiana.
Olhando para esse cenário, sinto que cada iniciativa deve contar com uma abordagem abrangente e robusta para medir os resultados (linguísticos e não-linguísticos) do programa. Não vou apresentar aqui a terminologia comum em testes de linguagem e avaliação, nem a teoria por trás disso. Prefiro focar no conceito de "avaliação de resultados", respondendo a 3 questões básicas:
1) Por que devemos avaliar?
2) O que devemos avaliar?
3) Como devemos avaliar?
1) Por que nós devemos avaliar os resultados?
Em geral, argumenta-se que a mensuração de resultados no ensino de línguas é difícil, já que se trata de um processo muito individual. Concordo totalmente, mas esta é exatamente a razão pela qual precisamos monitorar e realizar avaliações ao longo de todo o processo de aprendizagem. Não podemos correr o risco de chegar ao final de um ciclo e perceber que o aluno não alcançou as metas. Infelizmente, esta é uma situação muito comum no Brasil, nos diversos ambientes educacionais. Isso acontece nas escolas regulares e escolas de idiomas, seja em iniciativas públicas ou privadas.
Se coletarmos dados sobre os resultados do processo de ensino e aprendizagem em nossa instituição, no dia a dia, é possível promover mudanças mais rapidamente caso o programa não esteja fluindo da forma esperada. Esse processo de monitoramento deve fornecer informações que nos permita fazer alterações importantes ao longo do percurso.
Medir os resultados com frequência nos permite:
a) Monitorar o impacto do ensino por meio de metas mensuráveis;
b) Monitorar se nossas intervenções têm alcançado os resultados planejados e os pontos onde é necessário mudar de estratégia;
c) Melhorar a qualidade do nosso trabalho e do planejamento futuro;
d) Compartilhar o aprendizado com toda a organização e melhorar a qualidade do programa;
e) Assumir a responsabilidade para nós mesmos;
É muito importante mencionar que, ao se definir os objetivos de aprendizado e o momento de se avaliar os resultados, deve se considerar quem são os alunos e onde eles estão em relação aos objetivos que querem atingir. A aptidão para aprender e orientação para o aprendizado também devem ser levados em consideração, já que ambos esses pressupostos são centrais na vida dos estudantes.
2) O que devemos avaliar?
Muito provavelmente todos esperam que eu afirme que devemos avaliar os resultados linguísticos. Sim, devemos avaliar o conhecimento e desempenho de um aluno em um determinado domínio, uma vez que este é o principal objetivo do curso. É fundamental que o que quer que seja que desejemos medir reflita a finalidade e os objetivos de um determinado programa, ou alternativamente, meça a competência global em relação à língua.
Mas eu gostaria de destacar a possibilidade de também avaliar os resultados não-linguísticos. O que o aluno também desenvolveu durante o processo de aprendizagem que não está diretamente relacionado com a língua? Estratégias de aprendizagem (envolvimento estratégico ativo na aprendizagem) de aptidão da língua? Autoconhecimento? Por alguma razão, não costumamos analisar realmente o quanto as diferenças individuais contribuem para as diferenças nos padrões de aprendizado de línguas. Definitivamente acredito que os fatores psicolinguísticos, que exercem uma forte influência sobre todo o processo de aprendizagem de línguas, deveriam receber mais atenção.
3) Como devemos mensurar?
Podemos medir resultados de maneira formal ou informal. Grande parte do caminho informal é incorporada em atividades de sala de aula, mas também pode ser espontânea e não planejada. Já a maneira formal de medir deve ser planejada e estruturada. Pode ser um teste ou quiz, um conjunto sistemático de observações da performance oral do estudante, um jornal, um portfólio ou um exame padronizado. Neste caso, podemos medir a competência global na língua e não nos limitarmos ao currículo do curso.
Há alguns pontos importantes a se considerar quando se fala em exames padronizados. Tradicionalmente, consideram-se a validade e a confiabilidade, mas, hoje em dia, é importante observar um quadro mais completo, que engloba: validade, confiabilidade, impacto, praticidade e gestão da qualidade.
(Princípios de boa gestão Prática de qualidade e validação de avaliação de linguagem Janeiro de 2013) http://www.cambridgeenglish.org/images/22695-principles-of-good-practice.pdf
“A VALIDADE é geralmente definida como a extensão em que uma avaliação demonstra produzir resultados que são um reflexo preciso do verdadeiro nível de habilidade do candidato”.
Existe uma preocupação com a adequação e a significância das inferências feitas ao usar os resultados do teste dentro de um contexto social ou educacional particular. “A validação é, portanto, o processo de acúmulo de evidências para apoiar estas interpretações”.
"CONFIABILIDADE se refere ao grau em que os resultados dos testes são estáveis, consistentes e livres de erros de avaliação."
"IMPACTO: A avaliação tem importantes consequências no sistema educacional e, de forma mais abrangente, também sociedade. Esses efeitos são classificados como IMPACTO. Os candidatos, em particular, são afetados porque os resultados dos testes acabam servindo como referência para a tomada de decisões importantes, que podem influenciar suas vidas".
"PRÁTICA: Pode ser definida como a medida em que a análise é viável, em termos de recursos necessários para produzi-la e administrá-la, em seu contexto e uso pretendido. Um exame prático é aquele que não coloca uma demanda irracional dos recursos disponíveis".
"GESTÃO DA QUALIDADE busca alcançar a adequação ao propósito, fazendo isso de forma consistente. A qualidade está, portanto, relacionada a todas as políticas, processos e procedimentos que permitam a uma organização atingir essa adequação. Qualidade envolve buscar a melhoria contínua, e alcançá-la requer foco em um bom planejamento, em boa manutenção de registros e em eliminar erros e desperdícios onde for possível".
Meu objetivo não era discutir a avaliação em profundidade, mas mostrar a importância da mensuração de resultados. Sei que que se trata de uma área muito complexa, mas "Falar Inglês" é usado, cada vez mais, como um dos critérios fundamentais para a educação e o emprego. Com isso, vem uma enorme responsabilidade para escolas, professores, coordenadores e diretores. Todos estes devem ser envolvidos no processo de "avaliação de resultados" e devem obter uma imagem clara e precisa do desempenho do aluno.
Não podemos continuar a ter alunos que estudam inglês por muitos anos e, ao final do processo, não conseguem se comunicar. Se estamos envolvidos no ensino de inglês, então somos todos responsáveis e todos devemos estar comprometidos com a entrega de qualidade e resultados.
Nós, falantes de português em um continente espanhol, ainda lutamos para encontrar o caminho certo na atual prática educacional para medir e relatar os resultados. Como uma profissional de ELT (ensino de língua inglesa), sempre soube disso, mas essa era apenas uma das muitas questões que eu devia considerar em minha prática cotidiana.
Olhando para esse cenário, sinto que cada iniciativa deve contar com uma abordagem abrangente e robusta para medir os resultados (linguísticos e não-linguísticos) do programa. Não vou apresentar aqui a terminologia comum em testes de linguagem e avaliação, nem a teoria por trás disso. Prefiro focar no conceito de "avaliação de resultados", respondendo a 3 questões básicas:
1) Por que devemos avaliar?
2) O que devemos avaliar?
3) Como devemos avaliar?
1) Por que nós devemos avaliar os resultados?
Em geral, argumenta-se que a mensuração de resultados no ensino de línguas é difícil, já que se trata de um processo muito individual. Concordo totalmente, mas esta é exatamente a razão pela qual precisamos monitorar e realizar avaliações ao longo de todo o processo de aprendizagem. Não podemos correr o risco de chegar ao final de um ciclo e perceber que o aluno não alcançou as metas. Infelizmente, esta é uma situação muito comum no Brasil, nos diversos ambientes educacionais. Isso acontece nas escolas regulares e escolas de idiomas, seja em iniciativas públicas ou privadas.
Se coletarmos dados sobre os resultados do processo de ensino e aprendizagem em nossa instituição, no dia a dia, é possível promover mudanças mais rapidamente caso o programa não esteja fluindo da forma esperada. Esse processo de monitoramento deve fornecer informações que nos permita fazer alterações importantes ao longo do percurso.
Medir os resultados com frequência nos permite:
a) Monitorar o impacto do ensino por meio de metas mensuráveis;
b) Monitorar se nossas intervenções têm alcançado os resultados planejados e os pontos onde é necessário mudar de estratégia;
c) Melhorar a qualidade do nosso trabalho e do planejamento futuro;
d) Compartilhar o aprendizado com toda a organização e melhorar a qualidade do programa;
e) Assumir a responsabilidade para nós mesmos;
É muito importante mencionar que, ao se definir os objetivos de aprendizado e o momento de se avaliar os resultados, deve se considerar quem são os alunos e onde eles estão em relação aos objetivos que querem atingir. A aptidão para aprender e orientação para o aprendizado também devem ser levados em consideração, já que ambos esses pressupostos são centrais na vida dos estudantes.
2) O que devemos avaliar?
Muito provavelmente todos esperam que eu afirme que devemos avaliar os resultados linguísticos. Sim, devemos avaliar o conhecimento e desempenho de um aluno em um determinado domínio, uma vez que este é o principal objetivo do curso. É fundamental que o que quer que seja que desejemos medir reflita a finalidade e os objetivos de um determinado programa, ou alternativamente, meça a competência global em relação à língua.
Mas eu gostaria de destacar a possibilidade de também avaliar os resultados não-linguísticos. O que o aluno também desenvolveu durante o processo de aprendizagem que não está diretamente relacionado com a língua? Estratégias de aprendizagem (envolvimento estratégico ativo na aprendizagem) de aptidão da língua? Autoconhecimento? Por alguma razão, não costumamos analisar realmente o quanto as diferenças individuais contribuem para as diferenças nos padrões de aprendizado de línguas. Definitivamente acredito que os fatores psicolinguísticos, que exercem uma forte influência sobre todo o processo de aprendizagem de línguas, deveriam receber mais atenção.
3) Como devemos mensurar?
Podemos medir resultados de maneira formal ou informal. Grande parte do caminho informal é incorporada em atividades de sala de aula, mas também pode ser espontânea e não planejada. Já a maneira formal de medir deve ser planejada e estruturada. Pode ser um teste ou quiz, um conjunto sistemático de observações da performance oral do estudante, um jornal, um portfólio ou um exame padronizado. Neste caso, podemos medir a competência global na língua e não nos limitarmos ao currículo do curso.
Há alguns pontos importantes a se considerar quando se fala em exames padronizados. Tradicionalmente, consideram-se a validade e a confiabilidade, mas, hoje em dia, é importante observar um quadro mais completo, que engloba: validade, confiabilidade, impacto, praticidade e gestão da qualidade.
(Princípios de boa gestão Prática de qualidade e validação de avaliação de linguagem Janeiro de 2013) http://www.cambridgeenglish.org/images/22695-principles-of-good-practice.pdf
“A VALIDADE é geralmente definida como a extensão em que uma avaliação demonstra produzir resultados que são um reflexo preciso do verdadeiro nível de habilidade do candidato”.
Existe uma preocupação com a adequação e a significância das inferências feitas ao usar os resultados do teste dentro de um contexto social ou educacional particular. “A validação é, portanto, o processo de acúmulo de evidências para apoiar estas interpretações”.
"CONFIABILIDADE se refere ao grau em que os resultados dos testes são estáveis, consistentes e livres de erros de avaliação."
"IMPACTO: A avaliação tem importantes consequências no sistema educacional e, de forma mais abrangente, também sociedade. Esses efeitos são classificados como IMPACTO. Os candidatos, em particular, são afetados porque os resultados dos testes acabam servindo como referência para a tomada de decisões importantes, que podem influenciar suas vidas".
"PRÁTICA: Pode ser definida como a medida em que a análise é viável, em termos de recursos necessários para produzi-la e administrá-la, em seu contexto e uso pretendido. Um exame prático é aquele que não coloca uma demanda irracional dos recursos disponíveis".
"GESTÃO DA QUALIDADE busca alcançar a adequação ao propósito, fazendo isso de forma consistente. A qualidade está, portanto, relacionada a todas as políticas, processos e procedimentos que permitam a uma organização atingir essa adequação. Qualidade envolve buscar a melhoria contínua, e alcançá-la requer foco em um bom planejamento, em boa manutenção de registros e em eliminar erros e desperdícios onde for possível".
Meu objetivo não era discutir a avaliação em profundidade, mas mostrar a importância da mensuração de resultados. Sei que que se trata de uma área muito complexa, mas "Falar Inglês" é usado, cada vez mais, como um dos critérios fundamentais para a educação e o emprego. Com isso, vem uma enorme responsabilidade para escolas, professores, coordenadores e diretores. Todos estes devem ser envolvidos no processo de "avaliação de resultados" e devem obter uma imagem clara e precisa do desempenho do aluno.
Não podemos continuar a ter alunos que estudam inglês por muitos anos e, ao final do processo, não conseguem se comunicar. Se estamos envolvidos no ensino de inglês, então somos todos responsáveis e todos devemos estar comprometidos com a entrega de qualidade e resultados.
Nenhum comentário:
Postar um comentário