A falha de alguns economistas… (continuação)

Pensei muito sobre o post de ontem e acredito que alguns pontos abordados podem não ter ficado claros. Abordo esses pontos a seguir.

Primeiro, é importante que fique claro que as evidências de estudos científicos devem auxiliar a análise em Educação, mas sempre colocadas dentro de um contexto. Acompanhei o trabalho desenvolvido por Ricardo Paes de Barros e sei a seriedade com que ele coordenou o estudo, mas algumas causalidades apontadas por ele e, principalmente, a magnitude do impacto dessas medidas que impactam o aprendizado dependem muito da dinâmica e do contexto em que ocorrem. As palavras do pesquisador podem dar a entender que pode haver uma receita (como uma de bolo) para solucionar todos os problemas da Educação brasileira. Mas não há! Acho que nessa linha de argumentação o post de Simon Schwartzman aborda o que eu estou tentando dizer.

Os controles que são utilizados em modelos matemáticos não captam todas as peculiaridades do mundo real, o que faz com que a dinâmica por trás de certos resultados seja muito importante de ser entendida. As pesquisas sobre duração do ano letivo analisadas no estudo de Paes de Barros, por exemplo, abordam sistemas educacionais que estão em um contexto muito diferente do brasileiro. O principal estudo analisado (Schooling and Test Scores: A Mother-Natural Experiment, de Marcotte) aborda o impacto de uma redução do ano letivo em escolas que foram impactas por tempestades de neve. Escolas, provavelmente, com condições de trabalho, currículo e professores muito diferentes dos existentes no Brasil. Mas, com base em estudos internacionais como esse, ele faz a afirmação que consta no vídeo do post anterior.

Vou tentar explicar por meio de alguns exemplos como às vezes a dinâmica por trás de um resultado é muito mais representativa do que o resultado em si.

Vários estudos no Brasil apontam que as políticas de formação continuada não trouxeram grandes ganhos no aprendizado dos alunos. Com base nisso podemos dizer que não devemos melhorar a formação dos professores? Ou devemos tentar melhorar as formações de modo com que elas sejam mais efetivas?

Algumas pesquisas no Brasil mostram que ser negro impacta negativamente o nível de aprendizado de um aluno. Com base nisso podemos extrapolar para qualquer outra região do planeta e dizer que ser negro poderá influenciar o nível de aprendizado de um aluno? Ou podemos entender esse resultado dos estudos nacionais como reflexo de uma dinâmica na sociedade e na escola em que negros talvez possam ser alvo de preconceitos, serem menos estimulados por professores ou até obter resultados mais baixos por questões ligadas à confiança ou à autoestima. Em um país em que a dinâmica da sociedade e das escolas é diferente a situação dos negros em relação ao aprendizado se comparada à situação de pessoas de outra cor / etnia pode ser completamente diferente.

Algo semelhante diz respeito aos resultados que apontam que meninos vão melhor em matemática e meninas melhor em leitura na escola. Por mais que possa existir um fator genético que explique esses achados, boa parte da diferença se deve ao fato de meninos e meninas serem estimulados a terem comportamentos diferentes e a terem uma dinâmica de aprendizagem diferente.

Embora não queira entrar no tema que foi alvo de grande polêmica entre os especialistas, estimar o impacto do aumento de dias no ano letivo brasileiro baseado em estudos internacionais é algo quase impossível de ser feito. Até por que para que esse aumento possa ser o mais efetivo possível deve-se haver um currículo escolar claro, um professor que domine os conteúdos e esteja estimulado, o conteúdo a ser desenvolvido nas aulas deve ser claro aos professores e estruturado, etc. Pois como deixou implícito Simon, infelizmente, não existem medidas milagrosas para que um sistema educacional possa ser bem sucedido.

Read Full Post »

A falha de alguns economistas…

Na última semana repercutiu muito na mídia o dado dizendo que o aumento de dez dias no ano letivo pode elevar o aprendizado do aluno em até 44% no período de um ano. Segundo a imprensa esse é um dos resultados de um estudo do secretário executivo da Secretaria de Assuntos Estratégicos da Presidência da República, Ricardo Paes de Barros.

Como não sei exatamente quais as palavras Ricardo usou e que tipo de informações constavam em sua apresentação sobre o trabalho prefiro não discutir muito sobre o número em si antes de o próprio secretário e pesquisador explicar melhor os resultados de sua pesquisa. Acredito que talvez tenha havido uma falha de comunicação. Parece claro que é impossível um aumento de dez dias no ano letivo por si só aumentar o aprendizado do aluno em um ano em 44%.

Quero comentar a fala do pesquisador que consta no vídeo abaixo. Ricardo Paes de Barros diz: “O nosso trabalho… é saber se (busca saber), efetivamente, se a gente aumentar o ano letivo no Brasil (por exemplo), com os professores que nós temos, com as escolas que nós temos, com o currículo que nós temos, se isso vai melhorar o aprendizado dos alunos”.

Essa frase ao meu ver retrata uma falha de alguns economistas que analisam Educação no Brasil: não entender a limitação dos números. É limitado o número de estudos utilizados pela pesquisa coordenada por Ricardo, mais limitado ainda é o número de pesquisas nacionais (pois poucas passam nos critérios de um trabalho com essa proposta) e, mesmo assim, o pesquisador se propõe a mostrar as medidas em Educação que impactam o aprendizado dos alunos no Brasil e a magnitude (o que é o mais difícil) desse impacto.

Com certeza Ricardo se esforçou ao máximo em sua compilação de estudos para encontrar quais são as medidas que efetivamente impactam o aprendizado dos alunos. Mas, talvez pelo seu grande conhecimento matemático e técnico, o faltou uma maior reflexão sobre se realmente com a base de informações que ele analisou isso era possível. A Educação é um tema muito complexo e sério, e análises pautadas apenas em números e pesquisas (principalmente se apenas internacionais) muito dificilmente serão eficientes.

Por isso que defendo uma maior aproximação entre pesquisadores em Educação das exatas (em sua maioria economistas) e pesquisadores em Educação das humanas (em sua maioria pedagogos), pois se os pedagogos podem ver melhor o panorama da Educação com os dados dos economistas os economistas podem aprender e muito com os pedagogos, profissionais que geralmente estão muito mais próximos dos que devem ser os principais “clientes” de um sistema educacional: os alunos.

Não citando o Ricardo especificamente, mas às vezes me incomoda ver economistas com um conhecimento técnico muito bom, mas que não vivem Educação. Acompanhar cursos de formação de professores, conversar com pedagogos e visitar escolas são práticas que deveriam ser elementares de pesquisadores que apontam tantas causalidades em seus artigos acadêmicos. A matemática em Educação sem a devida reflexão e contextualização dos números é pouco útil.

• Observação 1: para quem não sabe sou graduado em ciências econômicas.
• Observação 2: o próximo post retomará as análises sobre o Enem.

Read Full Post »

Participação das escolas por unidades da federação no Enem

A tabela abaixo apresenta a distribuição nas unidades da federação das escolas que oferecem o Ensino Médio de acordo com a participação de seus alunos no Exame Nacional do Ensino Médio (Enem). Pode se perceber, por exemplo, que em 5,6% das escolas do Acre menos de 10% dos alunos fizeram o exame.

A divulgação das escolas por taxas de participação, que era para ser benéfica, promoveu alguns diagnósticos com distorções. Alguns veículos de comunicação começaram a utilizar nas suas análises apenas os resultados das escolas em que pelo menos 75% dos alunos fizeram a avaliação como se essas representassem as escolas do Brasil como um todo.

O Espírito Santo, que como apontado pela tabela foi o estado em que as escolas tiveram maiores percentuais de alunos que fizeram o Enem, tornou-se um dos alvos das análises distorcidas. Com base em um ranking de estados de acordo com a média das escolas com 75% ou mais participação o estado foi apontado como o último colocado. E o pior, praticamente não se viu questionamentos em relação ao resultado apontado, esquecendo-se que o mesmo Espírito Santo apresentou em 2009 indicadores educacionais para o Ensino Médio superior aos do Brasil e sempre próximo ou até para alguns indicadores superior aos da região Sudeste.

O estado acabou sendo uma vítima do fato de, ao contrário de outros estados, a adesão ao Enem ser alta e com isto a sua média incluir o desempenho de um considerável percentual de alunos que estão entre os que possuem menor nível de aprendizado. Aliás, o jornal que calculou a média no Enem das escolas que pelo menos 75% dos alunos fizeram a prova não se deu nem ao trabalho de ponderar o peso das escolas de acordo com o número de participantes. Uma escola rural em que 12 alunos fizeram a prova, por exemplo, teve o mesmo peso de uma escola em que mais de 100 alunos fizeram a avaliação. 

Costumo geralmente ser mais razoável nas minhas críticas, tentando entender os motivos de alguns problemas e me colocando na posição do criticado. Mas, infelizmente, há algumas coisas que parecem não ter justificativa. Fatos como esse mostram que algo está errado. E não errado com os jornais que publicam matérias distorcidas, mas errado com o principal órgão de dados e pesquisas educacionais do país. Não acredito que não seja possível que os dados sejam divulgados de uma forma que minimize as distorções por parte de jornalistas que, ao contrário dos profissionais do Inep, não são especialistas em estatística. E não sei o que dizer sobre grande parte do Inep ter ficado focada no Enem e de haver um grande alarde antes da divulgação dos resultados do exame sobre o fato de que se consideraria a taxa de participação nas escolas para que, depois, na divulgação dos resultados, vermos apenas uma separação das escolas em quatro arquivos, algo que um estagiário faz em 15 minutos. Acho que uma equipe de especialistas em avaliações educacionais pode apresentar materiais mais ricos.

• Nos próximos posts seguirão sendo apresentados mais dados e análises sobre o Enem.

Read Full Post »

Avaliação do Ensino Médio? Algumas reflexões sobre o Enem e as avaliações externas

Alguns pontos me chamaram a atenção em relação ao Enem e vou destacá-los a seguir. Os pontos abaixo talvez tenham um aspecto mais crítico, no entanto, não se deseja aqui apontar que A ou B não está fazendo um bom trabalho. O Enem e as análises que foram feitas sobre ele têm os seus aspectos positivos, assim como alguns avanços ocorreram na Educação brasileira nos últimos anos, mas apenas nos debruçando sobre os problemas que poderemos avançar.

• Por que tantos veículos da mídia tentam mostrar uma diferença de qualidade entre escolas particulares e públicas maior do que ela realmente é? Como seria o resultado das escolas particulares se elas atendessem um alto percentual de alunos com pais com baixa escolaridade e que possuem poucos insumos educacionais em casa?

• Por que não reconhecemos as limitações de determinadas avaliações e não procuramos verificar de fato o que elas podem apontar? Sabe-se, por exemplo, que a evolução dos alunos brasileiros em avaliações externas foi impactada positivamente pela cultura de avaliações. Isto é, com o aluno já estando acostumado a fazer provas extensas e a ser avaliado ele rende melhor em uma avaliação desse tipo. Muitas vezes esse aspecto é comemorado por especialistas. Claro que esse é um fenômeno positivo e importante, já que para o ingresso ao Ensino Superior será exigido do aluno saber lidar com avaliações com características semelhantes, no entanto, o que realmente importa saber é se o nível de aprendizado dos alunos melhorou, onde melhorou e porque melhorou. Dizer também, por exemplo, que a média do Enem pode cair caso um maior percentual de alunos faça a prova nos próximos anos é reconhecer que os resultados desse ano superestimam o nível de aprendizado dos alunos do Brasil. Por que não dizer isso claramente?

• Por que não há uma divulgação maior em relação às certificações que o Enem fornece a maiores de 18 anos que obtêm mais que 400 pontos em cada uma das quatro áreas do conhecimento avaliadas? Vejo que tendo essa missão de certificar o Enem talvez devesse ter algumas modificações, mas dada a barreira que é apresentada a pessoas que não possuem o Ensino Médio completo não me parece razoável não fazer com que uma informação que poderia auxiliar tantas pessoas chegue a toda a sociedade.

• Se grande parte dos estudiosos concordam que o Enem não é capaz de avaliar o Ensino Médio por que se buscam com base em dados tão simples inferências sobre a qualidade das escolas brasileiras que não são possíveis de se fazer de forma adequada? Detalhando mais algumas informações é possível fazer algumas análises, mas apenas apontando que a média subiu 10 pontos isso não me parece possível.

• Por que algumas análises de algumas avaliações educacionais ficam na mesmice de dizer que “os resultados apontaram que o Brasil está evoluindo, mas em um ritmo lento”? Embora muitas pessoas que eu respeito e admiro façam essa leitura, peço que me desculpem, mas nenhuma avaliação pode nem deve apontar só isso. A pequena evolução nos níveis de aprendizado dos alunos brasileiros apontada, por exemplo, nos resultados da Prova Brasil, é um diagnóstico que poderia muito bem ser feito sem uma avaliação externa. Seria de se estranhar se os resultados mostrassem algo diferente dado o que vemos acontecendo na Educação brasileira. As avaliações ao meu ver servem para esmiuçar onde estão os problemas, poder identificar quais sistemas educacionais estão funcionando, que tipo de política pública provocou um efeito positivo, etc. Com uma academia que pouco influencia políticas públicas e com a não divulgação de dados importantes como, por exemplo, os microdados da Prova Brasil 2009, estamos longe de utilizarmos adequadamente as informações que uma avaliação em larga escala permite que sejam extraídas.

• Se os resultados do Pisa 2009 mostram que os países que mais evoluíram no Pisa conseguiram isso graças à evolução de seus piores alunos e a promoção de uma maior equidade, como queremos estimar a nossa evolução nos próximos anos com base em uma avaliação em que a maioria dos alunos mais vulneráveis e com menor nível de aprendizado não fez a prova?

Nos próximos posts vou começar a apresentar algumas análises sobre o Enem desenvolvidas para matéria da Revista Época que chegou às bancas hoje. As análises mostram que as escolas que mais precisam ser diagnosticadas não são, e como o perfil dos alunos que fazem o Enem é muito distinto do perfil dos alunos que estão no Ensino Médio. As escolas que têm menor participação são as que têm mais alunos atrasados e vulneráveis socialmente, notas mais baixas, etc. Não podemos dizer que uma prova que de certa forma ignora essas escolas e alunos avalia o Ensino Médio.

Read Full Post »