Metas que não conversam com a realidade (continuação)

Segue abaixo entrevista que concedi para a jornalista Beatriz Rey, do blog Educação e Pesquisa, sobre as metas do Ideb.

Beatriz (Blog Educação e Pesquisa) – Você aponta diversas falhas das metas do Ideb. Qual seria o pior problema? 

Ernesto – Primeiramente, quero dizer que me ative aos problemas técnicos no texto, então aproveitarei essa entrevista para falar mais sobre as implicações desses problemas na prática. É importante deixar claro que elas são graves. Tenho segurança em dizer que a metodologia utilizada para a construção das metas não poderia ser aprovada sequer em um trabalho de conclusão de graduação. E digo isso sem deixar de respeitar as pessoas que construíram as metas, até por que me parece que, pelo perfil das mesmas, as falhas até são um pouco compreensíveis. O que é inadmissível é não ter havido um debate acadêmico maior a partir da criação do Ideb e de suas metas, principalmente pelo fato de muita gente estar sendo afetada pelos problemas que apontei.

Entre os problemas na formulação das metas talvez o mais grave tenha sido o olhar apenas para o valor do Ideb, sem uma atenção ao que o compõe (taxa de aprovação e desempenho na Prova Brasil). O esforço necessário para aumentar a taxa de aprovação é muito diferente do esforço necessário para melhorar o desempenho na prova. Isso vale para um caso de um Ideb muito baixo, como a Ana Aranha apontou em sua reportagem, mas também vale para casos em que o Ideb é mais alto. Por exemplo, uma rede municipal com um Ideb de 4,0 e com uma taxa de aprovação de 80% tem um desafio diferente de uma rede com um Ideb de 4,0 só que com uma taxa de aprovação de 100%. Se não houver problemas de abandono escolar, nessa rede pode-se aumentar a aprovação de forma unilateral, com “simples canetadas”. O que se costuma chamar de “promoção automática”. Então, não estamos falando de metas que falham com alguns. Os problemas conceituais na construção das metas geraram distorções de uma forma geral.

Beatriz (Blog Educação e Pesquisa) – O que você quer dizer com “pelo perfil das pessoas que fizeram as metas”? 

Ernesto – O criador do Ideb é um economista, e os economistas geralmente acreditam muito na ideia de que as pessoas respondem a incentivos, às vezes se atentando pouco as distorções que uma política pode causar. Além disso, a função logística é usada para prever crescimento em outras áreas (algumas com uma menor complexidade em relação à educação). Faltou para o Inep/MEC procurar saber o impacto que as metas teriam na gestão das escolas e redes, e também faltou um olhar mais atento ao indicador. Mas o chocante é, mesmo com a fragilidade das metas, não ter havido um debate acadêmico.

Beatriz (Blog Educação e Pesquisa) – Sobre a questão sobre o MEC/Inep terem considerado apenas o resultado de 2005 para a construção das metas. Qual seria a solução na época, já que o Ideb foi criado em 2007? Haveria um jeito de ter se calculado um Ideb “retroativo”? 

Ernesto – O Ideb foi criado em 2007 e a Prova Brasil em 2005. Então, antes da aplicação da Prova Brasil 2007 se criou o Ideb, e se calculou o que teria sido o Ideb 2005. A partir dos resultados de 2005 se fez metas para 2007 e para as demais avaliações futuras. Não é possível ter um indicador anterior a 2005 por esse ser o ano da primeira aplicação da Prova Brasil.

Considero que o importante em 2007 era criar um estímulo para as escolas e redes melhorarem em relação a elas mesmas. Havia poucos elementos para se dizer o quanto, pois as escolas e redes ainda tinham pouca familiaridade com a Prova Brasil, e menos ainda com a cultura de metas. Mas o problema dessa questão é mais grave agora, pois o que foi estipulado em 2005 não está fazendo sentido para muitas gestões que estão assumindo. Estão recebendo o que alguns chamariam de “herança bendita” ou “herança maldita”, a depender do patamar de Ideb em 2011 (ano da última avaliação).

Beatriz (Blog Educação e Pesquisa) – Quais as consequências, na prática, para escolas e redes, das outras falhas que você apresenta?

Ernesto – Esses problemas afetaram mais as escolas e redes com baixo ou alto desempenho. Escolas e redes com resultados mais medianos foram pouco afetadas. Pelo fato de a função logística pressupor que no futuro seja possível atingir um Ideb de 9,9, escolas e redes com desempenho alto em 2005 tinham que, pelas metas, evoluir ainda mais em direção a esse objetivo inatingível. Por isso, se vê metas absurdas nos patamares de 8,5 e 9.

Ainda falando sobre as escolas com bom desempenho, é importante se atentar ao fato de que o perfil dos alunos de uma avaliação para outra pode mudar. Por isso, metas muito ambiciosas se tornam um problema, pois geram um incentivo para a escola admitir apenas alunos para os quais é mais fácil garantir o aprendizado. Uma escola não pode ser punida por ter ido bem em uma avaliação, e é isso que se fez com as escolas que foram bem em 2005 ao se esperar que elas deverão sempre evoluir a partir do resultado desse ano. Por outro lado, escolas que foram muito mal em 2005 foram beneficiadas. O absurdo feito de apontar que uma rede que conseguiu um Ideb abaixo de 3,0 nos anos iniciais bateu a sua meta e uma rede que conseguiu um Ideb maior que 7 não bateu acho que já responde a sua pergunta.

Beatriz (Blog Educação e Pesquisa) – Por que essas questões não são mais debatidas? Por que há poucos pesquisadores (ou nenhum) falando sobre o assunto? 

Ernesto – Existem vários determinantes para isso. Primeiramente, vou destacar um: o debate sobre avaliações e uso de dados quantitativos no Brasil. Existe um grupo muito resistente às avaliações em larga escala no país, o que faz com que quem as defenda tenha medo de fazer críticas às mesmas e alimentar o discurso que se opõe a elas.

O grande problema de não colocar mais elementos no debate é que isso faz com que não avancemos no caminho de um sistema robusto de avaliações. Se as metas não conversam com a realidade, se os resultados não orientam o trabalho das escolas, e se o sistema avaliativo é pouco debatido entre os pesquisadores, certamente o investimento com as avaliações é ineficiente. Considero que é inegável a importância das avaliações, e mesmo com todos esses problemas, podemos ver que algumas escolas e redes evoluíram só pelo norte de haver um diagnóstico de como está o aprendizado dos alunos. As contribuições das avaliações e do Ideb, muito mais comunicável do que os resultados da Prova Brasil, são claras. Mas um sistema avaliativo tem que dar muito mais do que alguns números para as escolas e redes.

Há também o argumento de que as implicações dos problemas na formulação das metas são irrelevantes, com o argumento de que não existe uma grande bonificação vinculada ao cumprimento das metas. Primeiramente, esse argumento é equivocado, pois há incentivos que estão associados às metas. Um exemplo, é que a partir do Decreto do Plano De Metas Compromisso Todos Pela Educação, o antigo Programa Dinheiro Direto na Escola (PDDE), em vigor até o início desse ano, estabeleceu em 2007 que “todas as escolas públicas rurais de educação básica recebem uma parcela suplementar, de 50% do valor do repasse, e as escolas urbanas de ensino fundamental que cumpriram as metas intermediárias do Índice de Desenvolvimento da Educação Básica (Ideb) estipuladas também recebem essa parcela suplementar.”

Outro ponto que ilustra a relevância da questão é que, se a meta 7 do Plano Nacional de Educação for aprovada, haverá um incentivo ainda maior em se atribuir mais mecanismos de responsabilização para as escolas e redes. Por fim, o problema também é relevante pois, se eu não espero que as redes e escolas devem atingir o indicado pelas projeções, não posso chamá-las de metas.

Read Full Post »

Metas que não conversam com a realidade*

O Plano Nacional de Educação (PNE), em tramitação e que vem sendo discutido no Senado, estabelece 20 metas que devem ser alcançadas pelo país. Uma delas (a meta 7) se refere ao Ideb, principal indicador de qualidade em educação que possuímos no Brasil. Ela foi elaborada com base nas metas estabelecidas em 2007 pelo Inep/Ministério da Educação à época da criação do Ideb. Naquele momento, também foram estabelecidas metas para os municípios e escolas.

O Ideb auxiliou muito o acompanhamento da qualidade educacional do país, gerando um olhar sobre indicadores de desempenho, por meio da principal avaliação externa do país (a Prova Brasil), e um olhar sobre a importância de garantir um fluxo escolar adequado (colocando na composição as taxas de aprovação escolar, que são muito baixas em algumas regiões do país).

Não deixando de reconhecer esse mérito, o Inep, em 2007, acabou cometendo falhas na hora de definir metas para o Ideb, que tinham o objetivo de verificar se as escolas e redes evoluíam da forma adequada.

As metas do Ideb se atentaram pouco ao contexto educacional das regiões e escolas. Para a construção delas, foi considerado apenas o resultado de 2005, o que trouxe uma influência muito grande do resultado desse ano na avaliação dos resultados seguintes. A rede pública do município de São Sebastião do Alto, no Rio de Janeiro, por exemplo, apresentou um Ideb de 7,3 em 2005 e seu Ideb caiu para 4,8 em 2011. Independentemente disso, a meta do Ideb apresentada para gestão que assumiu em 2013 para esse ano é de um Ideb de 7,9, estabelecido a partir do resultado de 2005.

Outro problema das metas é que algumas premissas da curva logística adotada na construção delas são inválidas. O modelo considera que todos os municípios devem em 2096 atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil. Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6.

Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011.

Outro problema é que não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse estabelecimento, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo. Reportagem de Ana Aranha, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011.

Essa matéria, aliás, aponta, além da importância de se estabelecer um patamar mínimo aceitável, a dificuldade de se estabelecer uma meta agregada para um indicador que une indicadores tão diferentes (taxas de aprovação e resultados em uma avaliação externa). Provavelmente, teria sido mais apropriado fazer metas para esses indicadores separadamente, de modo que a meta agregada fosse a composição das duas individualmente.

Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais estamos no distanciando de 2005. Isso acontece pois, para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo). O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso.

Por tudo isso, é importante garantir um olhar sobre o que ilustra cada pontuação do Ideb, sobre qual patamar qualquer escola poderia atingir e sobre qual é uma pontuação que já pode ser considerada como ilustrativa de qualidade. Os pesquisadores precisam se posicionar sobre essas questões. Essas respostas são necessárias para que tenhamos um norte de se o Ideb precisa ser aprimorado, e para que as metas a partir dele permitam que se atribua de forma justa uma responsabilização pelo cumprimento das mesmas.

No artigo “Como construir metas a partir de um território organizado em ADEs”, publicado pela editora Moderna, escrevi sobre a importância de metas educacionais conversarem com as condições da escola/rede. No caso do Ideb, para efetivamente podermos chamar as projeções elaboradas de metas, é necessário que elas sejam factíveis e desafiadoras para que possam efetivamente orientar uma gestão. Sem isso, teremos apenas mais alguns números que correspondem a objetivos mal desenhados, e que ajudarão para que esse plano de educação seja frágil como o último.

* Artigo escrito para o Blog Educação e Pesquisa.

Read Full Post »