Uma semana histórica para o Inep

Caros leitores, não publico há algum tempo tempo no blog. Peço desculpas, mas é, felizmente, por estar envolvido na área com muitos projetos do qual me orgulho. No entanto, essa é uma semana em que não posso deixar de escrever.

Lembro-me de uma conversa que tive com o professor presidente do Inep Chico Soares há cerca de um ano, quando iríamos conversar sobre ações no âmbito da parceria do Inep com a Fundação Lemann. Há poucos dias haviam sido divulgados os dados do Ideb 2013, divulgação essa que recebeu críticas por não apresentar de forma separada os resultados de língua portuguesa e de matemática na Prova Brasil na planilha de dados do Ideb. O Chico me disse: “eu quero falar não só com o Ernesto da Fundação Lemann, mas quero falar contigo também enquanto formador de opinião. Você sabe de todos os esforços que a gente está fazendo aqui, de que se os dados atrasam é por que estamos trabalhando mais na consistência deles, em indicadores contextuais, então fala isso quando for dar uma entrevista para um jornalista”.

Foi um puxão de orelha que recebi bem, ainda que os problemas daquela divulgação não se limitassem apenas a aspectos técnicos. Não é difícil reconhecer que nossas altas expectativas às vezes nos fazem ressaltar pouco os avanços. O que vale destacar agora, no entanto, é que essa semana, em especial, não é apenas uma semana para lembrar de alguns avanços. É uma semana para celebrarmos feitos históricos que a gestão atual conseguiu implementar.

Ontem, tivemos uma divulgação de dados do Enem por escola com informações para análise muito interessantes: nível socioeconômico, adequação da formação docente e um indicador de permanência na escola. Sobre a divulgação, o ministro Renato Janine Ribeiro disse hoje, aliás, que, apesar do trabalho da equipe do Inep e dos cuidados que buscaram para contextualizar as médias das escolas, já estavam esperando nas manchetes dos jornais de hoje algo como “Inep enrola, mas solta os dados do Enem”. E não veio algo do gênero. Os jornalistas repercutiram de forma positiva a divulgação e os avanços em indicadores contextuais. E não veio algo do gênero não só por mérito do Inep, mas porque a premissa de que o jornalista não quer ouvir ou só quer publicar dados rasos também não é válida. O jornalista, assim como quer vender jornal, também quer essas informações de contexto para conseguir veicular dados que propiciem uma leitura mais adequada. A credibilidade dele é cara para ele.

Hoje, outro feito. Foi lançado o portal Devolutivas Pedagógicas. O portal, uma iniciativa do Inep com parceria do Todos Pela Educação, da Fundação Lemann, da Abave, do Instituto Unibanco e do Itaú BBA, fornece aos professores uma interpretação pedagógica dos itens da Prova Brasil. Para a interpretação da escala Saeb também são apresentadas as habilidades que os alunos dominam, em um passo além do que faziam até então os descritores das avaliações. Essas habilidades, ou sentenças descritoras, especificam para os itens de língua portuguesa, por exemplo, a operação cognitiva (identificar ou recuperar, por exemplo), o objeto de conhecimento (informação explícita, por exemplo), o contexto (o gênero literário, por exemplo) e um indicador de complexidade textual. Isso tudo dá ao professor muito mais concretude do que é a habilidade medida pela item, propiciando a ele, inclusive, a poder fazer seus itens. Isso tudo dá mais norte ao trabalho do professor no desenvolvimento das habilidades de seus alunos.

A divulgação contextualizada de uma avaliação como o Enem, que por tantas vezes já recebeu leitura inadequada dos dados, e um portal que caminha na direção de fazer as avaliações do Saeb contribuírem pedagogicamente de forma efetiva fazem dessa uma semana histórica. Parabéns, Chico Soares, parabéns, Helber Vieira, e parabéns a todos os técnicos do Inep e parceiros que estão contribuindo para que a educação brasileira trilhe um caminho de ações e análises a partir de evidências.

Read Full Post »

Os resultados do Ideb 2013: choque de realidade

Para começar a discussão sobre os resultados do Ideb 2013, divulgados ontem (05/09) pelo Ministério da Educação, compartilho artigo que Denis Mizne, diretor executivo da Fundação Lemann, e eu escrevemos para o jornal O Estado de S. Paulo.

 

Choque de realidade

Alcançar o Ideb projetado para 2021 nunca pareceu tão difícil para o Brasil. Enquanto as metas ficam mais ambiciosas, o indicador avança pouco no Ensino Fundamental e permanece estagnado no Ensino Médio. Os avanços já eram pequenos em 2011, mas ao não bater as metas estabelecidas em duas das três etapas, enfrentamos agora o choque de realidade. Destrinchando um pouco o indicador e olhando para os seus dois componentes – taxas de aprovação e aprendizagem – vemos ainda que as metas não batidas se devem ao fato de que a maioria dos alunos não está aprendendo (a aprovação melhorou; são as notas na Prova Brasil que caíram ou não melhoraram).

Um ponto merece atenção na análise dos resultados: o desempenho dos alunos nos anos iniciais, como regra, tem sido o teto para o desempenho nas etapas seguintes. Nosso sistema educacional não tem mecanismos estruturados para garantir que os alunos que não aprenderam português e matemática no início da vida escolar consigam superar essa defasagem e seguir com sucesso seu percurso.

Os dados refletem um cenário onde temos, reconhecidamente, muito esforço – mas ainda pouco foco na aprendizagem e no que acontece em sala de aula. Boa parte do debate público educacional recente foi centrado no percentual do PIB ou nos recursos do pré-sal que seriam destinados à educação. Não existe o mesmo engajamento e mobilização para discutir as práticas escolares e as reformas estruturantes que fazem a diferença para o aluno efetivamente aprender.

Temos agora a oportunidade – e o desafio – de usar estes resultados para acelerar as mudanças necessárias. Uma prioridade é avançar na definição do que é essencial que os alunos aprendam, construindo uma Base Nacional Comum de altas expectativas, que seja clara e concisa, e que ajude a alinhar e organizar o sistema educacional. Uma segunda mudança urgente é conseguir preparar os nossos professores para garantir o aprendizado dos alunos. Para isso, os cursos de formação inicial e continuada precisam se voltar mais para a prática e o desenvolvimento destes profissionais terá que incluir mais apoio contínuo e orientação. Por fim, é necessário criar mecanismos para que as redes e escolas com mais dificuldades também consigam avançar. Por exemplo, incentivando a troca com aqueles que estão conseguindo bons resultados e destinando mais recursos para os que mais precisam.

Read Full Post »

Excelência com Equidade: um estudo quantitativo com base nos dados da Prova Brasil

Hoje, dia 4 de setembro, é lançado o estudo quantitativo da pesquisa Excelência com Equidade, desenvolvida pela Fundação Lemann com apoio do Itaú BBA. O trabalho buscou analisar o que 215 escolas que conseguiram ótimos resultados com alunos de baixo nível socioeconômico apresentam como diferenciais, de acordo com modelos estatísticos feitos a partir de dados da Prova Brasil e do Censo Escolar.

O relatório completo da pesquisa, com os resultados do relatório qualitativo divulgado em dezembro de 2012 e do quantitativo divulgado agora, podem ser acessados aqui: http://fundacaolemann.org.br/uploads/estudos/excelencia_com_equidade_qualitativo_e_quantitativo.pdf

Algumas análises do estudo também foram apresentadas em reportagem do jornal O Globo, da Agência Brasil, além de terem sido repercutidas no editorial do jornal O Estado de S. Paulo do último domingo, dia 31 de agosto.

O estudo qualitativo da pesquisa nos permitiu identificar as práticas e estratégias comuns das escolas que passaram pelos critérios, enquanto o estudo quantitativo procurou mapear as características dessas 215 unidades que podem explicar o sucesso e as ações que conseguiram implementar. Listo abaixo as principais conclusões do estudo.

 

O quê? — Quatro práticas comuns às escolas que conseguem garantir o aprendizado de todos os alunos

• Definir metas e ter claro o que se quer alcançar
• Acompanhar de perto – e continuamente – o aprendizado dos alunos
• Usar dados sobre o aprendizado para embasar ações pedagógicas
• Fazer da escola um ambiente agradável e propício ao aprendizado

 

Como? — Quatro estratégias-chave usadas por escolas que obtiveram sucesso ao implementar mudanças

• Criar um fluxo aberto e transparente de comunicação
• Respeitar a experiência do professor e apoiá-lo em seu trabalho
• Enfrentar resistências com o apoio de grupos comprometidos
• Ganhar o apoio de atores de fora da escola

 

Evidências do estudo quantitativo — Quatro características que ilustram o porquê do sucesso das 215 escolas

• Integram uma rede de ensino que oferece condições e apoio para que as mudanças aconteçam
• Gestão dos recursos com foco na garantia das condições de aprendizagem
• Possuem boas condições para o ensino e procuram garantir um bom clima escolar para mantê-las
• Contam com uma gestão escolar focada na aprendizagem dos alunos e se apropriam dos recursos e das condições escolares em favor do ensino

 

Todos esses pontos são discutidos no relatório da pesquisa, com seus devidos dados e informações.

Agora, com a finalização do estudo, vamos compartilhar os resultados com gestores e educadores em workshops e seminários e discutir as suas aplicações. Você é educador ou gestor e também tem histórias de sucesso para contar? Conte nos comentários a sua história! A Fundação Lemann premiará os melhores depoimentos com a versão impressa da pesquisa.

 

Veja também o post sobre o estudo qualitativo: http://estudandoeducacao.com/2013/01/09/excelencia-com-equidade

Read Full Post »

Algumas considerações sobre a divulgação e os resultados do Brasil no Pisa 2012

Os resultados do Brasil no exame do Pisa 2012, avaliação educacional realizada por vários países do mundo, foram bastante discutidos pelos pesquisadores brasileiros – o que obviamente é uma boa notícia. Por isso, vou nesse post apenas trazer algumas observações que podem agregar à discussão.

Dois fatores parecem ter influenciado no alto número de análises sobre os resultados do Brasil no exame:

1. A riqueza dos relatórios do Pisa, que dá aos pesquisadores bastante insumo para análises.
2. A não apresentação e discussão adequadas de informações relevantes para análises dos dados brasileiros, o que até parece contraditório ao primeiro ponto dada a riqueza dos documentos.

Sobre o segundo item duas informações metodológicas me chamam a atenção em especial:

• A não inclusão dos alunos das escolas rurais no cálculo da média brasileira nas tabelas destacadas no relatório (foram incluídos apenas nas tabelas apresentadas como anexos), devido a muitos frequentarem classes multisseriadas;
• A mudança do que significa “grade” para o Brasil. Com a implementação do Ensino Fundamental de 9 anos o país passou a ter 12 “grades” (as nove do Fundamental mais as três do Ensino Médio), enquanto até 2009 o país tinha 11 “grades”. Isso significa que no relatório de 2009 a sétima “grade”, por exemplo, é a 7ªsérie / 8º ano, enquanto no relatório de 2012 ela é o 7º ano. Por esse motivo em 2012 apenas alunos brasileiros que estavam no mínimo na oitava “grade” (e não na sétima) foram elegíveis para o exame.

Esses dois pontos são explicados de forma muito breve em uma nota técnica do relatório:

In 2006, the education system in Brazil was revised to include one more year at the beginning of primary school, with the compulsory school age being lowered from seven to six years old. This change has been implemented in stages and will be completed in 2016. At the time the PISA 2012 survey took place, many of the 15-year-olds in Grade 7 had started their education under the previous system. They were therefore equivalent to Grade 6 students in the previous system. Since students below Grade 7 are not eligible for participation in PISA, the Grade 7 students in the sample were not included in the database.

Brazil also has many rural “multigrade” schools where it is difficult to identify the exact grade of each student, so not possible to identify students who are at least in Grade 7. The results for Brazil have therefore been analysed both with and without these rural schools. The results reported in the main chapters of this report are those of the Brazilian sample without the rural schools, while this annex gives the results for Brazil with the rural schools included.

A não menção dessas informações no relatório nacional (Country Note) gerou muita polêmica sobre a amostra de estudantes que fez o Pisa e sobre os resultados do Brasil. Se não considerarmos o novo significado de “grade”, por exemplo, teremos a impressão de que em 2012 a amostra brasileira não foi representativa e foi preenchida pelos jovens de maior escolaridade. Aliado a isso ainda existe o problema de as pessoas enxergarem o Pisa como uma avaliação de estudantes de 15 anos, quando na verdade para o Brasil o exame avalia estudantes que completarão 16 anos no ano letivo (nascidos em 1996 no caso do exame de 2012). O professor Chico Soares discutiu esse aspecto no blog do Simon Schwartzman, que trouxe artigos de vários especialistas sobre os resultados do Pisa 2012.

Os dois pontos que coloco merecem ser melhor estudados, mas ao que parece o problema maior é de comunicação e não houve grandes mudanças amostrais no exame de 2012 em relação ao exame de 2009. Faço então duas considerações sobre os resultados:

• Houve um avanço do Brasil no exame, mas ele é abaixo do desejável, principalmente se queremos garantir um aprendizado adequado a maior parte dos nossos alunos em um período próximo. Embora possa parecer rasa, essa é a conclusão que pode ser tirada. Não houve nem um milagre brasileiro nem fomos um desastre e nos mostramos estagnados.
• Houve uma evolução destacada no percentual de alunos abaixo do nível 1, o que foi discutido por Paula Louzano e Creso Franco. Como apontado pelo professor Creso é possível que o exame de 2012 discrimine melhor alunos de baixo desempenho, fazendo com que tenhamos menos alunos com a pontuação próxima da mínima sem isso representar ganhos de aprendizagem.

Retomarei ainda alguns pontos e apresentarei alguns dados que calculei para reportagem da Época de Camila Guimarães sobre o percentual de alunos brasileiros que dominam as duas competências avaliadas pela Prova Brasil (matemática e língua portuguesa) e as três competências avaliadas pelo Pisa (Matemática, Leitura e Ciências). De qualquer forma, já dá para adiantar que os dados são claros: temos muito a avançar!

Read Full Post »

Meta: melhorar o nível de aprendizado dos alunos e o fluxo escolar

Primeiramente, quero começar me retratando por um post que escrevi no início de novembro (já apagado). Tenho ponderações em relação a conclusões de um estudo publicado, mas por ter o contato das pessoas que conduziram o trabalho deveria ter feito as críticas primeiramente de forma privada. Meu texto não foi na direção de uma academia melhor e mais colaborativa, nem respeitou da forma devida a trajetória dos coordenadores do estudo.

Nessa semana, apresento algumas análises que fiz sobre a meta 7 do Plano Nacional de Educação (PNE) no ano passado no blog da Fundação Lemann, e que ainda seguem válidas. Hoje, em Brasília, foi lançado o Observatório do PNE, uma iniciativa de diversas organizações liderada pelo Todos Pela Educação para acompanhar as metas do Plano Nacional de Educação, ainda em tramitação. A Fundação Lemann acompanhará justamente a sétima meta do plano. Considero essa uma importante iniciativa na busca de um maior envolvimento da sociedade com as políticas públicas em educação. No final do post disponibilizo também uma entrevista com a professora Lisete Arelaro e comigo sobre o Plano Nacional de Educação.

Como se pode perceber, não está fácil cumprir a meta de um post semanal, mas seguirei tentando. Já adianto que o próximo post discutirá os resultados da avaliação do Pisa em 2012, um dos principais exames internacionais em educação, que avalia jovens de 15 e 16 anos nas áreas de Matemática (que foi o foco em 2012), Leitura e Ciências.

_

Análise referente à meta 7 do PNE

Meta 7: Atingir as seguintes médias nacionais para o Ideb

Contexto
O Ideb foi criado em 2007 com o intuito de ilustrar por meio de um número a qualidade da Educação Brasileira unindo dois conceitos: aprendizado e fluxo escolar. O índice utiliza as taxas de aprovação nas etapas escolares e os respectivos resultados obtidos no final da etapa na avaliação Prova Brasil/Saeb.

Em cinco anos, o indicador se popularizou e se consolidou. A nota no Ideb se transformou em um indicador educacional simples e fácil de acompanhar para diversos setores da sociedade. As escolas e redes perseguem metas baseadas no Ideb e o impacto nas taxas de fluxo escolar que o indicador proporcionou é notável. Pais, jornalistas e gestores passaram a basear suas discussões e o debate sobre qualidade educacional em um índice comum. No período, também surgiram críticas, é claro. Por exemplo, o fato de o componente de fluxo ser uma medida de trajetória dos alunos e não de qualidade das escolas ou das redes, ou o ponto de não necessariamente todos os alunos fazerem a Prova Brasil, o que distorceria os resultados refletidos pelo indicador. Mesmo assim, é possível dizer que o balanço em seis anos é positivo e o indicador nos ajuda a fazer análises importantes.

Desafios

Os gráficos abaixo ilustram muito bem os desafios que serão colocados para o cumprimento da meta 7. Um deles, e mais discutido, é a necessidade de acelerar o ritmo de melhoria nos indicadores. A Figura 1 mostra como as evoluções nos anos finais do Ensino Fundamental (EF II) e no Ensino Médio (EM) foram bem abaixo da evolução na primeira etapa do Ensino Fundamental (EF I). E mesmo considerando que os alunos possam estar entrando um pouco mais preparados nessas etapas, as metas a partir de 2013 já começarão a se mostrar mais ambiciosas, principalmente considerando que é mais difícil evoluir quando se está em um patamar mais alto.

Figura 1: Evolução histórica e metas para o Ideb (Brasil)

                                      * Em tracejado as evoluções necessárias.

Um segundo desafio é a promoção de uma maior equidade nos indicadores das unidades da federação. A média nacional no Ideb, que é o que a meta 7 verifica, é um indicador muito importante. Mas não podemos ignorar a desigualdade que existe entre os estados brasileiros. Na figura abaixo, cada triângulo ilustra o valor do Ideb de cada um dos 27 estados (quando mais de um estado possui o mesmo valor de Ideb há triângulos sobrepostos). É possível ver a distribuição para os 3 níveis da Educação Básica.

Figura 2: Valores de Ideb das unidades da federação por etapa da Educação Básica em 2009

O que o gráfico nos mostra é o retrato da desigualdade, com resultados muito díspares entre os estados. Mesmo nos anos iniciais do Ensino Fundamental, com resultados consideravelmente melhor do que as outras etapas, ainda existe uma grande inequidade: enquanto o Distrito Federal e Minas Gerais obtiveram um Ideb de 5,6 o Pará teve um Ideb em 2009 de 3,9. Para o país, é importante cobrar que a Meta 7 seja atingida com todos os estados alcançando o Ideb ideal – e não com uma média de realidades muito desiguais.

Ao olharmos as políticas de países que se destacam em Educação, vemos várias medidas que podem ser adotadas para promover maior equidade. Na Irlanda, há políticas como relação aluno-professor reduzida nas escolas primárias localizadas em áreas urbanas com mais desvantagem e bônus com base no nível de desvantagem da escola. Na Bélgica, existe um mecanismo de auxílio e suporte a crianças em uma situação desfavorável. No Chile, país com os melhores resultados educacionais na América do Sul, há um acréscimo de salário para professores que atuam em áreas com difíceis condições de trabalho, como locais em que a taxa de criminalidade é alta. Aprender com esses países será um passo importante para o Brasil.

Programa Educação Brasileira – debate sobre o Plano Nacional de Educação (PNE)

• Leia também:

Metas que não conversam com a realidade

Read Full Post »

Formação para enfrentar desafios

Em julho, fiz uma apresentação para gestores educacionais sobre o uso de dados para orientar políticas públicas. Discuti com secretários e equipes de doze secretarias participantes do programa Talentos da Educação a importância de se ter uma diagnóstico claro para orientar as ações, assim como a necessidade de garantir mecanismos de acompanhamento para ver se as políticas estão tendo efeito, garantindo entendimento do suporte que os alunos e os educadores estão precisando.

A Revista Escola Pública de junho/julho abordou justamente o tema das necessidades e formações que as gestões precisam.

Logo no início do editorial da publicação aparece uma pergunta que coloca muito bem a disparidade de preparo que existe entre as equipes gestoras da secretaria e como, em algumas, os problemas são mais graves: “Qual a diferença entre Ideb e Fundeb?”

Há, ao mesmo tempo, sim, gestores com ótimas formações, como pude ver inclusive durante a minha apresentação. Que sabem, aliás, muito mais sobre gestão de redes do que o pesquisador que aqui escreve.

Esse cenário faz com que os governos federal e estaduais e as demais organizações que dão apoio às redes municipais tenham que estar prontas para dar um suporte personalizado, assim como mostra que para se alcançar uma eficiência maior é importante encontrar, em cada região, esses gestores mais eficientes, para que possam compartilhar com gestores menos experientes conhecimentos e habilidades que possuem. E, como o texto da revista aponta, é necessário engajamento do gestor para conhecer bem a rede e ter o preparo necessário para enfrentar os desafios do setor.

Abaixo o editorial da Revista Escola Pública, escrito por Marina Almeida.

 

Formação para enfrentar desafios

“Qual a diferença entre Ideb e Fundeb?” A pergunta pode parecer descabida, mas foi formulada por uma secretária de educação no Fórum Nacional dos Dirigentes Municipais de Educação, realizado em maio. Com as mudanças de governo, muitos gestores assumiram o cargo há pouco tempo e ainda estão se familiarizando com tantos nomes, atribuições e desafios. Ainda assim, a questão é reveladora. Ela aponta para a importância fundamental e urgente de formação das equipes de educação dos municípios. Mostra ainda quão diversas são as necessidades dos gestores de cada rede – que podem ir do entendimento das siglas à elaboração de planos de ação e busca de financiamento.

Essas formações poderiam ser organizadas pela União, estados, entidades da área, organizações não governamentais, ou mesmo grupos de redes de uma localidade, com dificuldades e realidades semelhantes. Os modelos podem ser diversos. O importante é que mobilizações em todas as esferas aconteçam e se transformem em debates, cursos e palestras para os gestores.

O trabalho nas redes de ensino também enfrenta enormes desafios. Como mostra a matéria sobre o Fórum da Undime, a falta de estrutura e recursos da pasta assusta os novos dirigentes, e a realidade da educação nos municípios, por sua vez, traz muitos e complexos problemas para serem resolvidos.

Basta dizer que chegar à escola ainda é difícil para muitos alunos, sobretudo da zona rural, como mostra a matéria de capa desta edição. No campo, o tempo gasto no caminho para a escola pode chegar a 4 horas. O transporte escolar não é capaz sequer de garantir a segurança dos alunos. O uso de caminhões ‘pau de arara’ para levar os estudantes é comum em muitos municípios. Em outros casos, a frota antiga e os problemas de manutenção são responsáveis por grande parte dos acidentes, alguns deles fatais. As condições ruins das estradas também afetam o transporte, impedindo ou atrasando o trânsito dos alunos.

Os recursos são insuficientes e os problemas inúmeros. Para solucioná-los é necessário que o gestor, além de engajado em seu trabalho, conheça o funcionamento de sua rede, as fontes de financiamento, os programas de repasse de recursos do MEC… É preciso, enfim, que ele esteja bem preparado.

Read Full Post »

Estudando os números…

Reproduzo abaixo análises que fiz sobre dez afirmações classificadas como mitos ou verdades na educação brasileira pelo Porvir, em matéria de Patrícia Gomes.

_

1. Professores brasileiros dão aula em muitas escolas

Mito. No Brasil, 57% dos professores dão aula em apenas uma escola; 37% lecionam em 2; 5% em 3 e 1% em 4.

Veja no QEdu

Análise do especialista. É muito difícil avaliar o perfil dos professores da educação básica como um todo. Os professores de educação infantil são muito diferentes dos professores do ensino fundamental, por exemplo. O perfil dos professores de língua portuguesa também é diferente do perfil dos professores de física. A análise específica da condição de trabalho declarada dos professores de todo o país de língua portuguesa e matemática dos alunos que fizeram a Prova Brasil mostra que muitos professores dão aulas apenas em uma escola (principalmente os do 5º ano).

_

2. Matemática é o calcanhar de Aquiles dos alunos brasileiros

Verdade. Se comparados com os resultados de língua portuguesa, os de matemática são realmente piores. Apenas a título de exemplificação,10% dos brasileiros chegam ao fim do 9^o ano com o conhecimento adequado em matemática. Em português, esse percentual é de 23%.

Veja no QEdu

Análise do especialista. Os índices de aprendizado em matemática são, de fato, muito mais baixos do que os de língua portuguesa. Como boa parte das habilidades em matemática é desenvolvida apenas na escola, isso aponta um problema no ensino grave.

_

3. As escolas do Norte e do Nordeste vão de mal a pior

Mito. Nenhum estado brasileiro piorou seu desempenho em nenhuma das quatro provas avaliadas (português 5^o e 9^o anos; matemática 5^o e 9^o anos). É verdade que alguns deles não evoluíram em nada, mas alguns estados do Norte e do Nordeste vêm se destacando como estados que mais aumentaram suas notas, como Acre, Ceará, Rondônia e Tocantins. Em muitos casos, eles estão acima da média nacional.

Veja no QEdu

Análise do especialista. Um ponto muito importante é que médias mais baixas na prova Brasil em uma região do país não necessariamente apontam que as escolas são as piores, pois as notas dos alunos não indicam o quanto foi agregado pelas escolas. No Norte e no Nordeste, a escolaridade e o nível socioeconômico dos pais são mais baixas, o que está correlacionado a condições mais insatisfatórias para o aprendizado fora da escola (e que influenciam no resultado). Apesar de esses estados virem evoluindo de modo insatisfatório, como no resto do país, algumas redes vêm obtendo um avanço considerável, em especial do estado do Ceará.

_

4. É mais fácil ter notas maiores nos anos iniciais do que nos anos finais

Verdade. Comparativo das notas da Prova Brasil 2007 e 2009 mostra consistência no resultado melhor no 5^o e no 9^o ano tanto em português quanto em matemática.

Veja no QEdu

Análise do especialista. O aprendizado é acumulativo. Portanto, se um aluno sai de uma etapa sem o aprendizado adequado será ainda mais difícil conseguir concluir a etapa seguinte com o aprendizado esperado. Como a maioria dos alunos que conclui os anos finais não adquiriu o aprendizado adequado a essa etapa, o desafio que é colocado para os anos finais e para o ensino médio acaba sendo muito alto.

_

5. A internet já chega em boa parte das escolas do Brasil

Mito. De acordo com o Censo Escolar 2010, apenas 47% das escolas têm internet. A banda larga chega a apenas 39% das instituições. No entanto, entre as participantes da Prova Brasil, que são majoritariamente públicas, 75% têm acesso à internet.

Veja no QEdu

Análise do especialista. As condições de infraestrutura locais têm um grande impacto sobre esse dado. Não por acaso as taxas mais baixas estão nas regiões com um grande percentual de escolas em áreas rurais. O requisito de a escola ter que ter pelo menos 20 alunos para poder fazer a Prova Brasil exclui uma parcela considerável das escolas rurais, fazendo com que o dado da Prova Brasil ajude a ilustrar que na área urbana a internet já é consideravelmente presente nas escolas.

_

6. Alguns alunos passam anos na escola sem aprender rigorosamente nada

Verdade. Ao se analisar a escala de proficiência adotada pelo QEdu, é possível verificar, por exemplo, que 39% dos alunos do 9^o ano têm conhecimentos insuficientes de matemática. Isso quer dizer que 776.776 alunos no país não aprenderam quase nada – ou mesmo nada – do que se esperava que eles tivessem aprendido.

Veja no QEdu

Análise do especialista. Uma análise mais aprofundada sob esse aspecto é difícil de ser feita pelo fato de haver poucas pesquisas longitudinais no país que acompanham como o resultado de um aluno evolui ao longo do tempo. Mas o retrato que os dados apresenta, indicando que muitos alunos do 9º ano não têm o aprendizado adequado ao 5º ano, mostra que muitas redes estão com dificuldade de agregar o aprendizado mínimo aos alunos.

_

7. Alunos muito bons não têm oportunidade de aprender mais do que está planejado

Mito. Também pela escala de proficiência é possível ver que, nas quatro provas analisadas, há sempre grupos de alunos com conhecimentos acima do esperado.

Veja no QEdu

Análise do especialista. Em muitas turmas, de forma acentuada a partir dos anos finais do ensino fundamental, existem alunos com diferentes níveis em relação ao aprendizado. Essa situação exige que o professor consiga individualizar o ensino, para que alunos em situação pior possam recuperar o conteúdo e alunos com um nível de aprendizado mais avançado possam seguir avançando. Os dados ilustram que em boa parte das redes brasileiras existe um grupo de alunos com um nível de aprendizado avançado – para alunos de 9º ano, para alguns especialistas, indica um aprendizado condizente a um aluno com ensino médio completo.

_

8. Um bom resultado na Prova Brasil significa que o sistema de ensino é bom

Não necessariamente. É preciso analisar a participação e o número de alunos que fizeram a prova ao longo de várias edições da Prova Brasil para se ter dados mais consistentes. Tome-se como exemplo a cidade de Fernão (SP). Entre os alunos de 5^o ano em português, 100% obtiveram resultado com aprendizado adequado em 2009. Mas note-se que apenas 19 alunos fizeram a prova. Assim, apenas com base nessa edição, apesar do resultado unânime, não é possível afirmar se o sistema de ensino é mesmo muito bom.

Veja no QEdu

Análise do especialista. O resultado da Prova Brasil reflete o aprendizado dos alunos e não apenas a qualidade das escolas e das redes de ensino. O envolvimento dos pais nos estudos e as condições para o estudo em casa também impactam o resultado. Além disso, é importante se atentar a validade do dado. Se a taxa de participação é baixa, talvez os alunos que fizeram a prova não representem o conjunto de alunos da escola, assim como se o número de alunos que fez é baixo, o número de itens e provas aplicados podem não ser suficientes para dar robustez ao resultado.

_

9. Neste país, a violência na escola é generalizada

Mito. Quando alunos, professores e diretores responderam a questões sobre violência no Censo Escolar 2010, eles chegaram a relatar casos de violência na escola, mas esses números estão muito longe de ser generalizados. Agressões físicas de aluno para professor, por exemplo, foram confirmadas por 8% dos diretores e negadas por 92%.

Veja no QEdu

Análise do especialista. É importante olharmos o cenário da violência em cada tipo de violência individualmente, algo que o QEdu, por meio das respostas dadas nos questionários da Prova Brasil, permite. Alguns estudos já apontaram que o clima escolar é um problema em grande parte das escolas brasileiras. Os dados de agressão verbal relatados por diretores e professores parecem corroborar isso. Mas, quando analisamos os casos de agressão física, os relatos apontam que isso é algo que ocorre apenas em pequena parcela das escolas.

_

10. O Brasil ainda tem muito o que melhorar na educação

Verdade. Meta do movimento Todos Pela Educação para 2022 é de 70% de nível adequado em português e matemática, no 5^o e no 9^o ano. Até agora, na etapa e disciplina que o país vai melhor, que é português no 5^o ano, alcançou apenas 32% dos alunos com aprendizado adequado.

Veja no QEdu

Análise do especialista. Os resultados mostram que poucos alunos estão tendo o seu direto ao aprendizado garantido. Por outro lado, vemos redes escolares, como a de Foz do Iguaçu (PR) e a de Pedra Branca (CE), que, em um período de quatro anos, conseguiriam dar um grande salto nesse sentido, sendo um alento e indicando caminhos que podem ser seguidos. De qualquer forma, grandes avanços passam por mudanças estruturais, como uma melhor formação e plano de carreira de professores e documentos que orientem mais as escolas do que se espera que todos os alunos brasileiros devem aprender.

Read Full Post »

Analisar números não é tão simples assim

Li uma matéria ontem que mais uma vez me mostrou que ainda temos muito a caminhar na análise de números em Educação. Dados são traiçoeiros e exigem cuidados, alguns critérios de análise e muita atenção.

A matéria no qual me refiro é ‘Homofobia na escola cresce 160% em SP’, de autoria de Isis Brum do Estado de S. Paulo. Com todo respeito à reportagem e à autora, mas dado o título impactante já começo o texto dizendo que não há validade estatística nenhuma nos resultados encontrados.

O título é embasado na seguinte informação: “Em 2004, 1,5% dos estudantes paulistas afirmou (em questionário aplicado junto com a avaliação do Exame Nacional do Ensino Médio – Enem) ter sofrido preconceito por causa de sua orientação sexual. Quatro anos depois, o porcentual passou para 3,9%.”

Vou discutir abaixo os problemas de análise na matéria e elencar algumas perguntas que devem ser respondidas caso queira-se avaliar se houve mudança de um determinado cenário em um período de tempo.

 

1. Quem eu quero avaliar? Essa pergunta é muito importante para que se possa achar o dado adequado que dê a estatística desejada. Caso queiramos ver se houve ou não crescimento da homofobia nas escolas que oferecem a Educação Básica teremos que ter uma base de informações que nos permita ter um número representativo para esse ciclo ou teremos que avaliar etapas de forma separada de acordo com os dados disponíveis.

O Enem, a princípio, só permitiria avaliar o que acontece nas escolas de Ensino Médio, e preocupa-me muito a matéria não explicar as características dessa avaliação em nenhum momento no texto. Há um descaso sobre quem são os alunos que respondem pelas estatísticas mencionadas na reportagem. A matéria diz: “Um levantamento inédito, feito com base no questionário socioeconômico do Exame Nacional do Ensino Médio (Enem), entre 2004 e 2008, mostra um crescimento de 160% no número de pessoas que se declararam vítimas de homofobia no Estado de São Paulo”. Aumento no número de pessoas que se declaram vítimas de homofobia no estado de São Paulo? Certamente nunca os questionários do Enem investigarão as pessoas do estado paulista como um todo. Também não darão a resposta sobre os estudantes paulistas, como mencionado na primeira citação da matéria que coloquei nesse post. Os alunos que fazem o Enem não representam nem os alunos do Ensino Médio, já que muitos alunos não fazem essa avaliação (principalmente se não tiverem interesse em ingressar na universidade).

 

2. Os meus dados são comparáveis? A matéria compara as respostas dos alunos que fizeram o Enem em 2004 com as respostas dos alunos que fizeram o Enem em 2008. Mas esses alunos são comparáveis? A meu ver não. O Programa Universidade para Todos (ProUni) que concede bolsas de estudos por meio do Enem foi criado em 2004 e fez com que a adesão ao Enem por grupos de classe socioeconômica mais baixa crescesse muito. Dado isso, faço uma pergunta: “Teria o preconceito aumentado dentro das escolas ou mais pessoas que sofrem preconceito começaram a fazer o Enem (ou aconteceram os dois fatos)?” A mudança de perfil dos alunos que fazem a avaliação e respondem aos questionários não permite com que possamos ter essa resposta.

 

3. Qual a margem de erro da minha análise? Consideremos que os alunos que fazem o Enem representam os alunos de suas escolas e que em 2004 e 2008 possuíam o mesmo perfil. De qualquer forma, por não serem todos os alunos que fazem o Enem, já existiria um erro amostral. Sem contar erros que podem ocorrer por erro de preenchimento do aluno, de transcrição, etc. E, nesse sentido, usar percentuais para avaliar uma evolução em patamares muito baixos torna-se um pouco sensacionalista. Em uma pesquisa não censitária a validade estatística de um aumento de 1% para 2% não é a mesma de um aumento de 10% para 20%. Não por acaso os jornais não exaltam candidatos que sobem de 1% para 2% nas pesquisas eleitorais.

 

4. Qual o formato de pesquisa que eu preciso para minha análise? Avaliar pesquisas que mensuram opiniões é algo consideravelmente complicado. Quando se lida com temas complexos como preconceito, violência, qualidade, etc. isso se torna ainda mais difícil. Pesquisas com questões fechadas e que trazem resultados quantitativos muitas vezes se mostram limitadas para algumas avaliações. Há alguns testes que analisam o comportamento de respostas dos indivíduos e que mesmo assim não resolvem esse problema. Então, todo cuidado nas análises de temas como o da matéria citada é pouco.

 

Enfim, esses erros de análise não são exclusivos da matéria e nem mesmo a jornalista deve ser crucificada por isso. Deixa-me preocupado, apenas, o fato de esses erros terem passado despercebidos por tantas pessoas. E um motivo a mais para citar a reportagem é a irresponsabilidade política da mesma. Formar a opinião de pessoas sobre um assunto que vem sendo discutido com um dado inválido é algo digno de grande repreensão, até por que isso não é necessário para que saibamos como o preconceito afeta a vida de muitos alunos.

Read Full Post »

Números

Hoje, o Estudando Educação lança uma nova seção: Números. A seção apresentará alguns dados calculados ou coletados pelo Estudando Educação.

A análise elaborada ontem e noticiada pela Agência Brasil, acerca das respostas dos diretores sobre o porte de armas de fogo por membros da comunidade escolar, inaugura a seção.

Sobre os dados o Estudando Educação deixa claro que reconhece o acontecimento de ontem como um fato isolado e não defende a existência de detectores de metal ou similares nas escolas. Defende, apenas, que é inadmissível a presença cotidiana de armas de fogo em tantas escolas.

E, já que a Educação está em foco devido a este triste acontecimento, que olhemos mais atentamente não só para a questão da violência nas escolas, mas para temas muito importantes como o aprendizado dos alunos, a necessidade de uma carreira de professores adequada e a necessidade de um currículo escolar adequado e padronizado, citando apenas três exemplos.

Read Full Post »