Analisar números não é tão simples assim

Li uma matéria ontem que mais uma vez me mostrou que ainda temos muito a caminhar na análise de números em Educação. Dados são traiçoeiros e exigem cuidados, alguns critérios de análise e muita atenção.

A matéria no qual me refiro é ‘Homofobia na escola cresce 160% em SP’, de autoria de Isis Brum do Estado de S. Paulo. Com todo respeito à reportagem e à autora, mas dado o título impactante já começo o texto dizendo que não há validade estatística nenhuma nos resultados encontrados.

O título é embasado na seguinte informação: “Em 2004, 1,5% dos estudantes paulistas afirmou (em questionário aplicado junto com a avaliação do Exame Nacional do Ensino Médio – Enem) ter sofrido preconceito por causa de sua orientação sexual. Quatro anos depois, o porcentual passou para 3,9%.”

Vou discutir abaixo os problemas de análise na matéria e elencar algumas perguntas que devem ser respondidas caso queira-se avaliar se houve mudança de um determinado cenário em um período de tempo.

 

1. Quem eu quero avaliar? Essa pergunta é muito importante para que se possa achar o dado adequado que dê a estatística desejada. Caso queiramos ver se houve ou não crescimento da homofobia nas escolas que oferecem a Educação Básica teremos que ter uma base de informações que nos permita ter um número representativo para esse ciclo ou teremos que avaliar etapas de forma separada de acordo com os dados disponíveis.

O Enem, a princípio, só permitiria avaliar o que acontece nas escolas de Ensino Médio, e preocupa-me muito a matéria não explicar as características dessa avaliação em nenhum momento no texto. Há um descaso sobre quem são os alunos que respondem pelas estatísticas mencionadas na reportagem. A matéria diz: “Um levantamento inédito, feito com base no questionário socioeconômico do Exame Nacional do Ensino Médio (Enem), entre 2004 e 2008, mostra um crescimento de 160% no número de pessoas que se declararam vítimas de homofobia no Estado de São Paulo”. Aumento no número de pessoas que se declaram vítimas de homofobia no estado de São Paulo? Certamente nunca os questionários do Enem investigarão as pessoas do estado paulista como um todo. Também não darão a resposta sobre os estudantes paulistas, como mencionado na primeira citação da matéria que coloquei nesse post. Os alunos que fazem o Enem não representam nem os alunos do Ensino Médio, já que muitos alunos não fazem essa avaliação (principalmente se não tiverem interesse em ingressar na universidade).

 

2. Os meus dados são comparáveis? A matéria compara as respostas dos alunos que fizeram o Enem em 2004 com as respostas dos alunos que fizeram o Enem em 2008. Mas esses alunos são comparáveis? A meu ver não. O Programa Universidade para Todos (ProUni) que concede bolsas de estudos por meio do Enem foi criado em 2004 e fez com que a adesão ao Enem por grupos de classe socioeconômica mais baixa crescesse muito. Dado isso, faço uma pergunta: “Teria o preconceito aumentado dentro das escolas ou mais pessoas que sofrem preconceito começaram a fazer o Enem (ou aconteceram os dois fatos)?” A mudança de perfil dos alunos que fazem a avaliação e respondem aos questionários não permite com que possamos ter essa resposta.

 

3. Qual a margem de erro da minha análise? Consideremos que os alunos que fazem o Enem representam os alunos de suas escolas e que em 2004 e 2008 possuíam o mesmo perfil. De qualquer forma, por não serem todos os alunos que fazem o Enem, já existiria um erro amostral. Sem contar erros que podem ocorrer por erro de preenchimento do aluno, de transcrição, etc. E, nesse sentido, usar percentuais para avaliar uma evolução em patamares muito baixos torna-se um pouco sensacionalista. Em uma pesquisa não censitária a validade estatística de um aumento de 1% para 2% não é a mesma de um aumento de 10% para 20%. Não por acaso os jornais não exaltam candidatos que sobem de 1% para 2% nas pesquisas eleitorais.

 

4. Qual o formato de pesquisa que eu preciso para minha análise? Avaliar pesquisas que mensuram opiniões é algo consideravelmente complicado. Quando se lida com temas complexos como preconceito, violência, qualidade, etc. isso se torna ainda mais difícil. Pesquisas com questões fechadas e que trazem resultados quantitativos muitas vezes se mostram limitadas para algumas avaliações. Há alguns testes que analisam o comportamento de respostas dos indivíduos e que mesmo assim não resolvem esse problema. Então, todo cuidado nas análises de temas como o da matéria citada é pouco.

 

Enfim, esses erros de análise não são exclusivos da matéria e nem mesmo a jornalista deve ser crucificada por isso. Deixa-me preocupado, apenas, o fato de esses erros terem passado despercebidos por tantas pessoas. E um motivo a mais para citar a reportagem é a irresponsabilidade política da mesma. Formar a opinião de pessoas sobre um assunto que vem sendo discutido com um dado inválido é algo digno de grande repreensão, até por que isso não é necessário para que saibamos como o preconceito afeta a vida de muitos alunos.

Read Full Post »

Se o Brasil desse valor à Educação…

Uma reportagem do dia 15 de junho do site Globo.com deixou-me de certa forma inconformado. A matéria, intitulada ‘Torcedor de oito anos mata aula na escola para acompanhar o Santos’, contava a história de um torcedor santista de 8 anos que assistiu a todos os jogos do Santos na Taça Libertadores da América – torneio continental de futebol no qual o clube paulista é finalista. Contando o jogo da última quarta-feira, o Santos já fez 13 partidas na competição, sete delas no exterior (uma, inclusive, no México), e todos esses jogos foram no meio de semana. Quantos dias de aula esse menino deve ter perdido para obter o feito reportado na matéria? Muito difícil que tenham sido menos de dez.

Ainda mais triste do que o fato é a matéria, que aborda as faltas do menino com naturalidade e ainda dá espaço para uma fala infeliz da criança: “Fui em todos os jogos com o meu pai. Deixei de ir para a escola para ver o Santos. É muito mais divertido ver o Santos campeão da Libertadores do que ir para as aulas”.

Situações como essa me fazem refletir sobre como seria se déssemos valor à Educação no país. Segue abaixo um texto provocativo, também escrito como texto jornalístico, sobre as minhas reflexões.

 

Brasil, o país da Educação

Com a proximidade da Copa da Educação de 2014 o Brasil se diz preparado para o desafio. Em 2010, após o país ter sido eliminado pela Finlândia, as críticas foram pesadas: “Aqui é assim, ninguém aceita o vice-campeonato, muito menos uma eliminação nas quartas-de-final”, disse um pai de aluno. Logo após a derrota, pais e professores deram entrevista coletiva afirmando que todos eram responsáveis, e que iam analisar o episódio, para que resultados decepcionantes não voltassem a ocorrer.

José Ricardo, filho de pais analfabetos e, hoje, professor visitante em Harvard, fez muitas criticas em relação ao resultado do Brasil em 2010. Pudera, ele participou da grande geração que conquistou a Copa da Educação de 1970. “O nosso sistema educacional tem que dar o melhor aprendizado do mundo! Com um time de meninos talentosos como esse, deveríamos conseguir resultados melhores.”

A mobilização após a derrota foi grande: 32% dos brasileiros queriam o educador Muricy no Ministério da Educação, mas o governo do Rio de Janeiro não quis abrir mão de seu secretário. O escolhido, então, foi o educador Mano, gestor de uma rede escolar tida como de “segunda divisão”, e que ascendeu a uma das melhores do país. 

 

O fenômeno cultural cresce

Dona Sônia, já com seus 90 anos, deu seu depoimento entusiasmado sobre o filho José Ricardo: “Desde criança ele anda com um livro na mão. Adorava fazer contas. A escola era longe, mas eu fazia um esforço para levá-lo. Eu sabia que ele ia ser um grande professor de matemática.”

Felipe, uma criança de 8 anos e vizinho de Sônia, é o exemplo de que esse fenômeno cultural da Educação está cada vez mais forte: “Estou estudando muito, pois semana que vem tem ‘peneira’ para a escola Excelência”, disse ele, que já estuda em uma escola com bons resultados na Prova Brasil.

 

Mudanças após o fracasso e a conquista da Copa América de Educação

Entre as mudanças após o fracasso de 2010 houve um maior monitoramento dos resultados nas escolas e um trabalho específico de acompanhamento com os alunos que apresentavam desempenho insatisfatório. “Ele está sofrendo com a adaptação e recebeu algumas “notas amarelas” e até uma “nota vermelha”. Mas a culpa é nossa. Estamos fazendo um trabalho de reforço e sabemos que ele vai aprender. Ele é o cara!”, disse o diretor do colégio Aprender sobre um de seus alunos.

Após ganhar a Copa América, vencendo com sobras o Chile na final, o clima é de confiança. Os diretores de escolas mostram com orgulho o trabalho que vem sendo feito: “Está vendo aquele menino ali? Você viu a resposta que ele deu? Craque!”, disse um professor. 

Embora o Brasil não tenha muitas estrelas, o ministro da Educação acredita muito no sucesso em 2014: “O que diferencia esse grupo é o coletivo. Temos poucos alunos no nível avançado, mas todos têm um nível de aprendizado adequado.”

É, parece que o trabalho vem sendo bem feito, mas com 190 milhões de gestores em Educação é bom buscarmos melhorar ainda mais e termos um sistema educacional que forneça aprendizado a todos, pois no país da Educação o fracasso não é admitido!

Read Full Post »

O que sabemos, que atenção damos e o que cobramos das escolas particulares?

Recentemente, diversos indicadores educacionais foram divulgados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), constando dados que chegam até o nível da escola. Número de alunos por turma, média de horas-aula por dia e taxas de distorção idade-série são algumas das informações divulgadas. Essas informações por serem extraídas do Censo Escolar da Educação Básica abrangem praticamente todas as instituições de ensino que oferecem alguma etapa da Educação Básica.

Fiquei muito feliz com a divulgação desses dados, principalmente pelo fato de simples médias em uma região trazerem pouco de informação. Ter essas informações sobre as escolas particulares é ainda mais importante, pois não podemos para essas falar em rede, já que são escolas que não atuam e nem seguem uma política obrigatoriamente semelhante. Essa “independência” exige com que essas escolas sejam monitoradas tanto quanto as escolas das redes públicas.

Fiz alguns recortes e vi, por exemplo, que existem algumas escolas particulares com um número de alunos por turma muito alto (mais de 100 alunos por turma em algumas séries). Não quero aqui me aprofundar em uma análise das escolas particulares, pois elas não são um grupo homogêneo, por poder haver erros em pequena parcela dos dados e também pelo fato de as escolas particulares não terem dados de aprendizado dos alunos para que possam ser avaliadas de forma mais adequada, mas quero aqui apontar a necessidade de olharmos mais para como essas escolas estão atendendo os seus alunos.

Por que as escolas particulares não possuem um Ideb (ao menos por adesão) para que a sociedade monitore a qualidade dessas instituições? A medida aumentaria a competitividade e estimularia investimentos do setor privado, já que o Ideb ajudaria a indicar as ações bem-sucedidas. Por que o número de alunos matriculados nas instituições particulares não foram divulgados nos arquivos com os dados finais do Censo da Educação Básica 2010?

Como disse em um post, os dados da Prova Brasil 2007 sugerem que não há uma escola pública que obtém resultados excelentes com alunos de baixíssimo nível socioeconômico. Mas há uma escola particular? Não sabemos. Instituições de ensino particulares parecem fazer parte de um outro sistema educacional.

E não é no sentido de cobrança apenas que temos que olhar para as instituições de ensino particulares, mas também no ponto de vista do auxílio. É sabido, por exemplo, que instituições de Ensino Superior particulares recebem poucos incentivos do governo para cursos e pesquisa. Mas a maioria dos nossos futuros professores não está nessas instituições?

Temos mais de 7 milhões de crianças e jovens cursando a Educação Básica em escolas particulares, alguns inclusive filhos de pais de classe média baixa que acreditam que a escola particular garantirá o aprendizado. No Ensino Superior quase 4 milhões de alunos estudam em uma instituição privada. Não é pouco! As instituições particulares, tanto da Educação Básica quanto do Ensino Superior, são parte importante do sistema educacional do país e olharmos, cobrarmos e legitimarmos a sua importância se faz necessário, até para uma promoção benéfica de uma maior competitividade e eficiência dos sistemas escolares.

Read Full Post »

Entrevista sobre a reprovação escolar na Educação Básica

A Univesp TV retransmitiu semana passada a entrevista que dei ao canal sobre o Estudando Nº 1, que aborda o tema da reprovação escolar. Segue a entrevista abaixo.

Veja também:

• Reprovação Escolar – Você sabia?
• Entendendo a taxa de reprovação escolar

Read Full Post »

A perspectiva dos professores em relação aos alunos de sua escola

Reportagem dessa segunda-feira (06) da Folha de São Paulo mostra como muitos professores não acreditam no sucesso acadêmico de seus alunos. O texto de Antonio Gois, que utilizou números levantados pelo Estudando Educação, ilustra como a Educação no Brasil não é inclusiva como o desejável. Muitos professores não acreditam que os alunos de sua escola irão concluir a Educação Básica. Vários, inclusive, não acreditam que a maioria irá concluir o Ensino Fundamental, sendo que a não conclusão dos alunos deveria ser vista pela equipe escolar como um fracasso da escola.

A perspectiva dos professores em relação à entrada na universidade dos alunos da escola que lecionam é ainda menos positiva. Mesmo nas escolas com alunos de classe socioeconômica mais alta – as escolas foram divididas em quartis – verificam-se poucos professores que acreditam que quase todos os alunos ingressarão no Ensino Superior. Apenas 8,2% dos professores das “escolas públicas com alunos mais ricos” disseram ter essa perspectiva ao responderem o questionário entregue quando a Prova Brasil 2007 foi aplicada.

A análise das respostas dos professores de acordo com a classe socioeconômica dos alunos que estudam na escola onde trabalham é interessante. No Maranhão, por exemplo, verifica-se que a visão de um professor que dá aula para “alunos mais ricos” é muito mais positiva do que a visão dos professores que dão aula para “alunos mais pobres”. Embora se deva atentar ao fato de que há um número pequeno de escolas no Maranhão que estão entre “as 25% escolas públicas do Brasil com alunos de classe socioeconômica mais alta” esse dado ilustra bem o tamanho da desigualdade existente nas escolas públicas do país.

De qualquer forma, os professores começarem a acreditar e lutar pelo sucesso dos alunos de baixa renda já seria um passo importante para a redução da desigualdade.

Veja todos os números do levantamento na seção Números.

Alguns pontos sobre os dados:

• A pergunta feita aos professores foi: “Quantos dos alunos da(s) série(s) avaliada(s) você acha que”… Uma leitura correta do professor faria com que ele respondesse sobre os alunos da 4ª série (5º ano) e 8ª série (9º ano) do Ensino Fundamental. Mas não necessariamente todos leem da forma correta. Comparando respostas dos professores da 4ª com professores da 8ª dá a impressão de que muitos respondem pensando nos alunos para o qual dão aula.

• Resultado interessante mostrado pela análise é que nas escolas com alunos “mais pobres” o percentual de respostas “não sei” é maior. Se considerarmos que esses professores não analisam de forma consideravelmente diferente essas perguntas (e não sei se essa é uma premissa válida) talvez as respostas indiquem que é mais difícil prever o que acontecerá com alunos de classe socioeconômica mais baixa.

Read Full Post »

A necessidade de uma Educação de qualidade para os alunos de baixa renda

A reportagem de capa da Revista Educação desse mês (junho) é muito interessante. O texto de Paulo Camargo mostra como a presença dos insumos educacionais é mais forte nas escolas públicas que atendem alunos de classe socioeconômica mais alta. Poucos professores que dão aulas para alunos de classe socioeconômica mais baixa, por exemplo, dizem conseguir desenvolver os conteúdos previstos (o percentual é consideravelmente mais alto nas escolas com alunos de classe socioeconômica mais alta). E perceba que a análise foi feita com dados de alunos que estudam em escolas públicas, isto é, a segregação existe dentro das redes.

Reportagem complementar a matéria apresenta um bom trabalho que vem sendo feito em Novo Horizonte, pequeno município paulista de pouco mais de 36 mil habitantes. O texto mostra como um gestor motivado e ações simples podem auxiliar e muito na missão de fornecer um aprendizado adequado aos alunos (inclusive alunos de baixa renda).

Recomendo a leitura desses textos e em breve apresentarei dados e análises detalhadas que fiz sobre o assunto e que auxiliaram as matérias. Avaliei aspectos como estrutura familiar, condições para o estudo em casa, participação dos pais, hábitos de leitura, relação aluno-professor, políticas escolares (para a redução do abandono e da reprovação, por exemplo), entre outros aspectos. Já adiantando o panorama, o que se verifica é que, infelizmente, as condições para obtenção de uma Educação de qualidade na média são piores para os alunos de mais baixa renda.

Seguem abaixo os links para as três reportagens da Revista Educação sobre o tema (a segunda e terceira estão abertas apenas para assinantes da revista ou do UOL).

Olhares para a pobreza

Em busca de singularidades

Jogo de empurra

Read Full Post »