Perícia revela deficiências na metodologia de avaliação do Enem 2016

Análise técnica identifica problemas estruturais na avaliação do Enem 2016

Uma perícia especializada realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) revelou deficiências significativas na metodologia de avaliação do Enem 2016, particularmente no que se refere ao processo de pontuação das medidas utilizadas nas duas aplicações do exame naquele ano. O estudo foi contratado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, após ação judicial iniciada por candidatos que se sentiram prejudicados pelos resultados.

A investigação teve como objetivo principal verificar se a diferença substancial no número de candidatos entre as duas aplicações do Enem 2016 influenciou nos resultados finais e se isso ocasionou prejuízos aos alunos que realizaram a segunda prova. A perícia analisou dados coletados entre 5 e 9 de fevereiro de 2018, utilizando informações sigilosas do instituto.

Contexto das duas aplicações do Enem em 2016

O ano de 2016 foi marcado por uma série de ocupações estudantis em escolas públicas distribuídas por 23 estados e no Distrito Federal. Esses protestos, que reivindicavam contra a reforma do ensino médio e a PEC 241, impossibilitaram a utilização de centenas de unidades escolares como locais de aplicação do exame nacional.

Em decorrência dessa situação, o Ministério da Educação precisou adiar a prova para mais de 270 mil candidatos, tornando inviável uma segunda aplicação durante a mesma semana. Assim, o Enem 2016 ocorreu em duas datas distintas: a primeira aplicação foi realizada em 5 e 6 de novembro, contando com aproximadamente 5,8 milhões de participantes. A segunda aplicação aconteceu em 3 e 4 de dezembro, com menos de 170 mil candidatos inscritos. Essa disparidade numérica entre as duas ocasiões gerou questionamentos sobre a equidade do processo avaliativo.

Principais fragilidades identificadas na perícia

O laudo produzido por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora, totalizou 207 páginas. O perito, que atuou como membro do conselho científico do Enem e possui expertise em Teoria da Resposta ao Item (TRI), identificou quatro pontos críticos de fragilidade:

Em primeiro lugar, constatou-se a quantidade insuficiente de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem. Em segundo lugar, identificou-se que o tamanho das amostras de calibração em alguns pré-testes apresentava limitações. Terceiro, o laudo apontou imprecisão na forma como os resultados do Enem são reportados ao público. Por fim, registrou-se a ausência de informações adequadas para o público sobre a qualidade dos testes e das medidas empregadas.

O documento ainda revela que os testes aplicados nas disciplinas de Ciências Humanas e Ciências da Natureza apresentaram níveis de precisão praticamente equivalentes em quase todos os níveis de proficiência, embora a prova de Ciências da Natureza da segunda aplicação tenha sido ligeiramente mais fácil que a primeira.

Diferenças entre as disciplinas e seus impactos

Conforme constatado no laudo, as maiores diferenças entre as duas aplicações ocorreram nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina, os candidatos da primeira aplicação obtiveram vantagem, enquanto na segunda disciplina, os candidatos da segunda aplicação apresentaram resultados superiores. As menores diferenças foram observadas em Ciências da Natureza.

Contudo, o perito ressalvou que não é possível realizar uma análise abrangente de comparabilidade para todos os casos nas dimensões do Enem. Segundo o texto do laudo, cada situação precisaria ser analisada individualmente, e provavelmente não se chegaria a uma conclusão definitiva na maioria dos casos avaliados.

Resposta institucional do Inep às conclusões da perícia

O Inep informou ao lançar a notícia que não foi notificado oficialmente sobre qualquer resultado referente à perícia realizada nas suas dependências. A instituição reafirmou sua confiança na metodologia adotada desde 2009, destacando que essa abordagem é reconhecida nos âmbitos nacional e internacional.

Em comunicado oficial, o instituto declarou que conta com a consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica de avaliações em larga escala, afirmando ter total segurança quanto aos procedimentos metodológicos empregados. A assessoria de comunicação do Inep ressaltou ainda que, independentemente do conteúdo do laudo, este representa uma opinião isolada.

Próximos desdobramentos e ações do Ministério Público Federal

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga irregularidades na adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia tanto para o Inep quanto para os estudantes que manifestaram ter sido lesados pelo teste.

Segundo o procurador, o laudo é extenso e não apresenta uma conclusão única e definitiva. O primeiro passo foi distribuir a perícia aos principais interessados, concedendo um prazo para análise de todos. Posteriormente, o MPF pretende realizar uma audiência pública na qual todos os envolvidos poderão expor seus pontos de vista sobre o assunto. Apenas após esse processo, o Ministério Público Federal analisará como proceder, considerando opções como pedidos de indenização, aumento de notas para estudantes ou outras medidas cabíveis.

O procurador Macedo evidenciou a sensibilidade do caso, afirmando estar lidando com uma questão delicada que exige cautela e análise minuciosa antes de qualquer decisão final. Segundo informações do MPF, ainda não há previsão definida para a realização da audiência pública.

Reclamações dos candidatos afetados e investigação inicial

A investigação do Ministério Público Federal teve origem após a divulgação dos resultados do Enem 2016 em janeiro de 2017. Naquele momento, estudantes de todo o país procuraram o MPF para relatar insatisfação com as notas obtidas na segunda aplicação do exame, que consideravam desproporcionalmente menores quando comparadas às notas de candidatos da primeira aplicação.

Uma análise das notas dos candidatos que registraram reclamações comprovou existência de diferença significativa entre os resultados das duas aplicações. Os alunos que realizaram a primeira prova obtiveram notas substancialmente maiores. O procurador Leonardo Macedo apontou para a metodologia da TRI como possível responsável por essa disparidade, enfatizando que essa teoria considera o número de candidatos em cada aplicação e necessita levar em conta as diferenças no percentual de 'treineiros' participantes de cada ocasião, a maior abstenção da segunda aplicação e o tipo de candidato presente nos locais de prova.

Metodologia TRI e seus impactos no cálculo das notas

A Teoria da Resposta ao Item (TRI) é a metodologia utilizada pelo Enem para transformar respostas breves em notas nas escalas de cada disciplina. Conforme explicado pelo procurador, essa teoria leva em consideração aspectos como a quantidade de participantes, o padrão de resposta e características específicas de cada grupo de testando. As variações no número de candidatos, portanto, podem influenciar o cálculo das proficiências finais.

Essa questão se tornou particularmente relevante em 2016, dada a enormidade da diferença entre as duas aplicações. A primeira contou com 5,8 milhões de participantes, enquanto a segunda reuniu aproximadamente 166 mil candidatos, levando em conta a abstenção de 40% registrada nessa ocasião.

Cronologia dos eventos e decisões judiciais

Os eventos que precederam a perícia começaram em outubro de 2016, quando as ocupações estudantis se intensificaram. Em 4 de novembro, véspera da primeira aplicação, o Ministério da Educação anunciou o adiamento do exame em 364 locais de prova. A abstenção na primeira aplicação ficou em torno de 30%, enquanto na segunda aplicação atingiu 40%.

Após a divulgação dos resultados em janeiro de 2017, o Inep informou que um erro técnico havia impedido que 20 mil candidatos tivessem acesso às suas notas inicialmente. Esse incidente reforçou as preocupações dos candidatos afetados e contribuiu para a abertura da investigação pelo MPF em meses subsequentes.

Em dezembro de 2017, o Ministério Público Federal ingressou na Justiça com ação civil pública solicitando acesso aos dados sigilosos necessários para a realização da perícia. Houve também disputa sobre os termos de acesso aos dados, sendo que o Inep argumentou que o perito não havia apresentado identificações necessárias, enquanto o MPF contestou essa afirmação.

Considerações finais e perspectivas futuras

A perícia realizada no Inep trouxe à tona questões fundamentais sobre a robustez das metodologias empregadas na avaliação em larga escala no Brasil. Embora as conclusões não sejam definitivas, a identificação de fragilidades no processo reforça a importância de revisões periódicas dos critérios técnicos utilizados.

Enquanto aguarda a realização da audiência pública, o Ministério Público Federal avalia cuidadosamente as opções disponíveis para reparar possíveis injustiças cometidas contra os candidatos da segunda aplicação do Enem 2016. Essa análise refletirá não apenas sobre as medidas compensatórias, mas também sobre as reformas necessárias nos procedimentos para evitar situações similares em futuras edições do exame nacional.