Acessibilidade / Reportar erro

Avaliação da educação superior na revista Ensaio: Avaliação e Políticas Públicas em Educação: ênfases e tendências

Higher education evaluation in the Ensaio Journal: Evaluation and Public Policies in Education: emphasis and trends

Evaluación de la educación superior en la revista Ensaio: Evaluación y Políticas Públicas en Educación: énfasis y tendencias

Resumos

O artigo analisa as ênfases e tendências dos textos publicados pela revista Ensaio: avaliação e políticas públicas em educação, tomando como referência a política de avaliação para a educação superior. Reconstitui o cenário brasileiro da avaliação nos governos de Fernando Henrique Cardoso (FHC) (1995-1998 / 1999-2002) e Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). Relaciona as temáticas dos artigos em cada período histórico e aponta as concepções de avaliação presentes nas análises. Finaliza com reflexões acerca da importância do periódico, enquanto espaço de socialização dos estudos sobre avaliação da educação, especialmente da educação superior, destacando que a ênfase/tendência dos textos publicados contém a ideia da avaliação como desempenho e avaliação associada à qualidade da educação.

Educação superior; Avaliação; revista Ensaio; FHC; Lula da Silva


The article analyzes the emphasis and trends of the published texts in the Ensaio Journal: Evaluation and Public policies in education, with reference to the evaluation policies for higher education. It reconstructs the Brazilian scenery of evaluation in the government of Fernando Henrique Cardoso (FHC) (1995-1998 / 1999-2002) and Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). It relates the articles themes with each historical period and points out the concepts of evaluation in those analysis, It concludes with reflections about the importance of the Journal, as a space/tool of educational evaluation studies socialization , especially in higher education, remarking that the published texts include the idea of evaluation as achievement and evaluation associated with the quality of education.

Higher Education; Evaluation; Ensaio Journal; FHC; Lula da Silva


El artículo analiza el énfasis y las tendencias de los textos publicados en la Revista Ensayo: evaluación y políticas públicas en educación y toma como referencia la política de evaluación para la educación superior. Reconstituye el escenario brasileño de la evaluación durante los gobiernos de Fernando Henrique Cardoso - FHC (1995-1998 / 1999-2002) y Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). Relaciona las temáticas de los artículos en cada período histórico y señala las concepciones de evaluación presentes en los análisis. Concluye con reflexiones sobre la importancia del periódico, como espacio de socialización de los estudios sobre evaluación de la educación, especialmente de la educación superior, y destaca que el énfasis y la tendencia de los textos publicados sustentan la idea de la evaluación como desempeño y la asocian a la calidad de la educación.

Educación Superior; Evaluación; revista Ensaio; FHC; Lula da Silva


Avaliação da educação superior na revista Ensaio: Avaliação e Políticas Públicas em Educação: ênfases e tendências

Higher education evaluation in the Ensaio Journal: Evaluation and Public Policies in Education: emphasis and trends

Evaluación de la educación superior en la revista Ensaio: Evaluación y Políticas Públicas en Educación: énfasis y tendencias

Maria das Graças Medeiros TavaresI; Maria Antonieta Albuquerque de OliveiraII; Otília Maria Lúcia Barbosa SeiffertIII

IDoutora em Educação Brasileira, Universidade Federal do Rio de Janeiro (UFRJ); Professora Associada III, Centro de Educação e do Programa de Mestrado e Doutorado em Educação, Universidade Federal de Alagoas (UFAL); Professora Visitante da Universidade Federal do Estado do Rio de Janeiro (UNIRIO); Coordenadora do Grupo de Pesquisa Gestão e Avaliação Institucional. E-mail: graccatavares@uol.com.br

IIDoutora em Educação, Pontifícia Universidade de são Paulo (PUC/SP); Professor Adjunto IV, Programa de Mestrado e Doutorado em Educação (UFAL). E-mail: mariaantonieta07@gmail.com

IIIDoutora em Psicologia da Educação (PUC/SP); Professor Adjunto IV, Programa de Mestrado Ensino em Ciências da Saúde, Universidade Federal de São Paulo (UNIFESP). E-mail: o.seiffert@unifesp.br

RESUMO

O artigo analisa as ênfases e tendências dos textos publicados pela revista Ensaio: avaliação e políticas públicas em educação, tomando como referência a política de avaliação para a educação superior. Reconstitui o cenário brasileiro da avaliação nos governos de Fernando Henrique Cardoso (FHC) (1995-1998 / 1999-2002) e Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). Relaciona as temáticas dos artigos em cada período histórico e aponta as concepções de avaliação presentes nas análises. Finaliza com reflexões acerca da importância do periódico, enquanto espaço de socialização dos estudos sobre avaliação da educação, especialmente da educação superior, destacando que a ênfase/tendência dos textos publicados contém a ideia da avaliação como desempenho e avaliação associada à qualidade da educação.

Palavras-chave: Educação superior. Avaliação. revista Ensaio. FHC. Lula da Silva.

ABSTRACT

The article analyzes the emphasis and trends of the published texts in the Ensaio Journal: Evaluation and Public policies in education, with reference to the evaluation policies for higher education. It reconstructs the Brazilian scenery of evaluation in the government of Fernando Henrique Cardoso (FHC) (1995-1998 / 1999-2002) and Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). It relates the articles themes with each historical period and points out the concepts of evaluation in those analysis, It concludes with reflections about the importance of the Journal, as a space/tool of educational evaluation studies socialization , especially in higher education, remarking that the published texts include the idea of evaluation as achievement and evaluation associated with the quality of education.

Keywords: Higher Education. Evaluation. Ensaio Journal. FHC. Lula da Silva.

RESUMEN

El artículo analiza el énfasis y las tendencias de los textos publicados en la Revista Ensayo: evaluación y políticas públicas en educación y toma como referencia la política de evaluación para la educación superior. Reconstituye el escenario brasileño de la evaluación durante los gobiernos de Fernando Henrique Cardoso – FHC (1995-1998 / 1999-2002) y Luiz Inácio Lula da Silva (2003-2006 / 2007-2010). Relaciona las temáticas de los artículos en cada período histórico y señala las concepciones de evaluación presentes en los análisis. Concluye con reflexiones sobre la importancia del periódico, como espacio de socialización de los estudios sobre evaluación de la educación, especialmente de la educación superior, y destaca que el énfasis y la tendencia de los textos publicados sustentan la idea de la evaluación como desempeño y la asocian a la calidad de la educación.

Palabras clave: Educación Superior. Evaluación. revista Ensaio. FHC. Lula da Silva

Introdução

O presente trabalho contém parte dos resultados da pesquisa interinstitucional intitulada Políticas de Avaliação e Expansão da Educação Superior no Brasil pós- LDB/1996, que vem sendo desenvolvida por pesquisadores vinculados ao Grupo de Trabalho de Políticas de Educação Superior da Associação Nacional de Pesquisa e Pós-Graduação em Educação (GT 11/ANPEd). Cabe ressaltar que esta pesquisa é parte do Projeto Integrado Políticas de Expansão da Educação Superior da Rede UNIVERSITAS/BR, que objetiva investigar, de maneira mais geral, o fenômeno da expansão da educação superior no Brasil, pós Lei de Diretrizes e Bases (BRASIL, 1996). O trabalho considera os seguintes aspectos: a) financiamento na expansão da educação superior; b) organização institucional e acadêmica na expansão da educação superior; c) avaliação na expansão da educação superior; d) trabalho docente na expansão da educação superior; e) acesso e permanência na expansão da educação superior; f) produção do conhecimento na expansão da educação superior.

A proposta deste artigo é analisar quais as ênfases e tendências dos textos elaborados para a revista Ensaio, tomando como referência a política de avaliação para a educação superior presente nos governos de Fernando Henrique Cardoso (FHC) (1995-1998 e 1999-2002) e Luiz Inácio Lula da Silva (2003-2006 e 2007-2010), ou seja, se as temáticas, objetos de pesquisa, estão sintonizadas com as questões norteadoras das políticas públicas de avaliação durante o período estudado.

Metodologia

As análises foram realizadas tendo como banco de dados a produção científica publicada na revista Ensaio: avaliação e políticas públicas em educação. No primeiro momento, foram acessados os textos dos artigos não disponíveis no Scientific Eletronic Library Online (SciELO), através de cópias conseguidas nas revistas do acervo da CESGRANRIO e a partir do volume 12, número 45, de outubro/dezembro de 2004, através do SciELO. A seguir, foram construídas listagens por ano e por categorias, quais sejam: avaliação institucional e de cursos; avaliação de desempenho docente e discente; avaliação de sistemas/programas, como Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), Exame Nacional de Cursos (ENC), a Avaliação das Condições de Ensino (ACE) e Sistema Nacional de Avaliação da Educação Superior (SINAES), bem como tabelas indicativas de frequência, por distribuição temporal. Num segundo momento, foram aprofundadas as análises pela consulta aos resumos contidos no banco de dados da revista e finalmente foram buscadas as fontes selecionadas, ou seja, os documentos na revista Ensaio.

Tal procedimento implicou opção por análises individuais e grupais. Os autores, já conhecedores do banco de dados, numa primeira fase, planejaram o artigo a partir do espaço temporal compreendido entre os governos FHC e Lula da Silva. A seguir, realizaram as análises individuais e a fase final da elaboração do artigo constituiu-se basicamente de discussões comparativas frente ao quadro teórico buscando identificar até que ponto os textos estão sintonizadas com as questões norteadoras das políticas públicas de avaliação durante o período estudado.

O periódico

A revista Ensaio, portadora do ISSN 0104-4036, é uma publicação trimestral internacional, da Fundação Cesgranrio, criada em 1993, com tiragem de 3.000 exemplares, de distribuição gratuita, circulando nos meses de março, junho, setembro e dezembro. Congrega, em seus Conselhos Editorial e Consultivo, educadores mestres e doutores, de diversos países, nas áreas de Educação, Ciência e Tecnologia, áreas por ela abordadas, para melhor atender à sua especificidade.

Trata-se de um veículo de divulgação de pesquisas, levantamentos, estudos, discussões e outros trabalhos críticos no campo da educação, concentrando-se nas questões de avaliação e políticas públicas e enfatizando as experiências e perspectivas brasileiras, tendo uma linha editorial pluralista do ponto de vista das ideias e das escolas de pensamento e interdisciplinar, do ponto de vista das preocupações e metodologias empregadas por seus colaboradores, acolhendo ou solicitando trabalhos sobre uma ampla multiplicidade de temas.

A revista promove intercâmbio com países da América Latina, México, Espanha, Portugal e a Comunidade de Língua Portuguesa, mantendo também a publicação de artigos em espanhol e em inglês tendo sido contemplada com o apoio financeiro do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), cumprindo os requisitos necessários para o recebimento de auxílio editoração. Recebeu conceito nacional "A" na avaliação dos Periódicos Científicos em Educação, realizada em 2001 pelo Quallis/CNPq e é indexada no SciELO, a partir de 2004 e na Citas Latinoamericanas em Ciencias Sociales y Humanidades (CLASE), da Universidad Nacional Autónoma de México (UNAM). Esta pesquisa levantou dados até o volume 18, número 69, referente aos meses de outubro/dezembro de 2010, perfazendo um total de 479 artigos publicados sendo 131 referentes à avaliação da educação superior em suas múltiplas dimensões.

Desde a sua criação, a revista apresenta uma estrutura flexível, mas com itens permanentes tais como Editorial e Artigos. Observa-se que, a partir do número três, se acrescentam dois novos tópicos em sua estrutura: Página Aberta e Pesquisa em Síntese que a acompanhará em quase todo seu percurso histórico, havendo números em que esses novos tópicos estarão ausentes. O número sete é um número especial por conter algumas palestras proferidas no Seminário Internacional de Avaliação. Nesse número é introduzido um novo tópico denominado Resumo de Dissertação que não se mantém por muito tempo na estrutura da Ensaio. A revista de número 15 comemora os 25 anos da CESGRANRIO e incorpora um item: Entrevista, que só aparece nessa publicação. A partir do número 44, acrescenta-se um novo item denominado Informes e Participações. Esse item também não é permanente.

O que se pode inferir dessa flexibilidade na estrutura da revista Ensaio é que os tópicos/itens acrescentados ao núcleo básico (editorial, artigos) são semelhantes, não necessitando de nomeações múltiplas como Pesquisa em Síntese, Página Aberta, Informes e Participações já que todos os textos são resultados de pesquisa em forma de artigo. O volume 18, número 69, o último de 2010 disponibilizado no SciELO, apresenta editorial e artigos, o que parece sintetizar o que há de mais permanente na estrutura da revista durante os anos de sua publicação.

Reconstituindo o cenário brasileiro da avaliação: 1995-2002

No Brasil, a avaliação da educação superior vem ganhando centralidade e força nos planos governamentais em decorrência da uma nova concepção do poder e papel do Estado frente à inexorável integração do País à economia mundial, nos moldes do modelo de globalização como alternativa diante da crise de acumulação de capital. Essa relação configura um Estado mínimo com sua organização política, jurídica e ideológica no campo dos direitos sociais, como a educação.

Neste campo, um dos setores expressivamente bastante atingidos é o da educação superior, particularmente a partir de 1995. Esse setor vem passando por alterações em sua configuração e funcionamento em decorrência da adoção de um modelo organizacional de Estado que foi capaz de imprimir novos rumos aos projetos de desenvolvimento brasileiro, a exemplo do acelerado ritmo de abertura de novas Instituições de Educação Superior (IES), seguido do processo de diferenciação, desregulamentação e privatização da oferta e financiamento do nível superior (SGUISSARDI, 2008).

No Brasil, as motivações definidas para avaliação da educação superior estão geralmente associadas com os processos de legitimação do Estado em decorrência de alterações no seu papel político, social e cultural para atendimento às tendências da economia mundial.

No primeiro mandado do governo FHC (1995-1998), a reforma do modelo de administração pública para administração gerencial simbolizou uma resposta pragmática do Estado à política econômica mundial. A filiação do governo FHC ao modelo gerencial foi oficialmente anunciada no documento intitulado Plano Diretor da Reforma do Aparelho do Estado (BRASIL, 1995). Em linhas gerais, esse documento esclarece quais são os objetivos e estabelece diretrizes para a reforma da administração pública brasileira. Em seu conteúdo, destaca-se a critica ao modelo de administração baseada em princípios racionais e burocráticos.

Com base nesse movimento ideológico, no Brasil a partir 1995, o Estado, ao buscar atingir os fins do capital mundializado, e percebendo a Educação Superior com meio para produzir os conhecimentos e técnicas do interesse do mercado global, instituiu formas de mostrar-se presente nesse campo educação, encontrando como alternativa, ser avaliador1 1 As políticas de ajuste neoliberal desenvolvidas no Brasil fazem parte de um conjunto de estratégias sugeridas pelos organismos internacionais especialmente aos países da America Latina a exemplo de Argentina, Chile, para romper com a crise econômica vivenciada a partir dos anos de 1970. .

Neste contexto, foram instituídas ações no quadro das políticas governamentais, induzindo a expansão da educação superior privada por meio da diversificação e diferenciação das instituições, bem como políticas avaliativas para controlar a qualidade produtivista (SGUISSARDI, 2008). Essas ações refletem a coerência com as circunstâncias históricas de desenvolvimento das forças produtivas, das relações de trabalho e da reestruturação do Estado gerencial no contexto do neoliberalismo.

A década de 1990 assistiu à implementação de políticas de ajuste neoliberais, com o redimensionamento das esferas pública e privada e das mais variadas atividades humanas, no âmbito do Estado e da sociedade civil. O espaço privado conquistou nova amplitude e visibilidade, não apenas sob o ponto de vista das atividades produtivas, com naquele dos direitos sociais já consolidados através do empenho dos movimentos trabalhistas. Como consequência para o setor educacional, em especial para a educação superior, os sucessivos governos brasileiros neoliberais vêm implementando uma reforma estrutural nas universidades por meio de um intenso processo de privatização.

Coerente com tal contexto, FHC, desde o programa de governo (CARDOSO, 1994) de seu primeiro mandato, elegeu o poder executivo para assumir o papel de órgão centralizador e gestor das políticas públicas. Parcerias Estado–Sociedade foram incentivadas visando à maior participação da sociedade civil, no aprofundamento e consolidação do processo de democratização. Destarte, surgiam outros canais de participação e de controle público, multiplicavam-se os espaços de negociação de conflitos, definia-se o apoio das formas novas de parceria entre as esferas administrativas e entre Estado e sociedade, de modo a permitir que diferentes instituições como empresas, sindicatos e universidades assumissem a co-responsabilidade pelas ações de interesse público (NEVES, 1996).

A política de avaliação adotada por FHC, vigente a partir de 1995, recupera em parte o que fora proposto pelas anteriores, notadamente a do Grupo de Estudos da Reforma da Educação Superior (GERES) e o PAUIB, mas desloca o foco da avaliação institucional para a de curso. Além disso, conserva e reitera a lógica empresarial que, desde a década de 1980, passara a caracterizar as políticas voltadas para o ensino superior, e que interligavam, o GERES de forma mais explícita, à regulação ao financiamento, tornando uma dependente do outro.

Portanto, o Governo FHC traz como eixo norteador da política de avaliação da educação superior a avaliação de cursos e não mais a avaliação institucional. A constatação de que os custos desse nível de escolaridade, tanto em termos absolutos como relativos, se tornam cada vez mais elevados, conduz o Estado à necessidade de criar condições e instrumentos mais eficientes de coleta de informações e de prestação de contas da qualidade e da amplitude dos serviços que as IES oferecem à sociedade em ensino, pesquisa e extensão.

A concepção de avaliação, inicialmente de caráter acadêmico-educacional, destacando nos procedimentos uma preocupação mais qualitativa será acentuadamente influenciada pela urgência da atenção ao mercado/profissão, burocratizando-se os mecanismos de controle à medida que o governo reconhecia sua incapacidade de exercê-lo sobre o setor privado. Substitui-se, portanto, uma concepção e uma prática de avaliação formativa e emancipatória das instituições (PAIUB), por uma classificatória/regulatória do sistema de ensino através da avaliação de curso.

O ENC, popularmente conhecido como "Provão" e com destacada função classificatória, a ACE e a avaliação para credenciamento das instituições privadas, sempre com foco no ensino de graduação, se constituíram em instrumentos para uma possível fiscalização, regulação e controle, por parte do Estado, que viria a se consolidar com o SINAES em 2004. Especialmente, em relação ao Provão, a lógica adjacente era aquela que atribuía a qualidade de um curso à qualidade de seus alunos.

O ENC foi instituído no governo de FHC para inaugurar no campo dos cursos de graduação, o papel do Estado avaliador e regulador. Protagonizado exclusivamente pelo Ministério de Educação, na gestão do ministro Paulo Renato, evidenciou uma concepção de avaliação como controle e hierarquização, voltada para a regulação, buscando identificar os melhores e comparando os padrões de excelência. Para tanto, o Estado providenciou os recursos necessários para o alcance das suas intenções de controle, a exemplo de instrumentos de avaliação, indicadores de qualidade, comissões de especialistas. Nesse caso, a preocupação passa a ser com o produto enquanto resultado das atividades desenvolvidas pelas instituições de educação superior. Essa tem sido uma das tônicas da avaliação numa ótica de prestação de contas.

Ao avaliar o desempenho do sistema de educação superior no período entre 1993 e 2004, com base na intensificação das políticas públicas adotadas, Bertolini (2009) pondera que o desenvolvimento de um sistema de avaliação centrado na emissão de conceitos de qualidade e sistema de indicadores contribui para intensificar a mercantilização, sem necessariamente promover a qualidade da educação superior.

Ênfases e tendências da revista Ensaio no governo FHC

Tomando por referência esse cenário, foi realizado um levantamento no acervo da revista Ensaio que permitiu identificar, considerando o período entre 1995 a 2002 (primeiro e segundo mandatos de FHC) e a abordagem específica da avaliação da educação superior, quarenta e sete (47) artigos que tratam sobre avaliação da educação superior. Importante salientar que o único número da revista Ensaio publicado em 1993, ano de sua criação, não contém artigos sobre educação superior, entretanto temas como avaliação da aprendizagem, de cursos, avaliação institucional, já se fazem presentes a partir de 1994.

Sobre a avaliação da aprendizagem Souza (1994) toma por objeto de estudo a divulgação e utilização dos resultados das teses e dissertações pela sociedade enquanto que Hoffmann (1994) analisa uma experiência inovadora no Instituto de Matemática da Universidade Federal do Rio Grande do Sul, destacando a concepção de avaliação mediadora.

Os primeiros textos publicados na revista Ensaio, durante o ano de 1995, trazem uma concepção de avaliação que se fundamenta na experiência do PAIUB como explicitam Kipnis e Bareicha (1995, p. 365) "do ponto de vista de política governamental, a ação mais concreta pode ser percebida no Programa de Avaliação Institucional da Universidade Brasileira - PAIUB adotado pela [Secretaria da Educação Superior] SESu/ MEC em 1993". Defendem, entretanto, a necessidade da complementaridade entre as metodologias de coleta de informações para a tomada de decisão: dados informados pelo sistema da IES, de caráter mais quantitativo servindo à composição de indicadores e um levantamento da percepção dos atores sobre o processo avaliativo, a partir da aplicação de instrumentos específicos.

Para Greco (1995, p. 30) a "avaliação deve ser realizada dentro do princípio de autonomia e liberdade acadêmica com cada instância da Universidade se autoavaliando e fornecendo subsídios ao repensar do projeto intelectual e pedagógico da Instituição", o que é confirmado por Both (1995, p. 256) ao afirmar que

como processo, a avaliação institucional não se caracteriza nem como agente punitivo, nem premiativo, mas também não representa neutralidade. É ela uma questão de maturidade institucional e de responsabilidade para com a qualidade. Como processo, ainda requer a avaliação institucional ser credível, exequível e consequente.

Entretanto, é bom salientar que já se discutia uma proposta de construção de rankings para as universidades, concepção contrária ao PAIUB. Schwartzman (1995) defende e elabora uma proposta, justificando que o rankeamento serviria para discutir a pertinência e qualidades dos indicadores, melhorar as estatísticas, estimular a geração de novos dados e contribuir para a construção de sistemas de avaliação mais confiáveis. Essa avaliação rankeadora teria três variáveis/indicadores: Índice de Qualificação do Corpo Docente (IQCD); Avaliação dos Cursos de Graduação pela Editora Abril e a avaliação da pós-graduação realizada pela CAPES, além da porcentagem de docentes em tempo integral), e as atividades de extensão não seriam computadas dada sua heterogeneidade e ausência de consenso sobre seus indicadores.

Nessa mesma concepção de avaliação classificatória/regulatória Castro (1995, p. 161) defende a "introdução de um sistema de credenciamento institucional (accreditation), uma ISO 9000 (ou talvez 14.000) para o ensino superior" com o objetivo de "alavancar tanto a qualidade do sistema como um todo, quanto dos serviços prestados pelas instituições, a partir do aumento de sua capacidade gerencial".

Percebe-se, portanto, duas vertentes diferentes de análise dos mecanismos de avaliação presentes naquele momento histórico: uma classificatória/regulatória e outra formativa/emancipatória, com a mesma justificativa: melhoria da qualidade do sistema educacional e, mais especificamente, da educação superior. Além disso, a ênfase dos artigos elaborados recai para a análise de metodologias marcadamente quantitativas que são implementadas em instituições públicas e privadas, priorizando modelos matemáticos de avaliação.

Dentro dessa perspectiva Goldbarg e Ramos (1995), em seu artigo Reflexões sobre a aplicação do modelo de qualidade total ao processo de acesso ao ensino superior, discutem sobre a aplicação do modelo de Gestão pela Qualidade Total (GQT) ao ensino superior comparando a abordagem adotada no país com a disponibilizada pela GQT de modo a identificarem-se as alternativas para a melhoria desse processo de acesso.

Nessa mesma concepção de avaliação, Léste e Vittorio (1996) utilizam o modelo SERVQUAL de Parasuraman, Zeithaml e Berry (1985 apud LÉSTE; VITTORIO, 1996) para avaliar a qualidade de programas de pós-graduação e pesquisa em Economia, sob a ótica dos usuários e conclui que há discrepâncias (hiatos) entre expectativas e percepções bastante significativas e que merecem tratamento especial, através de um Programa de Melhoria da Qualidade.

Outra pesquisa realizada por Lapa e Neiva (1996) trata sobre os conceitos de avaliação institucional, avaliação de desempenho e avaliação de qualidade como temáticas semelhantes, discutindo a melhoria de desempenho através de indicadores relacionados ao aumento na produtividade, na eficiência, na eficácia e na efetividade relacionando-os com o modo com que operam as organizações e programas no setor público, bem como melhoria de qualidade dos processos, produtos e resultados que são gerados no seu interior.

Para Marinho (1996), em seu artigo intitulado Metodologias para avaliação e ordenação de universidades públicas: o caso da Universidade Federal do Rio de Janeiro (UFRJ) e demais instituições federais de ensino superior, a ênfase recai em questões relacionadas à elaboração, execução e acompanhamento do orçamento através da mensuração da eficiência relativa de Unidades Tomadoras de Decisões (DMUs) em contextos organizacionais universitários. A perspectiva fundamental é aquela que se convencionou chamar de Avaliação Organizacional, enquanto atividade fundamental para o controle, coordenação e planejamento das atividades de instituições de ensino de nível superior.

Pelo analisado, os artigos trazem a ênfase na qualidade do desempenho acadêmico das instituições. Nessa lógica, a avaliação serviria, também, de ferramenta de planejamento e gestão universitária e de processo sistemático de prestação de contas à sociedade. Para Barros, (1997, p. 24) "não há prestação de contas sem avaliação externa, da mesma forma que não pode haver melhoria de qualidade sem autoavaliação".

A concepção de avaliação, inicialmente de caráter acadêmico-educacional, destacando nos procedimentos uma preocupação mais qualitativa será acentuadamente influenciada pela urgência da atenção ao mercado/profissão, burocratizando-se os mecanismos de controle à medida que o governo reconhecia sua incapacidade de o exercer sobre o setor privado. Substitui-se, portanto, uma concepção e uma prática de avaliação formativa e emancipatória das instituições (PAIUB), por uma classificatória/regulatória do sistema de ensino através da avaliação de curso.

Os textos publicados no período entre 1996 e 2002 sobre o ENC são apenas quatro, o que é considerado pouco para uma ação que modificou profundamente a forma de avaliação na educação superior.

O primeiro de autoria de Elliot (1996, p. 400), intitulado "Exame Nacional de Cursos: da polêmica a ações", faz uma análise do texto legal e comenta sobre quais dispositivos são alterados da Lei nº 4.024 (BRASIL, 1961) sobre educação superior, atribuições do MEC e da Comissão Nacional de Educação e suas Câmaras, rebate as críticas da comunidade universitária sobre o ENC e propõe 10 ações preventivas que "devem ter como ponto de partida um projeto maior de avaliação do curso, permitindo que o mesmo se organize e atue de forma adequada".

Outro texto elaborado por Schwartzman e Oliveira Júnior (1997) compara os resultados do ENC com a avaliação desenvolvida pelos autores nos cursos de Administração em Minas Gerais. A conclusão do estudo foi que as duas formas de avaliação do ensino superior estão em uma direção correta e que elas são equivalentes quanto aos resultados obtidos. Afirmam que a qualidade de uma instituição pode ser avaliada tanto pela aplicação de um teste aos alunos que se formam - seu resultado - como pela avaliação dos insumos ao processo de educação. O uso de uma ou outra metodologia depende de vários fatores, como custos, a disponibilidade de dados e a facilidade para se obterem informações acerca da infraestrutura, do corpo docente e sobre os alunos das instituições de ensino superior.

Já Zimmer, Neiva e Lapa (1998) analisam os resultados do Provão em Santa Catarina, partindo da constatação que houve um aumento de presença dos concluintes nas provas em 1997 em comparação com 1996, ou seja, houve uma rápida aceitação do chamado Provão pelos estudantes. Para eles dois fatores contribuíram para esta modificação de comportamento:

repercussões que a divulgação dos resultados vem tendo junto à mídia e implicações da qualificação e do regime de trabalho docente no desempenho dos concluintes nas provas do Exame Nacional de Cursos e na renovação periódica de reconhecimento de cursos e de recredenciamento de instituições [...] (ZIMMER; NEIVA; LAPA, 1998, p. 86).

Soares, Martins e Assunção (1998) fazem uma crítica ao ENEM que compara instituições de ensino tendo por base os resultados das respostas dos concluintes sem levar em conta o perfil desses estudantes. Partindo da constatação de que os discentes da PUC/MG tem menor habilidade acadêmica e menor índice de posição social que aqueles admitidos na UFMG e que "a avaliação da IES realmente relevante é aquela que mede o quanto cada instituição acrescenta ao conhecimento de seu aluno e não o conhecimento final do aluno" (SOARES; MARTINS; ASSUNÇÃO, 1998, p. 63), os autores rebatem a forma como vem sendo divulgado o conceito do cursos pois entendem, com base na Teoria de Resposta ao Item (TRI), que os resultados brutos do ENC não podem ser usados para comparar instituições de ensino, como a divulgação dos resultado sugere.

Reconstituindo o cenário brasileiro da avaliação: 2003-2010

Com relação ao Governo Lula da Silva (2003-2010), observa-se que no Programa do seu primeiro mandato intitulado "Um Brasil para Todos 2002", já estava previsto, no item 39, a necessidade de investir eficientemente no ensino, destacando a importância vital da recuperação da rede pública, tanto no nível fundamental quanto no médio e nas universidades, valorizando a qualidade (SILVA, 2002, p. 15).

A concepção de inclusão social do governo Lula supera a lógica de uma pobreza assistida e focalizada de modo estreito, com sobreposições de programas que pulverizam os recursos públicos e, portanto, declara que será através de uma nova política educacional a efetivação da inclusão social:

Os dados do Censo da Educação Superior de 2000 mostram que os jovens das camadas mais pobres praticamente não têm acesso à educação superior pública: apenas 7,7% dos jovens entre 18 a 22 anos frequentam cursos universitários. Cerca de 70% deles estudam em estabelecimentos privados. [...] São tarefas inadiáveis a ampliação significativa das vagas nas universidades públicas e a reformulação do sistema de crédito educativo vigente. (SILVA, 2002, p. 46, grifo nosso)

Em seu segundo mandato como Presidente, ao estabelecer o Programa de Governo 2007-2010, Lula (2006, p. 3) elabora o documento que traz como epígrafe a frase "O nome do meu segundo mandato será desenvolvimento. Desenvolvimento com distribuição de renda e educação de qualidade".

Dentre as ênfases dadas à educação "o acesso mais amplo a uma universidade reformada, expandida e de qualidade superior" está presente e a educação é concebida como questão nacional de primeira grandeza e prioridade do Estado e da sociedade (LULA..., 2006, p. 12). Para tanto, destaca as seguintes metas referentes à educação superior: "Aprofundar a ampliação do ensino superior de qualidade: continuidade do PROUNI, criação de novas universidades e de mais vagas nas Universidades Federais existentes; aprovação da Reforma Universitária, do desenvolvimento de Plano Nacional de Pós-Graduação e do Sistema Nacional de Avaliação do Ensino Superior (SINAES)" (LULA..., 2006, p. 16).

A ascensão de Lula ao poder acarretou uma revisão da política de avaliação que vinha sendo até então implantada, tarefa confiada à Comissão Especial de Avaliação constituída pelo Ministro da Educação Cristovam Buarque

A Comissão se expressou no sentido de não se dissociar de uma visão ancorada na necessidade de regulação por parte do Estado para fomentar e supervisionar o sistema em seu conjunto. Esta perspectiva da avaliação de regulação se inspira no modelo inglês, pautado em critérios quantitativos para auferir o grau de eficiência (ou sua ausência) das IES em se coadunarem às novas exigências sociais. A lógica subjacente é da percepção de que a educação superior funciona como fator de incremento do mercado de trabalho, o que confere à avaliação um caráter predominantemente técnico, preocupado antes com a mensuração de resultados em termos de ensino, e em segundo plano com a produção de conhecimento e a prestação de serviços comunitários.

Reconheceu, entretanto, a Comissão de Avaliação a possibilidade de a avaliação ir além da busca por indicadores meramente quantitativos. Nesta perspectiva, apresenta o questionamento se o seu papel na sociedade ultrapassaria o da prática meramente produtora de juízos de fatos, coleta de dados, média e controle de desempenho, ou alcançaria práticas mais afeitas ao que se possa denominar de uma avaliação emancipatória, voltada para a formação da cidadania, para a produção de conhecimentos como força produtiva e com a prevalência de juízos de valor.

A concepção de avaliação da educação superior no Governo Lula está consolidada em um documento – SINAES – e na Portaria nº 2.051 (BRASIL, 2004b), que o regulamenta, e é tida como instrumento de política educacional e de ações correspondentes, no que se refere à regulação de educação superior. Nessa Portaria (BRASIL, 2004b, não paginado) se reafirma a finalidade da avaliação para

[...] a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social, e especialmente a promoção do aprofundamento dos compromissos e responsabilidades sociais das IES, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.

Nesse contexto, um ponto de destaque do SINAES em relação a outros modelos de avaliação desenvolvidos no Brasil está no fato de propor ser um sistema integrador, que garanta informações e análises da totalidade da educação superior, permitindo, assim, que políticas educativas sejam construídas tanto em nível nacional pelos órgãos do Estado, quanto em âmbito institucional. Nesse sistema, um dos grandes desafios é colocar em exercício os processos avaliativos integrados aos processos regulatórios.

Há quem defenda que é problemático promover essa complementaridade. Nessa linha de raciocínio, Dias Sobrinho (2002) afirma que é muito difícil conciliar um modelo de avaliação externa com aspectos controladores e eficientistas com avaliações que primam pela cidadania da comunidade acadêmica, segundo seus conceitos, sua filosofia e valores. Para ele (DIAS SOBRINHO, 2002, p. 154), "onde há avaliações externas e controladoras bem consolidadas, dificilmente prosperam as autoavaliações".

O SINAES constitui-se como um sistema misto, pois a Lei que o criou apresenta tanto características da avaliação emancipatória quanto da regulatória. No entanto, há preocupação em diferenciar os processos de avaliação e regulação3 3 A regulação do sistema inclui o credenciamento e recredenciamento de instituições, além da autorização, reconhecimento e renovação de reconhecimento dos cursos. Estes se constituem em processos distintos da avaliação, embora tomem em conta os seus resultados. , de forma que introduziu vários instrumentos objetivando assegurar o caráter sistêmico da avaliação, a integração dos espaços, momentos e distintas etapas do processo, além da informação em torno de uma concepção global única da instituição avaliada. Em função do exposto, caracteriza-se por tomar a avaliação como instrumento de política educacional voltado à defesa da qualidade, da participação e da ética na educação superior.

Os principais instrumentos que compõem o SINAES, atentos às distintas dimensões complementares da avaliação da educação superior, são: (i) Avaliação Institucional, que compreende dois momentos distintos: autoavaliação orientada e avaliação externa; (ii) Avaliação de Cursos de Graduação (ACG), que tem por objetivo "identificar as condições de ensino oferecido aos estudantes, em especial as relativas ao perfil do corpo docente, as instalações físicas e a organização didático-pedagógica" (BRASIL, 2004a, não paginado); (iii) Exame Nacional de Desempenho de Estudantes (ENADE). Este último trata-se de uma prova em larga escala com o objetivo de verificar os conhecimentos dos estudantes acerca de conteúdos programáticos, competências e habilidades. É aplicada em alunos do primeiro ano e em concluintes, atendendo a todos os cursos do país, pois, a cada triênio, áreas específicas realizam a prova.

No que tange à avaliação de instituições, vale ressaltar o processo de autoavaliação em que, segundo uma visão emancipatória, as IES deveriam promover com o apoio da comunidade acadêmica e da externa, de forma democrática e participativa, uma autoavaliação que permitisse tomar consciência das suas potencialidades e limitações.

Dessa forma, o SINAES busca utilizar instrumentos e recursos para além do controle e da verificação, contrapondo-se ao processo anterior, realizado apenas verticalmente (do MEC para as IES e cursos) e com fins classificatórios. Assim, pela primeira vez no país, buscou-se uma política nacional de avaliação, com a participação dos sistemas estaduais, fundada em perspectiva compreensiva e pedagógica que, partindo das IES, a elas retornava, passando pela ação mediadora do poder público. (MENEGHEL; ROBL; SILVA, 2006).

Em 2008, porém, houve mudanças significativas no SINAES, especialmente no papel do ENADE. A partir dos seus resultados e de outras variáveis foram criados indicadores sintéticos: o Conceito Preliminar de Curso (CPC) e o Índice Geral de Cursos (IGC). Ambos geram um ranking com consequências para o processo de regulação de cursos e instituições e, desta forma, tal como ocorreu com o ENC, seus resultados passaram a desempenhar papel preponderante na regulação da educação superior brasileira (BARREYRO, 2008). Dessa forma foi diminuída a importância dos processos de ACG, uma vez que os resultados do ENADE - realizado apenas com estudantes – se tornaram mais valorizados que todo o processo de elaboração de relatórios suscitado pela ACG, que exige análise/reflexão de coordenadores do curso e da IES quanto à contratação do corpo docente, das condições de infraestrutura e biblioteca e da estrutura curricular adotada.

Ênfases e tendências da revista Ensaio no governo Lula da Silva

Nesse novo contexto político brasileiro, a revista Ensaio publicou, no período 2003-2010, 68 artigos sobre a temática avaliação da educação superior tendo o ano de 2009 o maior número de publicações - 16 artigos. Dos 68 artigos apenas 13 se referem ao SINAES; entretanto, já se observa uma preocupação sobre temas antes não priorizados como ENEM analisado por Cortelazzo, (2003) que apresenta dados relativos ao grande aumento no número de inscritos no ENEM em São Paulo, decorrente da decisão de aproveitamento do resultado desse exame nos principais concursos vestibulares do Estado. Faz ainda uma análise comparativa do desempenho dos egressos de escolas da rede pública e da rede particular de ensino nos processos seletivos, com ênfase no praticado pela Unicamp e uma série de considerações referente ao Exame e à sua utilização pelas Instituições de Ensino Superior, muitas vezes sem um instrumento adequado para a seleção de seus futuros alunos.

Outro tema novo que aparece em 2005 e retorna em 2010 é sobre cotas no ensino superior. Segundo Vasconcelos e Silva (2005), as cotas para acesso ao ensino superior têm sido implementadas sem o merecido debate com os diversos segmentos envolvidos, incluindo os professores e os candidatos à universidade. A pesquisa realizada demonstrou que a maioria dos estudantes se posicionou favorável, e prioriza cotas para ex-alunos de escolas públicas em vez de minorias baseadas na raça/cor. Mais da metade dos entrevistados demonstra interesse em se beneficiar das cotas, desde que na categoria de egressos de escola pública. Esses mesmos alunos considerariam injusta a entrada de outro candidato beneficiado por cotas com média inferior à sua, se isso representasse sua exclusão da universidade. Enfim, os autores se posicionam sobre a inadequação de um sistema de cotas baseados na cor da pele por ser um critério reconhecidamente sujeito a falhas e preconceitos.

Já para Santana (2010), o acesso à universidade através da política de cotas para afrodescendentes não se constitui como uma política de discriminação e de favorecimento, mas de instrumento necessário para garantir o atendimento do artigo 5º, caput, da Constituição Federal (BRASIL, 1988), que prevê a obrigatoriedade de obediência ao princípio da igualdade. Ao demonstrar que as políticas públicas de ação afirmativa na educação são imprescindíveis na esfera social e atendem aos parâmetros constitucionais vigentes faz algumas ponderações acerca de sua efetividade quando afirma que:

[...] uma política de cotas, embora comece a demonstrar resultados a curto e médio prazos (mascarados por análises superficiais), geram em seu bojo problemas de outra ordem. Dar acesso a uma parcela mínima daqueles que estão em situação desfavorável não é inclusão social, pode ser um início que deve ser rapidamente sustentado por outras ações sob pena de agravar o proselitismo em vez de combatê-lo (BRASIL, 1988, p. 7).

A Educação a Distância (EAD) começa a ser objeto de pesquisa cujos resultados são publicados na Ensaio a partir de 2009, com dois artigos: "Do diagnóstico às questões avaliativas: um caminho possível via prática de avaliação em educação a distância", de Silva e Silva (2009) e "Avaliação do aprendizado via educação a distância: a visão dos discentes", de Arieira e outros (2009). O primeiro apresenta resultados parciais de uma avaliação diagnóstica da Educação Superior a Distância no País. Esse estudo foi desenvolvido na disciplina Prática de Avaliação oferecida no Mestrado Profissional em Avaliação da Fundação Cesgranrio, e o segundo busca evidenciar a posição dos acadêmicos do ensino presencial sobre a metodologia de educação a distância; avaliar os pontos fortes e fracos da metodologia na opinião dos acadêmicos; avaliar a percepção dos acadêmicos, em relação às vantagens e desvantagens da metodologia, de educação a distância em relação ao ensino presencial.

Com relação à questão do financiamento, dois artigos se destacam nos anos de 2008 e 2009. O primeiro deles, "Políticas e instrumentos de financiamento de estudos universitários: encruzilhadas para o desenho de sistemas de financiamento sustentáveis", de Donozo Diaz (2008), analisa as principais tendências em matéria de demandas crescentes e novas propostas de políticas e instrumentos de financiamento dos estudos universitários em diferentes países. São revistos alguns casos nos seguintes países: Austrália, Alemanha, Reino Unido, Chile, Estados Unidos e Colômbia, que, sob diversos formatos, orientações e instrumentos, buscam resolver um conjunto de problemas comuns. O texto termina com uma análise de semelhança e diferenças e de formulação de proposições que, além de qualquer posição ideológica, política e técnica, tem por base o papel chave do estado e das diversas políticas públicas nos diferentes cenários apresentados.

O segundo artigo intitula-se "O Sistema de "targeted vouchers" e seus efeitos", de Andrade (2009) e discute os benefícios do sistema de targeted vouchers vis-à-vis o atual. Ele analisa a experiência chilena e enfatiza a importância do desenho apropriado do sistema de vouchers de maneira a alcançar os resultados esperados. A análise também sugere que a introdução do sistema de targeted vouchers pode enfrentar oposição devido a duas consequências potenciais de sua implementação: a redução no bem-estar de grupos específicos e o fechamento das universidades públicas menos eficientes.

Em 2004, ano da criação do SINAES, a ênfase dos artigos recai sobre avaliação docente através de variáveis de desempenho e a relação magistério e mercado de trabalho como também a utilização de um modelo alternativo baseado em Análise Envoltória de Dados (DEA). Esta técnica compara a produção de cada departamento de ensino com os recursos disponíveis. A atribuição de pesos a cada item é diferenciada por departamento, de forma a não haver subjetividade e valorizar-se o item de melhor desempenho de cada um.

O tema da avaliação docente volta a ser objeto de análise na Ensaio em 2010, em artigo de Embiruçu, Fontes e Almeida intitulado "Um indicador para a avaliação do desempenho docente em Instituições de Ensino Superior". Segundo os autores, o índice de desempenho docente proposto faz uma avaliação bastante completa, na medida em que considera todas as principais atividades e possui aderência aos indicadores do REUNI (90% de conclusão nos cursos e relação 18 estudantes para um professor) acrescido de outros aspectos como afastamento, gestão acadêmica, extensão e produção científica e qualidade do curso do qual o docente faz parte.

Para os autores,

o índice possui um grau de robustez adequado, na medida em que [...] estes últimos itens de qualidade são considerados através de entidades externas à instituição, quais sejam, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), a CAPES (ambos órgãos do MEC) e o CNPq (órgão do MCT), agências oficiais nacionais de regulação e fomento, e de amplo reconhecimento (EMBIRUÇU, FONTES; ALMEIDA, 2010, p. 21).

Entretanto, reconhecem que sendo um índice que chega ao detalhe da avaliação individual, ele está propício ainda a ser modificado para gerar suas diversas versões institucionais, quais sejam, as instâncias de departamentos, colegiados e unidades acadêmicas.

Um ano após a implantação do SINAES, começam a surgir artigos que tratam sobre a nova política de avaliação da educação superior. Em 2005, temos o artigo de Segenreich (2005) que traz uma discussão sobre o SINAES, instituído em abril de 2004, e o Plano de Desenvolvimento Institucional (PDI). Para a autora, o PDI deve servir como documento de referência para a avaliação institucional (interna e externa), dada a sua natureza de construção coletiva:

Em nível institucional, a experiência concreta de um modelo faz ressaltar a pouca atenção que se atribui à cultura de uma instituição complexa como a universidade. A proposta de um modelo participativo de construção dos objetivos institucionais não se deveu à indicação do MEC, mas da constatação de que o referente de uma instituição somente será assumido se for construído pelos seus atores mediante um modelo de avaliação de quarta geração, isto é, avaliação por negociação contínua (SEGENREICH, 2005, p. 165).

A autora critica as políticas públicas sobre avaliação institucional, anteriores ao SINAES, por estarem se transformando em "um pacote de controle governamental, instrumento de poder e disciplinação, a partir de indicadores (âmbito do referente) externos à instituição e, frequentemente, contrários à sua concepção de universidade" (SEGENREICH, 2005, p. 165) e que aquele vem para contemplar a possibilidade de, a partir de um conjunto de dimensões propositivas, conceder a cada IES a abertura para se autoavaliar em função de sua especificidade. Sendo assim, propõe que deveria haver a inserção do PDI na avaliação interna das IES, não só em relação às metas nele propostas mas, também, em relação ao seu próprio processo de construção e implementação.

Verhine, Dantas e Soares (2006, p. 291), em seu artigo intitulado "Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior", afirmam que as análises apontam para uma grande similaridade dos processos técnicos das duas abordagens, ENC e ENADE, enquanto que as diferenças se apresentam mais no plano conceitual, vez que o ENADE se propõe a apresentar um indicador de diferença de desempenho "e, especialmente, perde o caráter high stakes do exame que o antecedeu. Os autores concluem que o novo exame não conseguiu, até o momento, resolver vários problemas identificados no ENC embora possa ser considerado um avanço em relação à utilização dos seus resultados, pois não só

deixaram de se prestar a ranking e a competições, como os novos objetivos do sistema o tornaram mais subjetivo, consequentemente, dificultando os processos de avaliação, em especial quanto ao estabelecimento de critérios e de padrões a partir dos quais decisões quanto à regulação viriam a ser tomadas" (VERHINE; DANTAS; SOARES, 2006, p. 296).

Outro artigo que trata sobre o SINAES foi elaborado por Nunes (2006) e se intitula "As dimensões da auto-avaliação institucional: tecendo redes de redes". Para a autora, as dez dimensões da Avaliação Institucional abordadas pelo SINAES, constituem-se como uma rede de relações que se configura no âmbito do cenário contemporâneo.

O conceito de rede tomado de empréstimo ao setor empresarial introduz no cenário educativo a sofisticação dos instrumentos e o emprego de metodologias como o empowerment, acarretando

novas exigências para as instituições de ensino superior, que serão avaliadas no contexto de indicadores, calculados com o apoio de recursos tecnológicos capazes de detectar os possíveis enganos e/ou incoerências das informações disponibilizadas em relatórios finais de avaliação" (NUNES, 2006, p. 341).

Nesse contexto, evidencia-se a importância de se estabelecer um sistema de informações consistente – rede –, capaz de refletir concretamente os processos constantes da instituição que pode se apresentar de muitas formas: tanto nas relações que se estabelecem entre seus segmentos, quanto aos inúmeros recursos de informação e comunicação, hoje acessíveis aos mais diversos setores da universidade. Destaca ainda a importância da Comissão Própria de Avaliação (CPA) e da Comissão Operacional Pedagógica (COP) para levar adiante esta avaliação.

A história da avaliação da educação superior é resgatada a partir da década de 80, em artigo elaborado por Polidori, Marinho-Araujo e Barreyro (2006) cujo título é "SINAES: perspectivas e desafios na avaliação da educação superior brasileira". Para as autoras o SINAES incorporou as experiências anteriores e as ressignificou (avaliação institucional, avaliação de cursos e exame aos estudantes), buscando atender aos objetivos propostos de uma avaliação ampla e participativa. Concluem afirmando que essa ação incluiu o Brasil entre países que utilizam a avaliação institucional e confiam na participação e no compromisso de sua comunidade educativa como elemento alavancador para a melhoria da qualidade da educação superior.

A tendência ao empresariamento das IES, que alguns autores atribuem ao SINAES, é assinalada por Marchelli (2007) em seu texto "O Sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores", que apresenta os principais conceitos em torno dos quais a literatura nacional e estrangeira estabelece os princípios da avaliação externa, particularmente a ideia da accountability ou prestação de contas e a definição de benchmarking, esta última entendida como a integração sistêmica de todas as informações levantadas pelas agências e comissões setoriais.

No Brasil, os pressupostos do SINAES passam, sem dúvida, pela ideia do benchmark institucional, mas ainda não há referências sobre sistemas desenvolvidos pelas instituições segundo o conceito de administração do controle da qualidade que o benchmarking pressupõe. As informações que interessam aos processos de avaliação disponibilizadas publicamente pelas IES brasileiras, em geral aparecem de forma dispersa nos veículos que elas utilizam para se comunicar com o público, faltando a sua sistematização sob a forma de um banco de dados organizado, de fácil acesso e consulta. Por outro lado, a accountability centralizada nos órgãos do governo com que o Brasil opera a avaliação externa, levou os sistemas de informações do MEC e do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP, a desempenharem o papel de um grande e único benchmark nacional (MARCHELLI, 2007, p. 358).

Dentro da mesma linha, faz prospecção em relação à adoção de outros modelos avaliativos que superem o de regulação em favor de um menos controlador capaz de acompanhar o ritmo de expansão do sistema, que: "deverá exigir uma estrutura avaliativa externa de tal monta e agilidade, que dificilmente o trabalho centralizado apenas pelo MEC poderá dar conta, de forma que a solução mais racional será a de operar com a delegação de responsabilidade a terceiros" (MARCHELLI, 2007, p. 358).

Conclui afirmando que os problemas de natureza política, sobre a excessiva centralização do sistema brasileiro nos órgãos governamentais, bem como aqueles de natureza técnica sobre o cálculo para atribuição de conceitos aos indicadores da titulação, carreira e produção docentes, são exemplos pontuais da necessidade de aperfeiçoamento do sistema que ainda é recente no Brasil.

Em 2008, há apenas um artigo, elaborado por Paiva (2008) que trata sobre o SINAES analisando a questão da equidade e obrigatoriedade no Provão e Enade. Segundo o autor,

o Enade é criado como componente curricular obrigatório de todos os cursos de graduação, (mas) é admitida a utilização de procedimentos amostrais ou considerada a possibilidade de dispensa oficial pelo MEC. O caráter ambíguo é observado ao ser tratada a obrigatoriedade a todos os cursos de graduação e, imediatamente, considerada a possibilidade de dispensa oficial pelo MEC (PAIVA, 2008, p. 8).

A adoção de procedimentos amostrais na aplicação do Enade desponta em contraposição à obrigatoriedade do Provão a todos os concluintes dos cursos de graduação inseridos na avaliação a cada ano. O autor conclui que o princípio da obrigatoriedade, embora com uma conotação autoritária, é a garantia de sucesso na avaliação do desempenho de estudantes, embora não possa assegurar resultados confiáveis. O princípio da equidade, contudo, ameniza o caráter autoritário da obrigatoriedade de participação em exames nacionais. A aplicação concomitante dos dois princípios facilita o sucesso na participação dos estudantes em exames com essas características (PAIVA, 2008).

Em 2010 reaparece a temática dos rankings na revista Ensaio através do artigo intitulado "Rankings acadêmicos: uma abordagem ao ranking das universidades portuguesas", de Bernardino e Marques (2010). Percebendo os rankings acadêmicos como tema controverso no ensino superior afirmam que os rankings parecem estar aqui para ficar e cada vez mais diferentes intervenientes os utilizam para obter informações sobre o desempenho das instituições de ensino. Destaca que os dois rankings mais conhecidos, o do The Times e o da Universidade JIAO Tong de Xangai, apresentam metodologias diferentes. No ranking apresentado pelo The Times a classificação é baseada em análise pelos pares, enquanto o de Xangai tem apenas indicadores quantitativos e baseia-se principalmente em resultados de investigação. Na Alemanha, o ranking CHE usa uma metodologia diferente dos rankings tradicionais, permitindo aos utilizadores escolher os critérios e os pesos. Em Portugal, as instituições de ensino superior apresentam um desempenho inferior aos seus pares europeus e o Governo acredita que um ranking acadêmico poderia melhorar tanto o desempenho como a competitividade entre as instituições.

Dentre toda a produção publicada pela revista Ensaio sobre avaliação da educação superior apenas um artigo faz menção ao CPC e IGC, índices criado a partir de 2008 e que vieram reforçar a noção de rankeamento das IES. Em seu texto intitulado "Análise do Exame Nacional de Desempenho dos Estudantes após o primeiro ciclo avaliativo das áreas de agrárias, saúde e serviço social do Estado do Piauí", Gurgel (2010, p. 85) faz uma discussão sobre o impacto do ENADE sobre a qualidade da educação no Piauí destacando que "com o surgimento do CPC e, posteriormente, do IGC, o modelo avaliativo da educação superior brasileira, ao que tudo indica, avança para sua consolidação. Resta saber se as IES utilizarão esses resultados para o alcance de uma educação de excelência".

Para a autora,

o Conceito Preliminar de Cursos (CPC) da Universidade Federal do Piaui - UFPI, em comparação com as demais IES do Estado, é relevante, com predomínio da nota quatro. O Índice Geral de Cursos (IGC) da UFPI obteve melhor desempenho entre as demais IES do Estado, com 288 pontos e nota três, passando do último lugar entre as 14 universidades federais do Nordeste para a nona colocação, localizando-se, em 163º no ranking das 1.448 instituições avaliadas, das quais somente 173 são universidades, 131 centros universitários e 1.144 faculdades isoladas e integradas (GURGEL, 2010, p. 103).

Conclui que, no ensino de graduação no Estado do Piauí, a função formativa do ENADE não apresentou efeitos significativos nos resultados de um exame para outro nos cursos, exceto nos cursos de medicina, educação física, serviço social e odontologia da UFPI.

O artigo de Vieira e Freitas (2010) faz uma análise da autoavaliação institucional, também denominada avaliação interna, em uma Universidade Estadual Multicampi, a partir das vozes dos Gestores da Administração Superior e membros da Comissão Própria de Avaliação – CPA e das Comissões Setoriais de Avaliação. A pesquisa aponta, com base nas argumentações construídas através das falas desses atores, diferentes concepções sobre avaliação, em que podemos citar 1) avaliação em busca uma compreensão global da instituição e que reconhece a necessidade de integração de suas diversas dimensões; 2) avaliação como instrumento que possibilita aos gestores institucionais a tomada de decisões mais seguras e eficazes, em sua proposta voltada para a tomada de decisão com o sentido de agir no cotidiano institucional; 3) avaliação como um processo sistemático de identificação de mérito ou valor em face da missão social da instituição, ou 4) avaliação como instrumento de tomada de consciência sobre a instituição, visando à melhoria da qualidade institucional e de sua relevância social. Enfim, a ideia de avaliação como alcance de indicadores de um modelo próprio de universidade multicampi e de seus novos e futuros rumos.

Mesmo reconhecendo a multiplicidade de concepção sobre avaliação a pesquisa conclui que foram identificados alguns entraves para sua efetivação como: dificuldade de comunicação; pouca formação em avaliação dos membros das Comissões e falta de apoio da administração superior à atividade avaliativa.

Considerações finais

As estratégias adotadas na avaliação da educação superior brasileira, nas últimas duas décadas mostram tendências e conflitos diversos que envolvem as esferas pública e privada. Entre elas a constituição de um Estado forte em termos de avaliação produziu políticas e práticas institucionais no campo da educação superior que vem sendo mantidas até os dias atuais, a exemplo do SINAES (2004a).

O estudo aqui realizado permitiu perceber que a produção acadêmica da revista Ensaio, resultante de pesquisas sobre a temática avaliação da educação superior, especialmente sobre o ENC e o SINAES, pode ser considerada tímida tendo em vista o impacto dessas políticas nos sistemas públicos e privados de ensino superior.

É importante ressaltar que, sendo um periódico voltado para divulgação de pesquisas, levantamentos, estudos, discussões e outros trabalhos críticos no campo da educação, se concentrando nas questões de avaliação e políticas públicas, poderia conter mais discussões sobre avaliação da educação superior. Chama atenção a quase ausência de textos sobre o Conceito Preliminar de Cursos (CPC) e o Índice Geral de Cursos (IGC) criados em 2008 e que modificaram a concepção original do SINAES.

Verifica-se, no cenário da avaliação da educação superior recentemente implementada no país: (a) divulgação de dados provenientes das agencias reguladoras; (ii) controle por definição de indicadores de desempenho; (iii) ênfase no produto; (iv) serviço ao público centrado nas necessidades e perspectivas do consumidor pelo modelo de expansão da educação superior; (v) controle pelos resultados. Vale ressaltar que são aspectos pertinentes ao modelo gerencial de administração, que influenciam, sobremaneira, os usos dos resultados da avaliação.

Esses aspectos, de uma forma ou de outra, foram referenciados nos textos aqui analisados, principalmente os que fazem menção aos indicadores de desempenho, através da aplicação de várias metodologias quantitativas e qualitativas em múltiplos estudos de caso em cursos de graduação e pós-graduação nacionais e internacionais, principalmente em cursos de Pedagogia, Engenharia, Administração que, não por acaso, são os que mais se expandiram nos últimos tempos.

Por fim, ressalta-se a importância desse periódico enquanto espaço de socialização dos estudos sobre avaliação da educação, especialmente da educação superior, destacando que a ênfase/tendência dos textos publicados contém a ideia da avaliação como desempenho e avaliação associada à qualidade da educação.

Recebido em: 30/11/2010

Aceito para publicação em: 10/05/2011

  • ANDRADE, E. C. O Sistema de "targeted vouchers" e seus efeitos. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.17, n. 65, out. 2009. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • ARIEIRA, J. O. et al. Avaliação do aprendizado via educação a distância: a visão dos discentes. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.17, n.63, abr. 2009. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • BARREYRO, G. B. De exames, rankings e mídia. Avaliação Campinas: Sorocaba, SP, v. 13, n. 3. p. 863-868, nov. 2008.
  • BARROS, D. F. Avaliação Institucional: instrumento para a melhoria da qualidade do ensino superior. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 5, n. 14, p. 23-36, jan./mar. 1997.
  • BERNARDINO, P.; MARQUES, R. C. Rankings acadêmicos: uma abordagem ao ranking das universidades portuguesas Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 18, n. 66, jan. 2010. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • BERTOLIN, J. C. G. Qualidade em educação superior: da diversidade de concepções a inexorável subjetividade conceitual. Avaliação, Campinas, SP, v. 14, n. 1, p. 127-149, mar. 2009.
  • BOTH, I. J. Processo de avaliação institucional: agente de política universitária. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 8, p. 253-262, jul./set. 1995.
  • BRASIL. Constituição (1988). Constituição da República Federativa do Brasil. Brasília, DF: Senado Federal, 1988.
  • ______. Lei nº. 4.024, de 20 de dezembro de 1961. Fixa as diretrizes e bases da Educação Nacional. Diário Oficial da União, Brasília, DF, 27 dez. 1961.
  • ______. Lei nº. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 23 dez. 1996.
  • ______. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Diário Oficial da União, Brasília, DF, 15 abr. 2004a. Disponível em: <http://www.presidencia.gov.br>. Acessos em 10 de nov. 2010.
  • ______. Ministério da Administração Federal e da Reforma do Estado. Plano Diretor da Reforma do Estado Brasília, DF, 1995.
  • ______. Ministério da Educação. Portaria nº 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei nº 10.861, de 14 de abril de 2004. Diário Oficial da União, Brasília, DF, n. 132, 12 jul. 2004b. Seção 1, p. 12.
  • CARDOSO, F. H. Mãos à obra, Brasil: proposta de governo. 5. ed. Brasília, DF, 1994.
  • CASTRO, M. H. M. Avaliação institucional para a autogestão: uma proposta. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 7, p. 157-172, abr./jun. 1995.
  • CORTELAZZO, A. L. Utilização do ENEM pelas universidades estaduais paulista: abordagem quantitativa da abrangência do exame e desempenho dos egressos de escolas públicas e privadas de Ensino Médio. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 11, n. 39, p. 210-221, abr./jun. 2003.
  • DIAS SOBRINHO, J. D. Universidade e avaliação: entre a ética e o mercado. Florianópolis, SC: Insular, 2002.
  • DONOSO DIAZ, S. Políticas e instrumentos de financiamento de estudos universitários: encruzilhadas para o desenho de sistemas de financiamento sustentáveis. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 16, n. 60, jul. 2008. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • ELLIOT, L. G. Exame Nacional de Cursos: da polêmica à ações. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 4, n. 13, p. 393-402, out./dez. 1996.
  • EMBIRUÇU, M.; FONTES, C.; ALMEIDA, L. Um indicador para a avaliação do desempenho docente em instituições de ensino superior. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.18, n. 68, out./dez. 2010.
  • GREGO, S. M. D. Perspectivas teórico-metodológicas da avaliação nas universidades britânicas: subsídios à reflexão. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 6, p. 29-40, jan./mar. 1995.
  • GOLDBARG, M. C.; RAMOS, I. C. O. Reflexões sobre a aplicação do modelo de qualidade total ao processo de acesso ao ensino superior. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 9, p. 377-392, out./dez. 1995.
  • GURGEL, C. R. Análise do Exame Nacional de Desempenho dos Estudantes após o primeiro ciclo avaliativo das áreas de agrárias, saúde e serviço social do Estado do Piauí. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, n. 66, jan. 2010. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • HOFFMANN, J. M. L. Uma parceria entre avaliação mediadora e educação matemática: o início de um diálogo Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 2, n. 5, p. 39-48, out./dez. 1994.
  • INEP. SINAES: Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. Brasília, DF, 2004.
  • KIPNIS, B.; BAREICHA, P. S. Avaliação de cursos e gestão do ensino de graduação em universidades: um estudo de tendência. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 9, p. 365-376, out./dez. 1995.
  • LAPA, J. S.; NEIVA, C. C. Avaliação em educação: comentários sobre desempenho e qualidade. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 4, n. 12, p. 213-236, jul./set. 1996.
  • LÉSTE, M. R.; VITTORIO, W. Aplicação de modelo para avaliação da qualidade em educação: o caso dos programas de pós-graduação e pesquisa em Economia. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 4, n. 11, p. 149-158, abr./jun. 1996.
  • LULA presidente: programa de governo 2007-2010. Brasília, 2006.
  • MARINHO, A. Metodologias para avaliação e ordenação de universidades públicas: o caso da UFRJ e demais instituições federais de ensino superior. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 4, n.13, p. 403-424, out./dez. 1996.
  • MARCHELLI, P. S. O Sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 15, n. 56, jul. 2007. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • MENEGHEL, S. M. ; ROBL, F. ; SILVA, T . A relação entre avaliação e regulação na educação superior: elementos para o debate. Educar em Revista, Curitiba, PR, v. 28, p. 89-106, 2006.
  • NEVES, L. M. W. A reforma da educação superior e a formação de um novo intelectual urbano. In: SIQUEIRA, A. C.; NEVES, L. M. (Org.). Educação superior: uma reforma em processo. São Paulo: Cortez, 2006.
  • NUNES, L. C. As dimensões da auto-avaliação institucional: tecendo redes de redes. . Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 14, n. 52, jul. 2006. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • PAIVA, G. S. Avaliação do desempenho dos estudantes de educação superior: a questão da equidade e obrigatoriedade no Provão e ENADE. Ensaio: aval. pol. públ. educ., Rio de Janeiro, v. 16, n. 58, jan. 2008. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • POLIDORI, M. M.; MARINHO-ARAUJO, C. M.; BARREYRO, G. B. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 14, n. 53, out. 2006. Disponível em: <http://www.scielo.br/scielo.php>. Acessos em: 11 nov. 2010.
  • SANTANA, E. B. As políticas públicas de ação afirmativa na educação e sua compatibilidade com o princípio da isonomia: acesso às universidades por meio de cotas para afrodescendentes. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.18, n. 69, out./dez. 2010.
  • SCHWARTZMAN, J. Dificuldades e possibilidades de se construir um ranking para as universidades brasileiras. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 3, n. 6, p. 5-28, jan./mar. 1995.
  • SCHWARTZMAN, J. ; OLIVEIRA JÚNIOR, M. "Ranking" IPEAD/UFMG e Exame Nacional de Cursos: uma comparação. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 5, n. 16, p. 353-362, jul./set. 1997.
  • SEGENREICH, S. C. D. O PDI como referente para avaliação de instituições de educação superior: lições de uma experiência. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.13, n. 47, jan. 2005. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • SGUISSARD, V. Modelo da expansão da educação superior no Brasil: predomínio privado/mercantil e desafios para a regulação e a formação universitária. Educação e Sociedade, Campinas, SP, v. 29, n.105, p. 991-1022, out. 2008.
  • SILVA, A. C.; SILVA, C. M. T. Do diagnóstico às questões avaliativas: um caminho possível via prática de avaliação em educação a distância. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 17, n. 63, p. 293-312, abr./jun. 2009.
  • SILVA, L. I. L. Um Brasil para Todos 2002 [Brasília, DF], 2002.
  • SOARES, J. F.; MARTINS, M. I.; ASSUNÇÃO, C. N. B. Heterogeneidade acadêmica dos alunos admitidos na UFMG e PUC-MG. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 6, n. 18, p. 57-66, jan./mar. 1998.
  • SOUZA, S. M. Z. L. Avaliação da aprendizagem: a divulgação de pesquisas realizadas no âmbito de Programas de Pós-Graduação. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 1, n. 3, p. 73-79, abr./jun. 1994.
  • VASCONCELOS, S. D.; SILVA, E. G. Acesso à universidade pública através de cotas: uma reflexão a partir da percepção dos alunos de um pré-vestibular inclusivo. Ensaio: aval. pol. públ. educ., Rio de Janeiro, v. 13, n. 49, dez. 2005. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • VERHINE, R. E.; DANTAS, L. M. V.; SOARES, J. F. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior . Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n. 52, jul. 2006. Disponível em: <http://www.scielo.br/scielo.php>. Acesso em: 11 nov. 2010.
  • VIEIRA, R. L. B.; FREITAS, K. S. O SINAES na universidade pública estadual: análise do processo de construção da avaliação interna na universidade do Estado da Bahia (UNEB). Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.18, n. 68, jul./set. 2010.
  • ZIMMER, L. R.; NEIVA, C. C.; LAPA, J. S. Resultados do "Provão" em Santa Catarina. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 6, n. 18, p. 85-110, jan./mar. 1998.
  • 25
    , cuja finalidade era analisar, oferecer subsídios, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação da Educação Superior e elaborar a revisão crítica dos seus instrumentos, metodologias e critérios utilizados.
  • 1
    As políticas de ajuste neoliberal desenvolvidas no Brasil fazem parte de um conjunto de estratégias sugeridas pelos organismos internacionais especialmente aos países da America Latina a exemplo de Argentina, Chile, para romper com a crise econômica vivenciada a partir dos anos de 1970.
  • 2
    Portarias MEC/SESu nºs 11/003 e 19/003 (INEP, 004).
  • 3
    A regulação do sistema inclui o credenciamento e recredenciamento de instituições, além da autorização, reconhecimento e renovação de reconhecimento dos cursos. Estes se constituem em processos distintos da avaliação, embora tomem em conta os seus resultados.
  • Datas de Publicação

    • Publicação nesta coleção
      12 Jan 2012
    • Data do Fascículo
      Jun 2011

    Histórico

    • Aceito
      10 Maio 2011
    • Recebido
      30 Nov 2010
    Fundação CESGRANRIO Revista Ensaio, Rua Santa Alexandrina 1011, Rio Comprido, 20261-903 , Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600 - Rio de Janeiro - RJ - Brazil
    E-mail: ensaio@cesgranrio.org.br