Validação de métricas para avaliar a qualidade em instituições públicas de ensino superior
Resumo
Introdução: No campo da educação superior pública, a complexidade em avaliar o alcance dos objetivos institucionais e as incertezas acerca das métricas adotadas pelo Estado prejudicam a implementação de processos avaliativos. Objetivo: Construir e validar o conteúdo de indicadores de qualidade para avaliação de Instituições Públicas de Ensino Superior (IES). Método: Estudo metodológico desenvolvido em seis etapas, com a participação de 10 juízes de IES, entre 2015 e 2018. Empregou-se a Técnica Delphi e o cálculo do Content Validity Ratio, com valor maior ou igual a 0,62. Foram propostos 46 indicadores nas subdimensões: Ensino (16); Pesquisa, extensão, conhecimento e inovação (15); e Gestão (15). Resultados: Constata-se a evidência de validade de conteúdo de 38 indicadores, dos quais 11 de estrutura, 10 de processos e 17 de resultados, sendo a subdimensão Gestão a que obteve menores valores de CVR. Considerações Finais: Obtiveram-se evidências de validade de uma matriz de 38 indicadores quantitativos, formulados como equações matemáticas, que podem ser utilizados sistematicamente na avaliação interna institucional, complementando a avaliação qualitativa.
Downloads
Referências
Chaves SE, Cecim RB. Avaliação externa no ensino superior na área da saúde: inquietações e a dimensão das margens. Interface (Botucatu). [on line]. 2015 [citado em 2018 Jul ]; 19(55): 1233-1242. Disponível em: http://www.scielo.br/pdf/icse/v19n55/1807-5762-icse-1807-576220140728.pdf.
Fávero AA, Bechi D. O financiamento da educação superior no limiar do século XXI: o caminho da mercantilização da educação. Revista Internacional de Educação Superior. [on line]. 2017 [citado em 2018 Ago]; 3(1): 82-104. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/riesup/article/view/8650577/16790.
Salsi MA, Silva DMG, Meirelles BHS. Avaliação no sistema de saúde brasileiro. Cienc Cuid Saude. [on line]. 2018 [citado em 2018 Out]; 17(2): 1-6. Disponível em: http://periodicos.uem.br/ojs/index.php/CiencCuidSaude/article/view/41937/pdf .
Venturini JC, Pereira BAD, Morales R, Fleck CF, Batistella Júnior G, Nagel MB. Percepção da avaliação: um retrato da gestão pública em uma instituição de ensino superior (IES). RAP (Rio de Janeiro). [on line]. 2010 [citado em 2018 Jul]; 44(1): 31-53. Disponível em: http://www.scielo.br/pdf/rap/v44n1/v44n1a03.pdf.
Ministério da Educação. Sistema Nacional de Avaliação da Educação Superior- Sinaes. Instrumento de Avaliação Institucional externa - subsidia os atos de credenciamento, recredenciamento e transformação da organização acadêmica (presencial). Brasília, 2014, p.1-36.
Fundação Nacional da Qualidade. Indicadores de Desempenho - Estruturação do sistema de indicadores organizacionais. 3. ed. São Paulo: Fundação Nacional da Qualidade; 2012. 48 p.
Polit DF, Beck CT. Essentials of Nursing Research: Appraising Evidence for Nursing Practice. 8th Edition, Lippincott Williams & Wilkins: Philadelphia; 2014.
Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciência & Saúde Coletiva. [on line]. 2015 [citado em 2018 Ago]; 20(3): 925-36. Disponível em: http://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf.
Matitz QRS, Bulgacov S. O conceito desempenho em estudos organizacionais e estratégia: um modelo de análise multidimensional. RAC (Curitiba). [on line]. 2011 [citado em 2018 Jul]; 15(4): 580-607. Disponível em: http://www.scielo.br/pdf/rac/v15n4/a03v15n4.pdf.
Uchoa CE. Elaboração de indicadores de desempenho institucional. Coordenação Geral de Programas de Capacitação /DDG. Brasília: ENAP/DDG, 2013.
Giannarou L, Zervas E. Using Delphi technique to build consensus in practice. Int. Journal of Business Science and Applied Management [on line]. 2014 [citado em 2018 Mai]; 9(2): 66-82. Disponível em: http://www.business-and-management.org/library/2014/9_2--65-82-Giannarou,Zervas.pdf.
Mophajan, H. Two Criteria for Good Measurements in Research: Validity and Reliability. Annals of Spiru Haret University. [on line]. 2017 [citado em 2018 Jul]; 17(3): 58-82. Available from: https://mpra.ub.uni-muenchen.de/83458/1/MPRA_paper_83458.pdf.
Lawshe, CH. Quantitative approach to content validity. Personnel Psychology. [on line]. 1975 [citado em 2018 Mai]; 28: 563-75. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1744-6570.1975.tb01393.x
Wilson FR, Pan W, Schumsky DA. Recalculation of the Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development. [on line]. 2012 [citado em 2018 Mai]; 45(3): 197-210. Available from: http://eds.b.ebscohost.com/eds/pdfviewer/pdfviewer?vid=1&sid=568d528e-8109-4349-a765-411a1b4fd075%40sessionmgr101.
Ministério da Educação. CAPES. A internacionalização na Universidade Brasileira: resultados do questionário aplicado pela Capes. Diretoria de Relações Internacionais. [on line]. 2017 [citado em 2018 Ago]. Disponível em: https://www.capes.gov.br/images/stories/download/diversos/A-internacionalizacao-nas-IES-brasileiras.pdf.
Paula JA. A extensão universitária: história, conceito e propostas. Interfaces - Revista de Extensão. [on line]. 2013 [citado em 2018 Ago]; 1(1): 05-23. Disponível em:https://www.ufmg.br/proex/revistainterfaces/index.php/IREXT/article/view/5/pdf.
Nogueira MDP. O fórum de pró-reitores de extensão das universidades públicas brasileiras: um ator social em construção. Interfaces - Revista de Extensão. [on line]. 2013 [citado em 2018 Ago]; 1(1): 35-47. Disponível em: https://www.ufmg.br/proex/revistainterfaces/index.php/IREXT/article/view/7/8.
Jungmann DM, Bonetti EA. Inovação e propriedade intelectual: guia para o docente. Brasília: SENAI; 2010.
Haynes SN, Richerd DCS, Kubany ES. Content validity in psychological assessment: a functional approach to concepts and methods. Psychological Assessment. [on line]. 1995 [citado em 2018 Ago]; 7(3): 238-47. Available from: https://www.researchgate.net/publication/232480869/download.
Lucian R, Dornelas JS. Mensuração de Atitude: Proposição de um Protocolo de Elaboração de Escalas. RAC (Rio de Janeiro). [on line]. 2015 [citado em 2018 Ago]; 19(3): 157-77. Disponível em: http://www.scielo.br/pdf/rac/v19nspe2/1982-7849-rac-19-spe2-0157.pdf.
