A systematic model to evaluate the academic productivity of Brazilian faculty undergraduate courses

Marcus Vinicius Cesso; Renato Ribeiro Nogueira Ferraz; Wonder Alexandre Luz Alves; Saulo Daniel Santos

doi:10.18225/ci.inf.v48i1.4455

Authors

Marcus Vinicius Cesso Universidade Nove de Julho (UNINOVE) – São Paulo, SP – Brasil. https://orcid.org/0000-0001-9204-7049
Renato Ribeiro Nogueira Ferraz Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil
Wonder Alexandre Luz Alves Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil
Saulo Daniel Santos Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil

DOI:

https://doi.org/10.18225/ci.inf.v48i1.4455

Keywords:

Scriptemec, Undergraduate courses, Academic productivity, Performance management, Innovation in education, Higher education evaluation

Abstract

In an increasingly competitive scenario in the Higher Education segment, Higher Education Institutions (HEI) have been looking for ways to manage the productivity indicators of their undergraduate courses, in order to meet the criteria established by the National Institute of Studies and Research Educational Institutions Anísio Teixeira (INEP). Thus, this paper aims to present a systematic model to evaluate the academic productivity of Brazilian faculty undergraduate courses, considering the indicators proposed by INEP. The academic productivity criteria were quantitatively and qualitatively evaluated using Scriptemec, a tool developed exclusively to measure the academic data of undergraduate faculty. As a contribution, it reinforces the construction of a systematic model to assist in the automation and continuous monitoring of academic productivity in undergraduate courses, presenting a computational tool that assists in this process, as well as a dashboard for managerial control in Brazilian HEIs.

Downloads

Download data is not yet available.

Author Biographies

Marcus Vinicius Cesso, Universidade Nove de Julho (UNINOVE) – São Paulo, SP – Brasil.

Mestre em Administração pela Universidade Nove de Julho (Uninove) - São Paulo, SP - Brasil. Professor da Universidade Anhanguera de São Paulo (UNIAN) – SP - Brasil.
Renato Ribeiro Nogueira Ferraz, Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil

Pós-Doutorado pela South University Toulon-Var (SUTV) - França. Pós-Doutorado pela Universidade Federal de São Paulo (Unifesp) - Brasil. Doutor em Ciência Básicas – Nefrologia pela Universidade Federal de São Paulo (Unifesp) - Brasil. Professor da Universidade Nove de Julho (Uninove) - São Paulo, SP – Brasil.
Wonder Alexandre Luz Alves, Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil

Pós-Doutorado pelo Instituto de Matemática e Estatística da Universidade de São Paulo (IME-USP) - SP - Brasil. Doutor em Ciências da Computação pela Universidade de São Paulo (USP) - SP - Brasil. Professor da Universidade Nove de Julho (Uninove) - São Paulo, SP - Brasil.
Saulo Daniel Santos, Universidade Nove de Julho (UNINOVE) - São Paulo, SP - Brasil

Mestre em Informática e Gestão do Conhecimento pela Universidade Nove de Julho (Uninove) - São Paulo, SP - Brasil. Professor da Universidade Nove de Julho (Uninove) - SP - Brasil.

References

Alves, A. D., Yanasse, H. H., & Soma, N. Y. (2012). LattesMiner: uma linguagem de domınio especıfico para extraçao automática de informações da Plataforma Lattes. Apresentado em XII Workshop de Computação Aplicada, São José dos Campos.

Alves, W., Santos, S. D., & Schimit, P. H. T. (2016). Hierarchical Clustering Based on Reports Generated by Scriptlattes. In I. Nääs, O. Vendrametto, J. Mendes Reis, R. F. Gonçalves, M. T. Silva, G. von Cieminski, & D. Kiritsis (Orgs.), Advances in Production Management Systems. Initiatives for a Sustainable World (Vol. 488, p. 28–35). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-51133-7_4

Baeta, O. V., Brito, M. J., & Souza, R. B. (2014). Strategy as Discursive Practice in a Brazilian Public University: A Look under the Perspective of Critical Discourse Analysis. Public Administration Research, 3(2), 17–27. https://doi.org/10.5539/par.v3n2p17

Barney, J. (1991). Firm Resources and Sustained Competitive Advantage. Journal of Management, 17(1), 99–120. https://doi.org/10.1177/014920639101700108

Barreyro, G. B. (2008). De exames, rankings e mídia. Avaliação: Revista da Avaliação da Educação Superior (Campinas), 13(3), 863–868. https://doi.org/10.1590/S1414-40772008000300017

Bavaresco, J. (2017). A Ferramenta Computacional Scriptemec como Estratégia de Gerenciamento da Produtividade Acadêmica de uma Instituição Privada de Ensino Superior (Dissertação). Universidade Nove de Julho, São Paulo.

Bavaresco, J., Ferraz, R. R. N., Barro, F. C., & Boeira, D. de A. R. (2015). Uso da ferramenta computacional Scriptsucupira como estratégia gerencial para acompanhamento da produção acadêmica em uma Instituição Educacional de Nível Superior. Revista de Gestão e Secretariado, 6(2), 1–18.

Bernardes, J. D. S., & Rothen, J. C. (2016). O campo da Avaliação da Educação Superior: foco na Comissão Própria de Avaliação. Revista Meta: Avaliação, 8(23), 248. https://doi.org/10.22347/2175-2753v8i23.991

Bolan, V., & Motta, M. V. (2007). Responsabilidade Social no Ensino Superior. Revista de Educação, 10(10), 204–210.

Borges, A. P. A. de A., Cabral, E. V., & Petri, S. M. (2014). Proposta de BSC para instituição de ensino superior privada sob a perspectiva de clientes. REAVI - Revista Eletrônica do Alto Vale do Itajaí, 3(3), 49–61.

Brito, M. R. F. de. (2008). O SINAES e o ENADE: da concepção à implantação. Avaliação: Revista Da Avaliação Da Educação Superior (Campinas), 13(3). https://doi.org/10.1590/S1414-40772008000300014

Camargo, B. V., & Justo, A. M. (2013). IRAMUTEQ: Um software gratuito para análise de dados textuais. Temas em Psicologia, 21(2), 513–518. https://doi.org/10.9788/TP2013.2-16

Canan, S. R., & Eloy, V. T. (2016). Políticas de avaliação em larga escala: o ENADE interfere na gestão dos cursos? Praxis Educativa, 11(3), 621–640. https://doi.org/10.5212/PraxEduc.v.11i3.0006

CAPES. (2016). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Recuperado 13 de setembro de 2016, de http://www.capes.gov.br/

Cardoso, S., Rosa, M. J., & Stensaker, B. (2016). Why is quality in higher education not achieved? The view of academics. Assessment & Evaluation in Higher Education, 41(6), 950–965. https://doi.org/10.1080/02602938.2015.1052775

Castro, S. O. C. de, Souza, L. H. G. R. de, Gava, R., Silva, E. A., & Pereira, R. M. (2016). A Influência do ENADE no âmbito das Instituições de Ensino Superior. Educação, Ciência e Cultura, 21(1), 23–41.

Ceulemans, K., Molderez, I., & Van Liedekerke, L. (2015). Sustainability reporting in higher education: a comprehensive review of the recent literature and paths for further research. Journal of Cleaner Production, 106, 127–143. https://doi.org/10.1016/j.jclepro.2014.09.052

CNPq. (2017). Plataforma Lattes. Recuperado 28 de abril de 2017, de http://lattes.cnpq.br/

Corrêa, H. L., & Hourneaux Jr., F. (2008). Sistemas de mensuração e avaliação de desempenho organizacional: estudo de casos no setor químico no Brasil. Revista Contabilidade & Finanças, 19(48), 50–64.

Creswell, J. W., & Poth, C. N. (2017). Qualitative Inquiry and Research Design: Choosing Among Five Approaches (4o ed). California: SAGE Publications.

DiMaggio, P. J., & Powell, W. W. (2005). A gaiola de ferro revisitada: isomorfismo institucional e racionalidade coletiva nos campos organizacionais. RAE - Revista de Administração de Empresas, 45(2), 74–89.

Ferraz, R. R. N., Maccari, E. A., Quoniam, L., Silva, M. V. C. da, & Modkovski, A. F. (2017). Planejamento anual e quadrienal de prestação de contas à Capes por meio da ferramenta computacional Scriptsucupira. Revista Brasileira de Pós-Graduação, 14(0). https://doi.org/http://dx.doi.org/10.221713/2358-2332.2016.v14.1320

Ferraz, R. R. N., Silva, M. V. C. da, Ramão, G. B., & Petta, A. di. (2016). Uso da ferramenta computacional Scriptsucupira para gestão estratégica da produtividade em pesquisa de um programa de Pós-Graduação Stricto sensu em biofotônica. Revista de Administração da Unimep, 14(3), 232–252.

Ferreira, V. M. S., Boente, P. A. N. P., Santos, R. M., Brevilato, F. V. de F., & Boente, K. P. (2016). A Autoavaliação institucional no ensino superior como técnica de gestão estratégica. Revista Edu. Tec., 7(1).

Galvão, H. M., Corrêa, H. L., & Alves, J. L. (2011). Modelo de avaliação de desempenho global para instituição de ensino superior. Revista de Administração da Universidade Federal de Santa Maria, 4(3), 425–441.

Gnaldi, M., & Ranalli, M. G. (2016). Measuring University Performance by Means of Composite Indicators: A Robustness Analysis of the Composite Measure Used for the Benchmark of Italian Universities. Social Indicators Research, 129(2), 659–675. https://doi.org/10.1007/s11205-015-1116-1

Gomes, V., Machado-Taylor, M. de L., Saraiva, E. V., & Santos, C. M. (2015). A Estratégia como prática nas Instituições de Ensino Superior. Revista Evidência, 11(11), 115–126.

Hoffmann, C., Zanini, R. R., Corrêa, Â. C., Siluk, J. C. M., Schuch Júnior, V. F., & Ávila, L. V. (2014). O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educação e Pesquisa, 40(3), 651–665. https://doi.org/10.1590/s1517-97022014041491

INEP. (2017). Sinopses Estatísticas da Educação Superior – Graduação. MEC. Recuperado de http://portal.inep.gov.br/web/guest/sinopses-estatisticas-da-educacao-superior

Jordão, R. V. D., Melo, E. A. de, & Neto, J. A. S. (2016). Estratégia e desenho do sistema de controle gerencial. Revista ESPACIOS, 37(4). Recuperado de http://www.revistaespacios.com/a16v37n04/16370426.html

Kalimullin, A. M., Youngblood, V., & Khodyreva, E. A. (2016). The System of Management of Innovation Projects at a Higher Education. International Journal of Environmental and Science Education, 11(5), 613–622. https://doi.org/10.12973/ ijese.2016.334 a

Lacerda, L. L. V. de, Ferri, C., & Duarte, B. K. da C. (2016). SINAES: avaliação, accountability e desempenho. Revista da Avaliação da Educação Superior, 21(3), 975–992. https://doi.org/10.1590/S1414-40772016000300015

Leite, D. B. C. (2008). Ameaças pós-rankings : sobrevivência das CPAS e da auto-avaliação. Revista da Avaliação da Educação Superior, 13(3), 833–840.

Lotta, G. S. (2002). Avaliação de desempenho na área pública: perspectivas e propostas frente a dois casos práticos. RAE-eletrônica, 1(2), 1–12.

Maccari, E. A., Almeida, M. I. R. de, Riccio, E. L., & Alejandro, T. B. (2014). Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB). Revista de Administração - RAUSP, 49(2), 369–383.

Marchelli, P. S. (2007). O sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores. Estudos em avaliação educacional, 18(37), 189–216.

Martin, M. (2016). External quality assurance in higher education: how can it address corruption and other malpractices? Quality in Higher Education, 22, 49–63. https://doi.org/10.1080/13538322.2016.1144903

Martins, C. B., Maccari, E. A., Storopoli, J. E., & Andrade, R. O. B. de. (2013). Influência das estratégias e recursos para o desenvolvimento dos programas de pós-graduação da área de Administração, Ciências Contábeis e Turismo no período de 2001 a 2009. Revista Gestão Universitária na América Latina - GUAL, 6(3), 146–168.

Martins, R. P., Lacerda, R. T. de O., & Ensslin, L. (2013). Um estudo bibliométrico sobre avaliação de desempenho em instituições de ensino superior. Revista Eletrônica de Estratégia & Negócios, 6(3), 238–265.

MEC. (2017). Ministério da Educação [Home]. Recuperado 16 de março de 2017, de http://portal.mec.gov.br/

Mena-Chalco, J. P., & Junior, R. M. C. (2009). Scriptlattes: an open-source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer Society, 15(4), 31–39. https://doi.org/10.1007/BF03194511

Meyer Jr, V., Pascucci, L., & Mangolin, L. (2012). Gestão estratégica: um exame de práticas em universidades privadas. Revista de Administração Pública, 46(1), 49–70.

Meyer, V., Pascucci, L., & Andriguetto, H. (2017). Estrategias académicas: conflictos en la gestión de un sistema complejo. Revista ESPACIOS, 38(04).

Motta, L. J., Ferraz, R. R. N., Quoniam, L., & Mena-Chalco, J. P. (2016). Funded projects on dengue fever in Brazil: use of the Scriptlattes Tool to support the planning of public health research. Revista ESPACIOS, 37(11), 25–35.

Nigro, C. A., Ferraz, R. R. N., Quoniam, L., & Alves, W. A. L. (2016). Strategic management of research productivity from Graduate Medicine Program by the use of Scriptsucupira computational tool. In CONTECSI 2016 (p. 311–325). São Paulo: FEA. https://doi.org/10.5748/9788599693124-13CONTECSI/PS-3691

Nigro, C. A., Ferraz, R. R. N., Quoniam, L., Alves, W. A. L., & Messais, L. R. R. (2016). Prestação de contas anual e quadrienal à Capes por um programa de Pós-Graduação stricto sensu em Engenharia de Produção: utilização da ferramenta computacional Scriptlattes-Scriptsucupira. Revista PRISMA.COM, 0(29), 3–26.

Nigro, C. A., Ferraz, R. R. N., Quoniam, L. M., & Alves, W. (2015). Uso da ferramenta computacional Scriptlattes-Scriptasucupira na prestação de contas anual e quadrienal a CAPES por um programa de Pós-Graduação Stricto sensu em Direito. In Seminários em Administração (p. 1–15). São Paulo: FEA.

Paranhos, R., Figueiredo Filho, D. B., Rocha, E. C. da, Silva Júnior, J. A. da, & Freitas, D. (2016). Uma introdução aos métodos mistos. Sociologias, 18(42), 384–411. https://doi.org/10.1590/15174522-018004221

Polidori, M. M., & Carvalho, N. O. de. (2016). Acreditação de Instituições de Educação Superior: uma necessidade ou uma normatização. Avaliação: Revista da Avaliação da Educação Superior, 21(3). Recuperado de http://submission.scielo.br/index.php/aval/article/view/134967

Polidori, M. M., Rettl, A. M. de M., Moraes, M. C. B., & Castro, M. C. L. de. (2011). Políticas de Avaliação da Educação Superior Brasileira. Educação & Realidade, 36(1), 253–278.

Pompeu, A. M., Pinheiro, J. A. S., & Rabaioli, V. (2015). Planejamento estratégico: estratégias, análise de ambientes e controle. Multitemas, 20(48), 61–82.

Porter, M. E. (2008). Competitive Strategy: Techniques for Analyzing Industries and Competitors. Simon and Schuster.

Ramão, G. B., Ferraz, R. R. N., Silva, M. V. C., & Alves, W. A. L. (2017). Measurement of bibliographic production, transparency and research social responsibility of a Rehabilitation Sciences stricto sensu graduation program with the Scriptsucupira computer tool. In CONTECSI 2017 (p. 558–573). São Paulo: FEA. https://doi.org/10.5748/9788599693131-14CONTECSI/RF-4478

Rodrigues, S., Santos, N. J. B. dos, Melo, V. M., Ribeiro, M. J. B., & Santos, M. J. C. (2017). Mapeamento dos grupos de pesquisa do CNPq na área de Engenharias e Computação. Revista Uniabeu, 10(24), 246–255.

Santos, S. D. (2017). Análise de agrupamento hierárquico a partir de sumarizações de Currículos Acadêmicos (Dissertação). Universidade Nove de Julho, São Paulo.

Scherer, C., Rempel, C., Martins, S. N., & Haetinger, C. (2012). Importância de um Secretário Executivo no Preenchimento do Aplicativo Coleta de Dados Capes. Revista de Gestão e Secretariado, 03(01), 54–67. https://doi.org/10.7769/gesec.v3i1.68

Schwartzman, S. (2008). O “conceito preliminar” e as boas práticas de avaliação do ensino superior. Estudos: Revista da Associação Brasileira de Mantenedoras de Ensino Superior, 26(38), 1–22.

Silva, M. V. C. (2017). Avaliação contínua e automatizada da produtividade acadêmicados cursos de graduação de uma instituição de ensino superior (Dissertação). Universidade Nove de Julho, São Paulo.

Silva, M. V. C., & Ferraz, R. R. N. (2016). Utilização do Exame Nacional de Desempenho de Estudantes Como Ferramenta de Avaliação do Desempenho de Alunos do Curso de Administração de Empresas de Uma Instituição de Ensino Superior. In V SINGEP. São Paulo: UNINOVE.

Silva, M. V. C., & Ferraz, R. R. N. (2017). Use of computational tools for strategic management of research productivity in graduation Stricto sensu program: a systematic literature review. In CONTECSI 2017 (p. 977–995). São Paulo: FEA. https://doi.org/10.5748/9788599693131-14CONTECSI/RF-4530

Small, M. L. (2011). How to Conduct a Mixed Methods Study: Recent Trends in a Rapidly Growing Literature. Annual Review of Sociology, 37(1), 57–86. https://doi.org/10.1146/annurev.soc.012809.102657

Sobrinho, J. D. (2010). Avaliação e transformações da educação superior brasileira (1995-2009): do Provão ao SINAES. Avaliação: Revista da Avaliação da Educação Superior, 15(1). Recuperado de http://submission.scielo.br/index.php/aval/article/view/26656

Souza, S. de, Silva, A. R. L. da, Junior, A. da S., & Silva, P. de O. M. da. (2012). O processo de formação de estratégias na instituição de educação superior privada: Múltiplos interesses articulados no formalismo. REGE Revista de Gestão, 19(3), 431–447. https://doi.org/10.5700/issn.2177-8736.rege.2012.49920

Wernerfelt, B. (1984). A resource-based view of the firm. Strategic Management Journal, 5(2), 171–180. https://doi.org/10.1002/smj.4250050207