Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals

Autores

  • Marta Denisczwicz Universidade Federal de Santa Catarina
  • Vinícius Medina Kern Universidade Federal de Santa Catarina

DOI:

https://doi.org/10.18617/liinc.v9i1.531

Palavras-chave:

Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem

Resumo

Resumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.

Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem. 

Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - ​​lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.

Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning.

Biografia do autor

Marta Denisczwicz, Universidade Federal de Santa Catarina

Graduanda do curso de Biblioteconomia pela Universidade Federal de Santa Catarina. Bolsista de Iniciação Científica PIBIC/CNPq 

Vinícius Medina Kern, Universidade Federal de Santa Catarina

Doutor. Professor do Departamento de Ciência da Informação da Universidade Federal de Santa Catarina

Downloads

Publicado

27/05/2013

Como citar

DENISCZWICZ, M.; KERN, V. M. Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals. Liinc em Revista, [S. l.], v. 9, n. 1, 2013. DOI: 10.18617/liinc.v9i1.531. Disponível em: https://revista.ibict.br/liinc/article/view/3407. Acesso em: 29 mar. 2024.