Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado │ Peer review indicators: reliability of a reciprocal anonymous review of masters proposals
DOI:
https://doi.org/10.18617/liinc.v9i1.531Keywords:
Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagemAbstract
Resumo A revisão por pares é pobre em indicadores, apesar de sua importância. Este artigo apresenta indicadores de confiabilidade da revisão recíproca anônima de propostas de mestrado. Doze alunos de mestrado em Ciência da Informação deram pareceres anônimos sobre propostas de colegas em 7 itens avaliativos, usando escala Likert-6, sendo a confiabilidade calculada através de índices utilizados na literatura. A confiabilidade não é uma medida absoluta de qualidade, mas o cálculo desses indicadores permite estudar sistematicamente a qualidade da revisão por pares.
Palavras-chave Revisão por pares, Confiabilidade, Concordância entre revisores, Coeficiente de correlação intraclasse, Revisão por pares na aprendizagem.
Abstract Peer review lacks indicators, which is incongruent with its importance. This article reports the reliability of mutual, anonymous review of masters research proposals. Twelve masters students in Information Science refereed anonymously their peers' research proposals according to 7 evaluation items, using a Likert-6 scale. Reliability was expressed as intraclass correlation indices between 0.500 and 0.202, with 9 positive and 3 negative values - lower than usual in professional processes. Reliability is not an absolute measure of quality, but calculating reliability allows for a systematic study of the quality of peer review.
Keywords Peer review; Reliability; Agreement among referees; Intraclass correlation coefficient; Peer review in learning.Downloads
Additional Files
Published
Issue
Section
License
Authors who publish with this journal agree to the following terms:
Authors retain copyright and grant Liinc em Revista the right of first publication with the work simultaneously licensed under a Creative Commons Attribution 4.0 International License.
The authors have permission and are encouraged to deposit their manuscripts and versios of record (VoR) in their personal web pages or institutional repositories, generic repositories etc., before (pre-print) or after (post-print) the publication in Liinc em Revista, according to its open access depositing policy registered in the Directory of Editorial Policies of Brazilian Journals (DIADORIM), kindly providing a link to the article published on Liinc's website.
Liinc em Revista, published by Instituto Brasileiro de Informação em Ciência e Tecnologia, is licensed under a Creative Commons Attribution 4.0 International License – CC BY 4.0