Design and validation of an analytical rubric for evaluating scientific manuscripts
Keywords:
analytical rubric, scientific manuscripts, design, validation.Abstract
Introduction: Scientific research tends to be presented through written reports, which are initially called manuscripts. The review of their quality is important in the framework of methodological and scientific rigor.
Objective: To design and validate an analytical rubric to evaluate scientific manuscripts.
Material and Methods: Instrumental study. An analytical rubric composed of 21 aspects integrated into six dimensions and four performance levels (excellent, good, fair, to be improved) was developed. The methodology of expert judges (n = 9), reliability by means of Krippendorff's alpha (α), external criterion test, and qualitative information for the improvement of the indicators were used.
Results: The expert judgment indicated that the 21 aspects to be evaluated can be considered valid (Aiken's V ≥ 0.70) and dependable (α ≥ 0.70). In addition, the experts' suggestions allowed qualitative improvements to the instrument. The pilot application with a group of seven evaluators indicated that the test has predictive power because it was found that the judges' scores decreased as the quality of the selected manuscript decreased.
Conclusions: The analytical rubric elaborated is a valid and reliable instrument that can be used for the assessment of scientific manuscripts in the field of medical education. The methodological process provides solid evidence of its performance. Nevertheless, it is encouraged to continue revising the instrument as part of its continuous improvement process.
Downloads
References
1. Bunge M. El planteamiento científico. Rev Cubana Salud Pública. 2017;43:1-29.
2. Barboza Palomino M, Ventura León J, Caycho Rodríguez T. Consideraciones en relación con el problema de la investigación. Rev Cubana Inf Ciencias la Salud [Internet]. 2018 [Citado 24/02/2022];29:106–8. Disponible en: https://bit.ly/3wxCXBH
3. Nowakowska J, Sobocińska J, Lewicki M, Lemańska Ż, Rzymski P. When science goes viral: The research response during three months of the COVID-19 outbreak. Biomed Pharmacother [Internet]. 2020 [Citado 24/02/2022];129:110451. Disponible en: https://linkinghub.elsevier.com/retrieve/pii/S0753332220306442
4. Pérez C. La publicación continua frente a la publicación periódica: otra vuelta de tuerca en la edición de las revistas científicas en Internet. Rev Esp Salud Pública [Internet]. 2015 [Citado 24/02/2022];89:533–6. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1135-57272015000600001&lng=en&nrm=iso&tlng=en
5. Comité Internacional de Directores de Revistas Médicas. Requisitos uniformes para preparar los manuscritos que se presentan a las revistas biomédicas: redacción y edición de las publicaciones biomédicas. Rev Chil Obstet Ginecol. 2004;15:163–82.
6. Valderrama J. El Manuscrito y las Revistas Científicas. Inf tecnológica [Internet]. 2017 [Citado 24/02/2022];28:01–2. Disponible en: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0718-07642017000100001&lng=en&nrm=iso&tlng=en
7. Atamari Anahui N, Roque Roque JS, Robles Mendoza RA, Nina Moreno PI, Falcón Huancahuiri BM. Publicación de tesis de pregrado en una Facultad de Medicina en Cusco, Perú. Rev Medica Hered [Internet]. 2015 [Citado 24/02/2022];26(4):217–21. Disponible en: http://www.scielo.org.pe/scielo.php?pid=S1018-130X2015000400003&script=sci_arttext&tlng=pt
8. Taype Rondán Á, Carbajal Castro C, Arrunategui Salas G, Chambi Torres J. Limitada publicación de tesis de pregrado en una Facultad de Medicina de Lima, Perú, 2000-2009. An Fac Med. 2012;73:153-7.
9. Mamani Benito O, Ramos G, Rodrigo D, Quispe F, Chipana N. Publicación científica y características de las tesis de salud de universidades del departamento de Puno, Peru. Horiz Médico. 2020;20:e1149.
10. Mamani OJ. Calidad metodológica y características de las tesis de pregrado de psicología de una universidad privada del Perú. Propósitos y Represent. 2018;6:301-38.
11. Cano E. Las rúbricas como instrumento de evaluación de competencias en Educación Superior: ¿Uso o Abuso?. Profesorado: Revista de curriculum y formacion del Profesorado. 2015;19:265-80.
12. García Ros R. Diseño y utilización de rúbricas en la Enseñanza Universitaria: una aplicación en la titulación de Psicología. Electron J Res Educ Psychol [Internet]. 2018 [Citado 24/02/2022];10:1477–92. Disponible en: http://ojs.ual.es/ojs/index.php/EJREP/article/view/1542
13. Gatica Lara F, Uribarren Berrueta T del NJ. ¿Cómo elaborar una rúbrica?. Investig en Educ Médica. 2013;2:61-5.
14. Panadero E, Jonsson A. A critical review of the arguments against the use of rubrics. Educ Res Rev. 2020;30:100329.
15. Panadero E, Jonsson A. The use of scoring rubrics for formative assessment purposes revisited: A review. Educ Res Rev. 2013;9:129-44.
16. Gregori Giralt E, Menéndez Varela JL. The content aspect of validity in a rubric-based assessment system for course syllabuses. Stud Educ Eval. 2021;68:100971.
17. Vasileiadou D, Karadimitriou K. Examining the impact of self-assessment with the use of rubrics on primary school students’ performance. Int J Educ Res Open. 2021;22:100031.
18. Mariani B, Horsley TL, Fey M, Gloe D, Atz T, Campbell SH, et al. Simulation Research Rubric: Further Analysis of Published Simulation Studies and Future Implications. Clin Simul Nurs. 2020;48:89-93.
19. Bruna CE, Villarroel VA, Bruna DV, Martínez JA. Experiencia de Diseño y Uso de una Rúbrica para Evaluar Informes de Laboratorio en Formato Publicación Científica. Form Univ. 2019;12:17-28.
20. Fey MK, Gloe D, Mariani B. Assessing the Quality of Simulation-Based Research Articles: A Rating Rubric. Clin Simul Nurs [Internet]. 2015 [Citado 24/02/2022];11:496–504. Disponible en: https://linkinghub.elsevier.com/retrieve/pii/S1876139915000833
21. Greenberg KP. Rubric Use in Formative Assessment. Teach Psychol [Internet]. 2015 [Citado 24/02/2022];42:211–7. Disponible en: http://journals.sagepub.com/doi/10.1177/0098628315587618
22. Sasipraba T, Kaja R, Nandhitha NM, Prakash S, Jayaprabakar J, Poorna Pushpakala S, et al. Assessment tools and rubrics for evaluating the capstone projects in outcome based education. Procedia Comput Sci. 2020;172:296-301.
23. Dickinson P, Adams J. Values in evaluation – The use of rubrics. Eval Program Plann. 2017;65:113-6.
24. Manzano Arrondo V. Hacia un cambio paradigmático para la evaluación de la actividad científica en la Educación Superior. Rev la Educ Super. 2017;46:1-35.
25. Mamani Benito O. Rasgo conciencia de la personalidad: factor determinante en la producción científica peruana. Educ Médica [Internet]. 2021 [Citado 24/02/2022];22:237. Disponible en: https://linkinghub.elsevier.com/retrieve/pii/S1575181320301819
26. Ato M, López García JJ, Benavente A. Un sistema de clasificación de los diseños de investigación en psicología. An Psicol Psychol. 2013;29:1038-59.
27. American Psychological Association. Reporting standards for research in psychology: Why do we need them? What might they be?. Am Psychol [Internet]. 2008 [Citado 24/02/2022];63:839-51. Disponible en: http://doi.apa.org/getdoi.cfm?doi=10.1037/0003-066X.63.9.839
28. O’Donnell JA, Oakley M, Haney S, O’Neill PN, Taylor D. Rubrics 101: A Primer for Rubric Development in Dental Education. J Dent Educ [Internet]. 2011 [Citado 24/02/2022];75:1163-75. Disponible en: https://onlinelibrary.wiley.com/doi/10.1002/j.0022-0337.2011.75.9.tb05160.x
29. Ventura León J. De regreso a la validez basada en el contenido. Adicciones [Internet]. 2019 [Citado 24/02/2022]; 31:[Aprox 2 p.]. Disponible en: http://adicciones.es/index.php/adicciones/article/view/1213
30. Penfield RD, Giacobbi PR. Applying a Score Confidence Interval to Aiken’s Item Content-Relevance Index. Meas Phys Educ Exerc Sci [Internet]. 2004 [Citado 24/02/2022];8:213–25. Disponible en: http://www.tandfonline.com/doi/abs/10.1207/s15327841mpee0804_3
31. Krippendorff K. Computing Krippendorff’s alpha-reliability [Tesis]. Pensilvania: Universidad de Pensilvania; 2011 [Citado 24/02/2022]. Disponible en: https://repository.upenn.edu/asc_papers/43
32. Ventura León J, Mamani Benito O. V de Aiken y Alfa de Krippendorff de la rúbrica analítica para evaluar manuscritos científicos [Internet]. figshare [Citado 17/10/2022]; 2022;1:[Aprox 2 p.]. Disponible en: https://doi.org/https://doi.org/10.6084/m9.figshare.21346848.v1
33. Ventura León J, Mamani Benito O. Rúbrica para Evaluar Manuscritos Científicos. figshare [Internet]. 2022 [Citado 24/02/2022];1: [Aprox 2 p.]. Disponible en: https://doi.org/https://doi.org/10.6084/m9.figshare.21347541.v1
34. Valdés Penagos RG, Juárez Hernández LG, Tobón S. Diseño de una rúbrica análitica socioformativa para evaluar promoción de salud bucal. Rev haban cienc méd [Internet]. 2020 [Citado 24/02/2022];19:1–18. Disponible en: https://www.redalyc.org/journal/1804/180465394010/180465394010.pdf
35. Greenberg KP. Rubric Use in Formative Assessment: A Detailed Behavioral Rubric Helps Students Improve Their Scientific Writing Skills. Teach Psychol. 2015;42:211-7.
36. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for educational and psychological testing. 7ed. Washington, DC: American Educational Research Association; 2014.
37. Fey MK, Gloe D, Mariani B. Assessing the Quality of Simulation-Based Research Articles: A Rating Rubric. Clin Simul Nurs. 2015;11:496-504.
Download PDF
