A proposal focused on the use of systematic reviews to assess scientific quality
DOI:
https://doi.org/10.38017/1657463X.648Keywords:
scientific quality, systematic review, assessment, meta-science, scientific productionAbstract
The assessment of scientific quality is a neccesity for the scientific community as well as those interesed in incentive and support policies of science. The present text has the aim to propose an aproximation to the assessment of scientific quality in which the systematic reviews play a fundamental role. Characteristics and limitations of the principal perspectives on assessment of science are discussed. Finally, it is exposed the own proposal and it is concluded that it satisfies the need for methods and criterio, both objective and rigurous, for the assessment of scientific products.
Author Biography
Oscar Eliezer Mendoza De Los Santos, Instituto Politécnico Nacional.
Licenciado en Psicología por la Universidad Autónoma de Tamaulipas. México.
Estudiante de la Maestría en Metodología de la Ciencia. Centro de Investigaciones Económicas, Administrativas y Sociales del Instituto Politécnico Nacional. México
References
Albert, M., Laberge, S. y McGuire, W. (2012). Criteria for assessing quality in academic research: The views of biomedical scientists, clinical scientists and social scientists. Higher Education, 64(5), 661–676. https://doi.org/10.1007/s10734-012-9519-2
Allik, J. (2013). Factors affecting bibliometric indicators of scientific quality. Trames, 17(3), 199–214. Recuperado de http://psych.ut.ee/~jyri/en/Scientific-quality_Trames-2013-3-199-214.pdf
Ardanuy, J. (2012). Breve introducción a la bibliometría. Barcelona: Universidad de Barcelona.
Avital, M. y Collopy, F. (2001). Assesing research performance: Implications for selection and motivation. Sprouts: Working Papers on Information Systems, 1(14), 40–61. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.505.2146&rep=rep1&type=pdf
Belter, C. W. (2015). Bibliometric indicators: Opportunities and limits. Journal of the Medical Library Association, 103(4), 219–221. https://doi.org/10.3163/1536-5050.103.4.014
Bertneck, C. (2007). Quality Criteria for Design and Science. CHI 2007 Workshop: Exploring Design as a Research Activity. Recuperado de https://www.bartneck.de/publications/2007/qualityCriteria/index.html
Bertocchi, G., Gambardella, A., Jappelli, T., Nappi, C. A. y Peracchi, F. (2015). Bibliometric evaluation vs. informed peer review: Evidence from Italy. Research Policy, 44(2), 451–466. https://doi.org/10.1016/j.respol.2014.08.004
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894
Buela-Casal, G. (2014). Pathological publishing: A new psychological disorder with legal consequences? European Journal of Psychology Applied to Legal Context, 6(2), 91–97. https://doi.org/10.1016/j.ejpal.2014.06.005
Bunge, M. (2001). La ciencia, su método y su filosofía. Buenos Aires: Editorial Sudamericana.
Carro, E. H. (2016). Avances metodológicos en la evaluación de la calidad de la producción científica (investigadores y tesis de pregrado y postgrado) en psicología desarrolladas en la región centro y noreste de México. Universidad de Sevilla.
Cerón, A. U. (2017). Cuatro niveles de conocimiento en relación a la ciencia. Una propuesta taxonómica. CIENCIA ergo sum, 24(1), 83–90. https://doi.org/10.30878/ces.v24n1a9
Chalmers, I. y Altman, D. G. (1995). Systematic reviews. London: BMJ Publications.
Dávila, M., Guzmán, R., Macareno, H., Piñeres, D., de la Rosa, D. y Caballero-Uribe, C. V. (2009). Bibliometría: conceptos y utilidades para el estudio médico y la formación profesiona. Salud Uninorte, 25(2), 319–330. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0120-55522009000200011
Ferreira González, I., Urrútia, G. y Alonso-Coello, P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688–696. https://doi.org/10.1016/j.recesp.2011.03.029
Gelfert, A. (2014). Critical Introduction to Testimony. London: Bloomsbury.
Glänzel, W., Debackere, K., Thijs, B. y Schubert, A. (2006). A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics, 67(2), 263–277. https://doi.org/10.1007/s11192-006-0098-9
Gómez-Morales, Y. J. (2015). Usos y abusos de la bibliometría. Revista Colombiana de Antropología, 51(1), 291–307. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0486-65252015000100013
Hansson, S. O. (2017). Science and Pseudo-Science (Stanford Encyclopedia of Philosophy). En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/pseudo-science/
James, K. L., Randall, N. P. y Haddaway, N. R. (2016). A methodology for systematic mapping in environmental sciences. Environmental Evidence, 5(1), 7. https://doi.org/10.1186/s13750-016-0059-6
Letelier, L. M., Manríquez, J. J. y Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista Medica de Chile, 133(2), 246–249. https://doi.org/10.4067/s0034-98872005000200015
Mårtensson, P., Fors, U., Wallin, S. B., Zander, U. y Nilsson, G. H. (2016). Evaluating research: A multidisciplinary approach to assessing research practice and quality. Research Policy, 45(3), 593–603. https://doi.org/10.1016/j.respol.2015.11.009
Mendoza, O. E. (s/f). Las revisiones sistemáticas como proceso de selección artificial del conocimiento científico en el área de salud. Nóesis, 30(59).
Mendoza, O. E. (2017). Apuntes para una caracterización socio-epistémica de la producción científica y su calidad. Religación. Revista de Ciencias Sociales y Humanidades, 2(8), 195–208. Recuperado de http://revista.religacion.com/index.php/religacion/article/view/120
Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., … Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ (Clinical research ed.), 340, 869. https://doi.org/10.1136/bmj.c869
Mouton, J. y Marais, H. (1990). Basic Concepts in the Methodology of Social Sciences. Pretoria: HSRC Publishers.
Newbold, D. y Roberts, J. (2007). An analysis of the demarcation problem in science and its application to therapeutic touch theory. International Journal of Nursing Practice, 13(6), 324–330. https://doi.org/10.1111/j.1440-172X.2007.00646.x
Niiniluoto, I. (2015). Scientific Progress. En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/scientific-progress/
O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A. y Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. https://doi.org/10.1097/ACM.0000000000000388
Olivé, L. (1988). Conocimiento, sociedad y realidad. Distrito Federal, México: Fondo de Cultura Económica.
Otlet, P. (1934). Traité de Documentation. Bruxelles: Editiones Mundaneum.
Palacios, B., Sanchéz, M. C. y Gutiérrez, A. (2013). Evaluar la calidad en la investigación cualitativa. Guías o checklists. 2o Congreso Nacional sobre Metodología de la Investigación en Comunicación. Segovia.
Pastorino, R., Milovanovic, S., Stojanovic, J., Efremov, L., Amore, R. y Boccia, S. (2016). Quality assessment of studies published in open access and subscription journals: Results of a systematic evaluation. PLoS ONE, 11(5). https://doi.org/10.1371/journal.pone.0154217
Pérez, M. (2013). La producción del conocimiento. Enl@ce: Revista Venezolana de Información, Tecnología y Conocimiento, 10(1), 21–30. Recuperado de https://www.redalyc.org/articulo.oa?id=82326270003
Pritchard, A. (1969). Statistical Bibliography or Bibliometrics? Journal of Documentation, 25(4), 348–349.
Qiongbing, W. (1996). Is Natural Science Free from Morality? En R. S. Cohen, R. Hilpinen, & Q. Renzong (Eds.), Realism and Anti-Realism in the Philosophy of Science (pp. 245–264). https://doi.org/10.1007/978-94-015-8638-2_17
Ríos, C. y Herrero, V. (2005). La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003). Revista Interamericana de Bibliotecología, 28(1), 43–61. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762005000100003
Sahel, J. A. (2011). Quality versus quantity: Assessing individual research performance. Science Translational Medicine, 3(84), 84cm13. https://doi.org/10.1126/scitranslmed.3002249
Salimi, N. (2017). Quality assessment of scientific outputs using the BWM. Scientometrics, 112(1), 195–213. https://doi.org/10.1007/s11192-017-2284-3
Sampaio, R. y Mancini, M. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83–89. https://doi.org/10.1590/S1413-35552007000100013
Sharma, O. P. (2012). Quality Indicators of Scientific Research. Indian Journal of Microbiology, 52(2), 305–306. https://doi.org/10.1007/s12088-012-0246-2
Staff. (2018). Requiere México de un observatorio nacional de Ciencia, la Tecnología y la Innovación - LJA Aguascalientes. La Jornada Aguascalientes. Recuperado de https://www.lja.mx/2018/06/requiere-mexico-de-un-observatorio-nacional-de-ciencia-la-tecnologia-y-la-innovacion/
Tong, A., Sainsbury, P. y Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349–357. https://doi.org/10.1093/intqhc/mzm042
Traag, V. A. y Waltman, L. (2019). Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications, 5(1), 1–12. https://doi.org/10.1057/s41599-019-0233-x
Vanti, N. (2000). Métodos cuantitativos de evaluación de la ciencia: bibliometría, cienciometría e informetría. Investigación Bibliotecológica: archivonomía, bibliotecología e información, 14(29), 9–23. https://doi.org/10.22201/iibi.0187358xp.2000.29.3943
von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C. y Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet, 370(9596), 1453–1457. https://doi.org/10.1016/S0140-6736(07)61602-X
Zeng, X., Zhang, Y., Kwong, J. S. W., Zhang, C., Li, S., Sun, F., … Du, L. (2015). The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. Journal of Evidence-Based Medicine, 8(1), 2–10. https://doi.org/10.1111/jebm.12141
Allik, J. (2013). Factors affecting bibliometric indicators of scientific quality. Trames, 17(3), 199–214. Recuperado de http://psych.ut.ee/~jyri/en/Scientific-quality_Trames-2013-3-199-214.pdf
Ardanuy, J. (2012). Breve introducción a la bibliometría. Barcelona: Universidad de Barcelona.
Avital, M. y Collopy, F. (2001). Assesing research performance: Implications for selection and motivation. Sprouts: Working Papers on Information Systems, 1(14), 40–61. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.505.2146&rep=rep1&type=pdf
Belter, C. W. (2015). Bibliometric indicators: Opportunities and limits. Journal of the Medical Library Association, 103(4), 219–221. https://doi.org/10.3163/1536-5050.103.4.014
Bertneck, C. (2007). Quality Criteria for Design and Science. CHI 2007 Workshop: Exploring Design as a Research Activity. Recuperado de https://www.bartneck.de/publications/2007/qualityCriteria/index.html
Bertocchi, G., Gambardella, A., Jappelli, T., Nappi, C. A. y Peracchi, F. (2015). Bibliometric evaluation vs. informed peer review: Evidence from Italy. Research Policy, 44(2), 451–466. https://doi.org/10.1016/j.respol.2014.08.004
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894
Buela-Casal, G. (2014). Pathological publishing: A new psychological disorder with legal consequences? European Journal of Psychology Applied to Legal Context, 6(2), 91–97. https://doi.org/10.1016/j.ejpal.2014.06.005
Bunge, M. (2001). La ciencia, su método y su filosofía. Buenos Aires: Editorial Sudamericana.
Carro, E. H. (2016). Avances metodológicos en la evaluación de la calidad de la producción científica (investigadores y tesis de pregrado y postgrado) en psicología desarrolladas en la región centro y noreste de México. Universidad de Sevilla.
Cerón, A. U. (2017). Cuatro niveles de conocimiento en relación a la ciencia. Una propuesta taxonómica. CIENCIA ergo sum, 24(1), 83–90. https://doi.org/10.30878/ces.v24n1a9
Chalmers, I. y Altman, D. G. (1995). Systematic reviews. London: BMJ Publications.
Dávila, M., Guzmán, R., Macareno, H., Piñeres, D., de la Rosa, D. y Caballero-Uribe, C. V. (2009). Bibliometría: conceptos y utilidades para el estudio médico y la formación profesiona. Salud Uninorte, 25(2), 319–330. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0120-55522009000200011
Ferreira González, I., Urrútia, G. y Alonso-Coello, P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688–696. https://doi.org/10.1016/j.recesp.2011.03.029
Gelfert, A. (2014). Critical Introduction to Testimony. London: Bloomsbury.
Glänzel, W., Debackere, K., Thijs, B. y Schubert, A. (2006). A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics, 67(2), 263–277. https://doi.org/10.1007/s11192-006-0098-9
Gómez-Morales, Y. J. (2015). Usos y abusos de la bibliometría. Revista Colombiana de Antropología, 51(1), 291–307. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0486-65252015000100013
Hansson, S. O. (2017). Science and Pseudo-Science (Stanford Encyclopedia of Philosophy). En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/pseudo-science/
James, K. L., Randall, N. P. y Haddaway, N. R. (2016). A methodology for systematic mapping in environmental sciences. Environmental Evidence, 5(1), 7. https://doi.org/10.1186/s13750-016-0059-6
Letelier, L. M., Manríquez, J. J. y Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista Medica de Chile, 133(2), 246–249. https://doi.org/10.4067/s0034-98872005000200015
Mårtensson, P., Fors, U., Wallin, S. B., Zander, U. y Nilsson, G. H. (2016). Evaluating research: A multidisciplinary approach to assessing research practice and quality. Research Policy, 45(3), 593–603. https://doi.org/10.1016/j.respol.2015.11.009
Mendoza, O. E. (s/f). Las revisiones sistemáticas como proceso de selección artificial del conocimiento científico en el área de salud. Nóesis, 30(59).
Mendoza, O. E. (2017). Apuntes para una caracterización socio-epistémica de la producción científica y su calidad. Religación. Revista de Ciencias Sociales y Humanidades, 2(8), 195–208. Recuperado de http://revista.religacion.com/index.php/religacion/article/view/120
Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., … Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ (Clinical research ed.), 340, 869. https://doi.org/10.1136/bmj.c869
Mouton, J. y Marais, H. (1990). Basic Concepts in the Methodology of Social Sciences. Pretoria: HSRC Publishers.
Newbold, D. y Roberts, J. (2007). An analysis of the demarcation problem in science and its application to therapeutic touch theory. International Journal of Nursing Practice, 13(6), 324–330. https://doi.org/10.1111/j.1440-172X.2007.00646.x
Niiniluoto, I. (2015). Scientific Progress. En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/scientific-progress/
O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A. y Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. https://doi.org/10.1097/ACM.0000000000000388
Olivé, L. (1988). Conocimiento, sociedad y realidad. Distrito Federal, México: Fondo de Cultura Económica.
Otlet, P. (1934). Traité de Documentation. Bruxelles: Editiones Mundaneum.
Palacios, B., Sanchéz, M. C. y Gutiérrez, A. (2013). Evaluar la calidad en la investigación cualitativa. Guías o checklists. 2o Congreso Nacional sobre Metodología de la Investigación en Comunicación. Segovia.
Pastorino, R., Milovanovic, S., Stojanovic, J., Efremov, L., Amore, R. y Boccia, S. (2016). Quality assessment of studies published in open access and subscription journals: Results of a systematic evaluation. PLoS ONE, 11(5). https://doi.org/10.1371/journal.pone.0154217
Pérez, M. (2013). La producción del conocimiento. Enl@ce: Revista Venezolana de Información, Tecnología y Conocimiento, 10(1), 21–30. Recuperado de https://www.redalyc.org/articulo.oa?id=82326270003
Pritchard, A. (1969). Statistical Bibliography or Bibliometrics? Journal of Documentation, 25(4), 348–349.
Qiongbing, W. (1996). Is Natural Science Free from Morality? En R. S. Cohen, R. Hilpinen, & Q. Renzong (Eds.), Realism and Anti-Realism in the Philosophy of Science (pp. 245–264). https://doi.org/10.1007/978-94-015-8638-2_17
Ríos, C. y Herrero, V. (2005). La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003). Revista Interamericana de Bibliotecología, 28(1), 43–61. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762005000100003
Sahel, J. A. (2011). Quality versus quantity: Assessing individual research performance. Science Translational Medicine, 3(84), 84cm13. https://doi.org/10.1126/scitranslmed.3002249
Salimi, N. (2017). Quality assessment of scientific outputs using the BWM. Scientometrics, 112(1), 195–213. https://doi.org/10.1007/s11192-017-2284-3
Sampaio, R. y Mancini, M. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83–89. https://doi.org/10.1590/S1413-35552007000100013
Sharma, O. P. (2012). Quality Indicators of Scientific Research. Indian Journal of Microbiology, 52(2), 305–306. https://doi.org/10.1007/s12088-012-0246-2
Staff. (2018). Requiere México de un observatorio nacional de Ciencia, la Tecnología y la Innovación - LJA Aguascalientes. La Jornada Aguascalientes. Recuperado de https://www.lja.mx/2018/06/requiere-mexico-de-un-observatorio-nacional-de-ciencia-la-tecnologia-y-la-innovacion/
Tong, A., Sainsbury, P. y Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349–357. https://doi.org/10.1093/intqhc/mzm042
Traag, V. A. y Waltman, L. (2019). Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications, 5(1), 1–12. https://doi.org/10.1057/s41599-019-0233-x
Vanti, N. (2000). Métodos cuantitativos de evaluación de la ciencia: bibliometría, cienciometría e informetría. Investigación Bibliotecológica: archivonomía, bibliotecología e información, 14(29), 9–23. https://doi.org/10.22201/iibi.0187358xp.2000.29.3943
von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C. y Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet, 370(9596), 1453–1457. https://doi.org/10.1016/S0140-6736(07)61602-X
Zeng, X., Zhang, Y., Kwong, J. S. W., Zhang, C., Li, S., Sun, F., … Du, L. (2015). The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. Journal of Evidence-Based Medicine, 8(1), 2–10. https://doi.org/10.1111/jebm.12141
How to Cite
Mendoza De Los Santos, O. E. (2020). A proposal focused on the use of systematic reviews to assess scientific quality. Cultura científica, 1(18), 31–48. https://doi.org/10.38017/1657463X.648
Downloads
Download data is not yet available.
Downloads
Published
2020-12-14
Issue
Section
Article of scientific and technological research
