Open Journal Systems

APORTACIONES ORIGINALES

Recibido: 04/10/2014

Aceptado: 28/10/2014

Índice h y productividad científica de investigadores en medicina de la Universidad de Guadalajara, México

H Index and scientific output of researchers in medicine from the University of Guadalajara, Mexico

Arturo Panduro,^a,b Claudia Ojeda-Granados,^a Horacio Rivera,^c Sonia Roman^a,d

^aServicio de Biología Molecular en Medicina, Antiguo Hospital Civil “Fray Antonio Alcalde”

^bDepartamento de Clínicas Médicas, Centro Universitario de Ciencias de la Salud, Universidad de Guadalajara

^cCentro de Investigación Biomédica de Occidente, División de Genética Humana, Instituto Mexicano del Seguro Social

^dDepartamento de Biología Molecular en Medicina y Genómica, Centro Universitario de Ciencias de la Salud, Universidad de Guadalajara

Guadalajara, Jalisco, México

Comunicación con: Arturo Panduro

Teléfono y fax: 52 (33) 3614 7743

Correo electrónico: apanduro@prodigy.net.mx

Objetivo: evaluar mediante el índice h la productividad científica de investigadores de la Universidad de Guadalajara (UDG) que pertenecen al Sistema Nacional de Investigadores (SNI), en el área de Medicina y Ciencias de la Salud.

Métodos: investigadores de la UDG fueron seleccionados del archivo Investigadores Vigentes 2013 del sitio web del SNI. La productividad científica de aquellos registrados en el área de Medicina y Ciencias de la Salud y en Biología y Química se evaluó con el índice h calculado por la base de datos Scopus. Del mismo archivo se seleccionó una muestra de investigadores Eméritos y de aquellos laborando en instituciones capitalinas para realizar el mismo procedimiento y comparar resultados.

Resultados: en el SNI, 711 investigadores pertenecieron a la UDG, de los cuales 67.2 % fueron SNI nivel I, y en menor proporción nivel II y III. Solo 24.2 % de ellos, se clasificaron en las áreas de Medicina y Ciencias de la Salud y Biología y Química. El índice h promedio de investigadores nivel I, II y III en Medicina y Ciencias de la Salud fue 5.4, 10.5 y 14.5, respectivamente. Los investigadores capitalinos y Eméritos tuvieron un índice h promedio de 23.4 y 19.8 respectivamente.

Conclusión: el índice h permite medir cuantitativa y cualitativamente la productividad científica de los investigadores, evitando sesgo en procesos de evaluación. Se propone su uso en futuras evaluaciones de los miembros del SNI y para médicos que se inscriban a la Academia Nacional de Medicina.

Palabras clave: México, Base de datos de citas, Bibliometría, Investigación biomédica.

---

Objective: To evaluate by the h index the scientific output of researchers from the University of Guadalajara who belong to the Sistema Nacional de Investigadores in the field of Medicine and Health Sciences.

Methods: Researchers from the University of Guadalajara were selected from the Active SNI Researchers 2013 file. The scientific output of researchers in the fields of Medicine/Health Sciences and Biology/Chemistry was evaluated using the h index estimated by the Scopus website. A sample of capital researchers and Emeritus scientists was taken to perform the same procedure and compare data.

Results: The total number of researchers in the University of Guadalajara who are members of the SNI was 711, of which 67.2 % were level I and in less proportion were level II and III. Only 24.2 % of them were classified in the fields of Medicine/Health Sciences and Biology/Chemistry. The average h index value of researchers level I, II and III in Medicine/Health Sciences field was 5.4, 10.5 and 14.5, respectively. Capital and Emeritus scientists had an average h index of 23.4 and 19.8, respectively.

Conclusion: The h index measures the quantity and quality of the scientific output and it also avoids bias in the evaluation process. It should be useful for future evaluations of the SNI members and for medical doctors who sign up for the National Academy of Medicine

Keywords: Mexico, Citation databases, Bibliometrics, Biomedical research.

---

Los parámetros más comunes para evaluar el desempeño de un investigador son la cantidad de artículos publicados, de citas por documento y el factor de impacto de las revistas científicas en donde se publicaron dichas artículos.

El factor de impacto de una revista dada depende del número de veces que se cita un artículo publicado en dicha revista durante los dos últimos años. De esta manera, entre más veces se cite un artículo, mayor será el factor de impacto de la revista.¹ Sin embargo, una de las limitaciones de este parámetro de evaluación es que un documento científico puede ser aceptado para su publicación en una revista con un alto factor de impacto, pero esto no garantiza una gran cantidad de citas de dicho artículo. Por ejemplo, una de las revistas más conocidas alrededor del mundo, Nature, realizó un autoanálisis de su factor de impacto en 2005 y descubrió que solo el 25% de sus artículos fueron numerosamente citados y alcanzaron el nivel de alto factor de impacto.² Por el contrario, los artículos publicados en revistas de bajo factor de impacto pueden lograr un mayor número de citas que aquellos publicados en revistas de alto factor de impacto.

En 1984, el Gobierno Federal creó, a través del CONACYT, una organización nacional científica llamada Sistema Nacional de Investigadores (SNI), con la finalidad de reconocer y apoyar el trabajo de los científicos mexicanos.³ Dentro del SNI existen diferentes categorías: candidato, niveles que van del I al III y la distinción de investigador emérito. El SNI también cuenta con siete campos de conocimiento diferentes:

1. Ciencias Físico-Matemáticas y Geociencias.
2. iología y Química.
3. Medicina y Ciencias de la Salud.
4. Ciencias del Comportamiento y Humanidades.
5. Ciencias Sociales.
6. Biotecnología y Ciencias Agrícolas.
7. Ingeniería.

Cada uno de estos campos tiene un comité revisor que evalúa la productividad científica del investigador que solicita la acreditación. Los campos de Medicina y Ciencias de la Salud y el de Biología y Química tienen un proceso de evaluación similar, en el cual la cantidad de artículos publicados en revistas especializadas y la cantidad de citas son primordiales.

Las consecuencias del método de evaluación con base en la cantidad de publicaciones en revistas especializadas son el número excesivo de coautores y la gran cuantía de artículos con baja cantidad de citas y un pobre impacto. Dadas estas circunstancias, en 2005, el físico Jorge E. Hirsch propuso el índice Hirsch, o índice h,4 el cual mide de manera objetiva el impacto directo del trabajo de un investigador, cuantitativa y cualitativamente.^4,5

El índice h de un científico se calcula con base en la cantidad de artículos que ha publicado y las veces que cada artículo ha sido citado.⁴ Por ejemplo, un investigador pudo haber publicado 10, 20 o 50 artículos, pero si ninguno de ellos fue citado, entonces el índice h será igual a “0”. Por otro lado, si un investigador publicó solo un artículo, pero dicho artículo fue citado al menos una vez, el índice h será igual a “1”; así mismo, si publicó 2 artículos y cada uno de ellos fue citado dos veces, el índice h = 2, etcétera. Este método de evaluación permite valorar de manera más objetiva el trabajo de un investigador, ya que encuentra el balance entre la cantidad y la calidad de su productividad científica.

Es más, hace 20 años, se lanzó una política pública mediada por el CONACYT que consistía en descentralizar la investigación científica de la Ciudad de México a otros estados del país. Ante esta situación, se presentó un nuevo escenario para la Universidad de Guadalajara que comenzó con la fundación de centros universitarios y equipos de investigación, así como el desarrollo de novedosos programas de estudios.6 Durante este periodo, la cantidad de investigadores de la Universidad de Guadalajara registrados en el SNI y clasificados en los campos de Medicina y Ciencias de la Salud y Biología y Química creció de menos de una docena a más de cien. Este crecimiento exponencial suscitó nuestro interés y provocó el desarrollo del presente estudio, cuyo objetivo es evaluar por medio del índice h la productividad científica de los investigadores de la Universidad de Guadalajara que pertenecen al SNI, en los campos de Medicina y Ciencias de la Salud y Biología y Química. A modo de comparación, también se estudió una pequeña muestra de investigadores eméritos y de nivel III del SNI que laboran en instituciones del D.F.

Métodos

Se realizó un estudio descriptivo transversal. En diciembre de 2013, se descargó el archivo electrónico Active Researchers 2013 de la página web del SNI (http://http://www.conacyt.mx/index.php/el-conacyt/sistema-nacional-de-investigadores). Se seleccionaron los investigadores de la Universidad de Guadalajara y se describió, en primer lugar, el número de candidatos y la cantidad de investigadores del SNI niveles I, II y III por campo del conocimiento del SNI y por centro universitario de la Universidad de Guadalajara.

Como el objetivo del presente estudio era evaluar el índice h principalmente en el campo de la Medicina y Ciencias de la Salud, enfocamos nuestro análisis en los investigadores de dos centros universitarios de la Universidad de Guadalajara, así como en aquellos que estaban registrados en dos campos del conocimiento del SNI. En el grupo de los investigadores de la Universidad de Guadalajara (no se tomaron en cuenta los candidatos), realizamos dos selecciones. En la primera etapa del análisis, seleccionamos a los científicos que trabajaban en el Centro Universitario de Ciencias de la Salud (CUCS) y en el Centro Universitario de Ciencias Biológicas y Agropecuarias (CUCBA), y en la segunda etapa, analizamos solo a aquellos investigadores clasificados en los campos de estudio del SNI correspondientes a Medicina y Ciencias de la Salud y a Biología y Química.

En forma aleatoria se tomó una pequeña muestra de científicos eméritos y de investigadores nivel III del SNI que laboran en instituciones del D.F., “investigadores capitalinos”, del archivo mencionado con anterioridad con la finalidad de comparar posteriormente los datos obtenidos. En todos los casos, se utilizó la base de datos Scopus de Elsevier para examinar el número total de artículos, citas e índice h de cada investigador.

La base de datos Scopus recupera casi la totalidad de artículos científicos de los investigadores (ya que excluye las revistas no especializadas), sin importar el periodo inicial de la productividad científica del investigador. No obstante, incluye y calcula las citas y el índice h, respectivamente, desde 1996 en adelante.

Dado que la mayoría de los científicos eméritos o con nivel III del SNI (tanto los capitalinos como los de la Universidad de Guadalajara) son más viejos que aquellos con nivel I o II, su índice h fue recalculado. Para ello, se examinó la cantidad total de artículos que contenían sus citas reportados por Scopus, comenzando por el principio de la productividad de cada investigador. Para el análisis estadístico, se estudiaron las frecuencias y porcentajes de variables cualitativas y los promedios y rangos de variables cuantitativas.

Resultados

La cantidad total de investigadores de la Universidad de Guadalajara registrados en la base de datos del 2013 del SNI fue de 711. Como lo muestra la figura 1, el número de miembros del SNI con nivel I (67.2%) fue mayor al de los niveles II (12.7%) y III (3.8%). La figura 2 muestra el porcentaje de investigadores registrados en cada uno de los campos del conocimiento del SNI, en donde predominaron los científicos de las categorías Ciencias del Comportamiento y Humanidades (24%) y Ciencias Sociales (23.1%), seguidos por los investigadores del campo de la Medicina y Ciencias de la Salud (14.5%) y de Ingeniería (11.8%). Estos investigadores pertenecen a 15 centros universitarios, tanto de la Universidad de Guadalajara como de otros centros de investigación (figura 3).

Cabe destacar que, cuando se evaluó a los investigadores del CUCS y CUCBA en la primera etapa del análisis, se observó que no solo estaban registrados en los campos de Medicina y Ciencias de la Salud y de Biología y Química, sino también en otros campos del conocimiento del SNI. De esta manera, en el cuadro I se describe la cantidad de científicos registrados en cada uno de estos campos del conocimiento, así como su nivel SNI, el promedio de artículos publicados en revistas especializadas, las citas hechas a dichos artículos y su índice h.

En el cuadro II se clasifica a los investigadores de la Universidad de Guadalajara por nivel SNI y se proporciona la cantidad promedio y rango de artículos, citas e índice h de los científicos registrados en los campos de Biología y Química (n = 53) y de Medicina y Ciencias de la Salud (n = 88).

Mientras que la cantidad promedio de artículos, citas e índice h de los investigadores con nivel SNI I en ambas áreas es similar, el valor promedio de estos mismos parámetros es mayor en los científicos con nivel SNI II en el área de Medicina y Ciencias de la Salud (55 vs. 26.3, 473 vs. 245 y 10.5 vs. 8.3 respectivamente). Los investigadores con nivel SNI III en el campo de la Medicina y Ciencias de la Salud tuvieron en promedio 94 artículos, 759.6 citas y un índice h de 14.5; en el campo de la Biología y Química, no hubo investigadores de la Universidad de Guadalajara con nivel SNI III.

En general, la productividad científica, en términos del número promedio de artículos y citas, fue inferior en los investigadores de la Universidad de Guadalajara con nivel SNI III registrados en el campo de la Medicina y Ciencias de la Salud, en comparación con los científicos eméritos y los capitalinos nivel SNI III. Sin embargo, el rango del índice h de los científicos eméritos fue similar al de los investigadores nivel III de la Universidad de Guadalajara (16-25 vs. 10-21), pero inferior al de los investigadores capitalinos (16-25 vs. 11-38) como se muestra en el cuadro III. Pero estos parámetros no fueron evaluados por edad ni periodo.

Análisis y conclusiones

En los últimos 15 años, el crecimiento en la investigación de la Universidad de Guadalajara ha estado enfocado en el desarrollo de programas de estudio, equipos de investigación y la incorporación de alumnos graduados como nuevos investigadores. Además, muchos de los profesores que ya eran empleados de la Universidad de Guadalajara tuvieron la oportunidad de buscar un título y ascender a un nivel superior de productividad científica. En conjunto, esto puede explicar porqué la mayoría de los investigadores de la Universidad de Guadalajara tienen nivel SNI I, y existe un número menor de investigadores nivel II o III. Con respecto a la distribución de los científicos en cada uno de los campos del conocimiento del SNI, la mayoría de ellos está registrada en los campos de las Ciencias del Comportamiento y Humanidades y las Ciencias Sociales, seguidos de los campos de la Medicina y Ciencias de la Salud, Ingeniería, Ciencias Físico-Matemáticas y Geociencias, Biología y Química, Biotecnología y, finalmente, Ciencias Agropecuarias.

La Universidad de Guadalajara cuenta con centros universitarios que ofrecen una amplia variedad de títulos académicos relacionados con cada uno de los campos del conocimiento del SNI. Por lo general, estos centros universitarios se encuentran en la Zona Metropolitana de Guadalajara. Sin embargo, algunos de ellos se ubican en ciudades más pequeñas por todo el Estado de Jalisco. En realidad, el hecho de que la mayoría de los investigadores incluidos en el presente estudio trabajen en los centros universitarios metropolitanos parece indicar que aún es un reto el desarrollo de los investigadores que trabajan en los centros universitarios remotos.

Con base en los campos del conocimiento del SNI, se observó que, entre los científicos que laboran en el CUCS y el CUCBA, la productividad científica de los investigadores en el campo de la Medicina y Ciencias de la Salud fue la más alta, medida como la cantidad promedio de artículos publicados en revistas especializadas, número de citas e índice h, seguidos por aquellos registrados en los campos de la Biología y Química, Ciencias del Comportamiento y Humanidades, Biotecnología y Ciencias Agropecuarias y en las Ciencias Sociales.

En la evaluación de los investigadores de la Universidad de Guadalajara registrados en los campos de la Medicina y Ciencias de la Salud y de la Biología y Química, la productividad científica de los investigadores con niveles SNI I, II y III fue superior en el área de Medicina y Ciencias de la Salud que en el área de Biología y Química. En el campo de la Medicina y Ciencias de la Salud, la relación promedio artículos/citas fue de 16/133.7, 55/473 y 94/759.⁶ para los investigadores con nivel I, II y III respectivamente, indicando que, en promedio, los investigadores (sin importar su nivel SNI) tienen 8 citas por artículo. También en este campo, el índice h promedio de los científicos con nivel SNI I es de 5.4, y para los científicos con nivel II o III, el índice h promedio es de 10.5 y 14.5, respectivamente. En un estudio realizado por Romero et al. se evaluó el índice h de los científicos del SNI en el campo de las ciencias materiales; el índice h promedio fue de 4.48 para los investigadores con nivel SNI I, de 6.77 para los del nivel II y de 12.77 para los del nivel III.⁷

Actualmente, la cantidad de artículos y citas sirve de parámetro básico, tomado en cuenta por los comités de evaluación del SNI. El hecho de que estos parámetros no reflejen la calidad de cada uno de los artículos se evidencia en el rango del índice h que existe entre los investigadores del campo de la Medicina y Ciencias de la Salud, independientemente de su nivel SNI. Por ejemplo, algunos investigadores con nivel SNI I o II lograron un índice h de 15, mientras otros investigadores con nivel SNI III tienen un índice h de 10. Esto muestra que, si los comités de evaluación del SNI utilizan el índice h como parámetro de evaluación, entonces los valores del índice h obtenidos en este estudio podrían tomarse como punto de referencia para la evaluación de cada categoría SNI.

Proponemos un índice h de 5 para alcanzar el nivel SNI I, y para los niveles II y III sugerimos un índice h de 10 y 14-15, respectivamente. Con este enfoque, el índice h alentaría a los investigadores a producir artículos de mayor calidad en lugar de publicar muchos artículos con poco impacto en la literatura internacional.

El número promedio de artículos entre los investigadores de la Universidad de Guadalajara con nivel SNI III (en el campo de la Medicina y Ciencias de la Salud), los investigadores capitalinos y los científicos eméritos ha crecido: 94, 140.2 y 161.5, respectivamente. Sin embargo, este patrón no se observó en su promedio de citas e índice h. Por ejemplo, el índice h de los investigadores capitalinos con nivel SNI III varió de 11 hasta 38, mientras que el de los científicos eméritos e investigadores de la Universidad de Guadalajara con nivel III (en el campo de la Medicina y ciencias de la Salud) varió de 16 a 25 y de 10 a 21, respectivamente. De nuevo, asumimos que los parámetros de la cantidad de artículos y citas conducen a un sesgo en el proceso de evaluación, el cual se puede evitar si solo se utiliza el índice h como marco de referencia que integra ambos aspectos, el cualitativo y el cuantitativo.⁵

De esta manera, en México, el SNI podría esperar un índice h de al menos 15 para los investigadores nacionales con nivel SNI III, mientras que para lograr el nombramiento de científico emérito se podría requerir un índice h de 20-25. Hirsch explica que un índice h de 20 caracteriza a un investigador exitoso después de 20 años de trabajo científico, mientras que un índice h de 40 podría describir a los científicos que han ganado un Premio Nobel o que encabezan alguna universidad o laboratorio. Finalmente, un índice h de 60 representaría a investigadores excepcionales4 o a aquellos que trabajan en grupos consolidados de investigación, cuya productividad científica es elevada en calidad y cantidad. En estas situaciones, incluso es posible encontrar investigadores que obtengan un índice h superior a 100.

Aunque las bases de datos bibliométricas como Scopus y Google Scholar difieran en la forma en que miden los artículos, citas e índice h,^8,9 se concluye que, a pesar de sus diferencias y limitaciones, estas son herramientas eficaces para los investigadores en el campo de Ciencias de la Salud.⁹ No obstante, dichas limitaciones pueden ser superadas por medio de un registro de los artículos y citas de cada investigador en el curso de su vida productiva.

Cada vez con mayor frecuencia se está utilizando el índice h como parámetro de la calidad y cantidad del trabajo científico. También se le toma en cuenta para la admisión y ascenso de los investigadores en grupos de investigación, asociaciones científicas y escuelas de medicina a nivel internacional. Por ejemplo, los investigadores de la Academia de Ciencias Brasileña en las categorías de Ciencias Biomédicas, Ciencias de la Salud y Química, tienen un índice h promedio de 23, 20 y 19, respectivamente.¹⁰ En México, esto no se ha aplicado. Sin embargo, se ha sugerido el uso del índice h, junto con el índice i10 de Google Scholar (el cual indica la cantidad de artículos que un autor ha publicado y que han tenido al menos diez citas), como requisito para la admisión del investigador en las asociaciones médicas, como la Academia Nacional de Medicina o en el Sistema Nacional de Investigadores en México.¹¹

Uno de los temas pendientes respecto a la evaluación de la productividad científica entre los miembros de la Academia Nacional de Medicina es el aspecto cualitativo. Con frecuencia, este parámetro es impreciso y subjetivo, lo cual provoca injusticias o insatisfacción en la carrera de los investigadores, lo cual a su vez favorece la simulación y el engaño. Se requiere de una mayor receptividad y un análisis más profundo para resolver satisfactoriamente estos asuntos para las futuras generaciones de científicos.

Referencias

1. García-Pachón E, Padilla-Navas I. El factor de impacto y el índice h de las revistas biomédicas españolas. Med Clin (Barc). 2013.
2. Editorial. Not-so-deep impact. Research assessment rests too heavily on the inflated status of the impact factor.Nature.2005;435:1003–1004.
3. www.conacyt.gob.mx/sni/paginas/default.aspx
4. Hirsch JE. An index to quantify an individual’s scientific research output. PNAS. 2005;102:16569-16572.
5. Costas R, Bordons M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. J Informetrics. 2007;1: 193-203.5.
6. http://www.udg.mx/historia
7. Romero AH, García A, Kiwi M. Evaluation of the scientific impact, productivity and biological age based upon the h-index in three Latin American countries: the materials science case. Ann Phys (Berlin). 2009; 18:198-205.
8. Minasny B, Hartemink AE, McBratney A, Hang H. Citations and the h index of soil researchers and journals in the Web of Science, Scopus, and Google Scholar.Peer J. 2013;1: e183.
9. Cabezas-Clavijo A, Delgado-López-Cózar E. Google Scholar e índice h en biomedicina: la popularización de la evaluación bibliométrica. Med Intensiva. 2013;37:343-354.
10. Kellner AWA, Ponciano LCMO. H-index in the Brazilian Academy of Sciences – comments and concerns. An Acad Bras Cienc. 2008;80:771-781.
11. Rivera H. El índice h: criterio necesario en la evaluación de investigadores. Rev Med Inst Mex Seguro Soc. 2011;49:123-124.

Enlaces refback

• No hay ningún enlace refback.