Open Journal Systems

APORTACIONES ORIGINALES

Recibido: 10/03/2014

Aceptado: 27/10/2014

Confiabilidad y validez de un instrumento de evaluación de la competencia clínica integral de médicos residentes

Reliability and validity of an instrument to evaluate integral clinical competence in medical residents

Ana Carolina Sepúlveda-Vildósola,^a Nadia Gaspar-López,^b Lucina Isabel Reyes-Lagunes,^c Héctor Jaime Gonzalez-Cabello^d

^aDirección de Educación e Investigación en Salud

^bMédico residente de la especialidad de Pediatría

^cFacultad de Psicología, Universidad Nacional Autónoma de México

^dJefatura de la División de Educación Médica

^a,b,dHospital de Pediatría “Dr. Silvestre Frenk Freund”, Centro Médico Nacional Siglo XXI, Instituto Mexicano del Seguro Social

Distrito Federal, México

Comunicación con: Ana Carolina Sepúlveda-Vildósola

Teléfono: (55) 5627 6900, extensión 22306

Correo electrónico: ana.sepulvedav@imss.gob.mx

Introducción: la evaluación de la competencia clínica de un residente es un proceso complejo. Los profesores requieren de instrumentos confiables y válidos para evaluar objetivamente la competencia clínica. El objetivo fue evaluar la confiabilidad y validez de un instrumento (IECC) diseñado para evaluar la competencia clínica integral de los médicos residentes.

Métodos: se diseñó un instrumento a partir de los diferentes pasos del método clínico, y se determinaron tres niveles de competencia para cada uno. El instrumento fue revisado respecto a su claridad, pertinencia y la suficiencia de sus indicadores planteados por cinco médicos pediatras expertos. Cada residente fue evaluado independientemente por tres médicos.

Resultados: se obtuvieron en total 651 mediciones en 234 residentes. El instrumento discriminó entre grupos extremos. Se obtuvo un valor de alfa de Cronbach de 0.778 y el análisis factorial distinguió dos factores: competencia clínica y competencias complementarias. No se encontraron diferencias entre evaluadores en las calificaciones globales ni en cada uno de los indicadores.

Conclusión: el instrumento propuesto es válido y confiable. Se propone como una herramienta más en la evaluación formativa de los médicos residentes de especialidades clínicas.

Palabras clave: Evaluación, Competencia clínica, Residentes.

---

Background: The evaluation of clinical competence in medical residents is a complex procedure. Teachers need reliable and valid instruments to evaluate objectively the, clinical competence. The aim of this study was to determine the reliability and validity of an instrument designed to evaluate the clinical competence of medical residents.

Methods: We designed an instrument taking into consideration every part of the clinical method, and three different levels of competence were determined for each one. The instrument was examined with regards to the clarity, pertinence and sufficiency of each clinical indicator by five expert pediatricians. The instrument was finally constituted by 11 indicators. Each resident was evaluated independently by three pediatricians.

Results: A total of 651 measurements were done in 234 residents. The instrument distinguished between extreme groups, had a value of Cronbach´s alpha of 0.778 and the factorial analysis set apart two factors: clinical competence and complementary competences. No statistical differences were found between evaluators neither in global evaluation or in each indicator.

Conclusion: The instrument here proposed is valid and reliable. It may be used in formative evaluation of medical residents in clinical specialization programs.

Keywords: Evaluation, Clinical competence, Medical residents.

---

En México se ha ido avanzando lentamente hacia un enfoque de educación por competencias en medicina.El objetivo es que el profesional sea capaz de resolver los problemas de salud que demanda la sociedad actual, y pueda adaptarse a la incertidumbre, al cambio y a los nuevos escenarios complejos. Las instituciones de salud formadoras de recursos humanos deben ofrecer procesos y ambientes que permitan al individuo desarrollar las habilidades requeridas para adaptarse a las organizaciones continuamente cambiantes y a las necesidades de la sociedad en la que viven. El aprendizaje debe llevarse a cabo en el contexto de experiencias reales que les permitan ser creativos en la resolución de dichos problemas.¹

En los últimos años, la evaluación de la competencia clínica ha adquirido mayor importancia y, a pesar de ser una actividad compleja, es una tarea indispensable y fundamental para retroalimentar el proceso educativo y constituye el mecanismo mediante el cual las instituciones y organizaciones pueden asegurar al público un adecuado desempeño de los médicos formados. Sin embargo, existen serios problemas en el proceso de evaluación de la competencia clínica de los médicos, tanto desde la perspectiva conceptual como desde los instrumentos disponibles para realizarla. La mayoría de estos instrumentos evalúan una sola competencia o, en el mejor de los casos, dos.²

Los instrumentos disponibles pueden dividirse en tres rubros: evaluaciones formales, estructuradas, circunscritas y ex vivo (exámenes escritos, orales o ECOE);^3-7 exámenes formales, estructurados, circunscritos in situ (Mini Clinical Evaluation Exercise o mini-CEX); y evaluaciones informales, no estructuradas, sumativas, in situ (In-trining Evaluation Report). En general, la evaluación de la competencia clínica requiere la observación directa de las habilidades clínicas del alumno y el uso de instrumentos válidos y confiables que objetivicen el proceso. Sin embargo, la revisión sistemática de la literatura realizada en 2009 por Kogan et al. encontró que de 32 instrumentos que evalúan la competencia de los residentes, solo la mitad reportaron la evaluación de la confiabilidad del instrumento; el mini-CEX fue el más utilizado y el de mayor confiabilidad.^8,9 No obstante, y a pesar de los intentos por desarrollar herramientas objetivas, estandarizadas, válidas y confiables para lograr la objetividad,¹⁰ una de las mayores dificultades encontradas es la subjetividad de los evaluadores, que se ha atribuido a factores como juicios idiosincráticos en la “primera impresión”, sus marcos de referencia, los niveles de inferencia que emplearon en el proceso de observación, o sus habilidades clínicas. Estos autores no encontraron diferencias según factores demográficos como edad, sexo o experiencia clínica.^11-13 Margolis et al. recomiendan un mayor numero de evaluadores para cada observación para mejorar la estabilidad de las pruebas.¹⁴ Otras estrategias reportadas son el uso de portafolios, la revisión de registros, las simulaciones y modelos, el examen con pacientes estandarizados o la revisión de videos del desempeño ante un paciente.^15-21

Se entiende, según este contexto, que no existe una forma única para evaluar las competencias clínicas y que las formas de evaluación son complementarias, ya que ninguna evalúa de manera integral el proceso.

En México, la evaluación de la competencia clínica se ha realizado en el pregrado de la Facultad de Medicina de la UNAM a través del ECOE.²² Sin embargo, se han documentado sus limitaciones: los conocimientos y las destrezas del estudiante son examinados de manera fragmentada, algunas de las “estaciones” son artificiales y, además, el costo, el tiempo utilizado y el personal que participa en la elaboración y aplicación es mayor que en los exámenes tradicionales. En el posgrado de medicina, la competencia clínica del residente solamente puede determinarse mediante la observación y la evaluación que brinda a los enfermos durante su entrenamiento. Otros autores han encontrado una adecuada confiabilidad en la evaluación integral de la competencia clínica a través del examen profesional,²³ o con el uso de exámenes escritos construidos con casos reales en diversos posgrados.^24-26 En el Hospital Infantil de México, Federico Gómez comenzó a utilizar el mini-CEX como herramienta en la evaluación de la competencia clínica de residentes de pediatría.²⁷ En la literatura en español no encontramos un instrumento objetivo que sea contextualmente pertinente y que evalúe de manera válida y confiable el desempeño clínico de los alumnos de especialidad ante un paciente real.

En el Hospital de Pediatría de la Unidad Médica de Alta Especialidad del Centro Médico Nacional Siglo XXI, se elaboró un instrumento para la evaluación de la competencia clínica (IECC). Para ser considerado como efectivo, este instrumento debe ser válido y confiable. El objetivo del presente estudio fue estimar la confiabilidad y validez del IECC en la evaluación de la competencia clínica de los médicos residentes del Hospital de Pediatría del Centro Médico Nacional Siglo XXI, así como determinar la concordancia interobservador.

Métodos

El estudio se realizó en la Unidad Médica de Alta Especialidad (UMAE), Hospital de Pediatría, Centro Médico Nacional Siglo XXI.

Fase 1. Diseño del instrumento

1. En 2012 se construyó un instrumento para la evaluación de la competencia clínica integral mediante los siguientes pasos:

a) Se elaboró una lista de cotejo de los diferentes pasos que se llevan a cabo en el método clínico y se determinaron tres niveles de competencia para cada uno. Se construyó el instrumento, con base en lo propuesto en la literatura, es decir, a partir de indicadores mencionados en instrumentos utilizados para medir la competencia clínica.

b) El instrumento se sometió a revisión por un grupo de cinco médicos pediatras que son expertos del hospital con experiencia profesional clínica de más de 20 años. Estos expertos determinaron la representatividad de los ítems y la utilización de métodos sensibles para la construcción de la prueba. Se les solicitó su opinión sobre la claridad, pertinencia y suficiencia de los indicadores planteados. El instrumento se complementó de acuerdo con sus comentarios.

2. El instrumento quedó constituido por 11 indicadores descritos en el anexo 1. Se determinaron tres niveles de competencia para cada uno (Satisfactorio, Insatisfactorio y No aceptable).

Se aplicó el instrumento a un grupo piloto de residentes de segundo y tercer año del curso de especialización en Pediatría, para asegurar la comprensión y la claridad de los reactivos.

Fase 2. Aplicación del instrumento

Se incluyeron los registros obtenidos de la evaluación de la competencia clínica integral realizados a médicos residentes que cursaron una especialidad en la UMAE Hospital de Pediatría del CMN Siglo XXI de agosto de 2012 a diciembre de 2013. Se eliminaron las evaluaciones incompletas o ilegibles.

Cada residente fue evaluado por tres evaluadores (uno de la Dirección de Educación e Investigación en Salud, un evaluador titular o adjunto del curso de la especialidad y otro evaluador-profesor, ayudante de la especialidad en que el residente sería evaluado). Los profesores eligieron al paciente de acuerdo con las patologías de los módulos universitarios de cada grado académico. Se solicitó al padre/madre o tutor del menor y en mayores de 9 años al mismo paciente su cooperación voluntaria para la realización de la evaluación clínica. Se explicó a los residentes el procedimiento del examen, que consistía en una fase inicial, en la que interrogarían y explorarían al paciente, y una segunda fase en aula, donde se les cuestionaría a los residentes sobre su razonamiento y sus conocimientos médicos. Se otorgó todo el tiempo que el residente requiriera para el interrogatorio y la exploración física del paciente sin hacer intervención, a excepción de que esta exploración pudiese lesionar al paciente o en caso de que este presentara alguna complicación.

Se pidió a cada evaluador que de manera independiente calificara cada rubro del instrumento. Al finalizar se sumaron los puntos obtenidos de acuerdo con la ejecución de cada indicador y se asignó la calificación final, según la referida en el anexo 1. La calificación final del examen de cada alumno se obtuvo del promedio de las tres calificaciones de los distintos evaluadores.

Las calificaciones se capturaron en una base de datos en SPSS, versión 20. Se realizó el análisis descriptivo de las variables mediante porcentajes y frecuencias para variables cualitativas, y media y desviación estándar para variables cuantitativas. El análisis de discriminación de los reactivos se realizó con la prueba t de Student para los grupos extremos. La determinación de la validez del instrumento se realizó mediante un análisis factorial de componentes principales con rotación ortogonal. La confiabilidad del instrumento se determinó por medio del coeficiente alfa de Cronbach. La concordancia interobservador se determinó mediante ANOVA.

El protocolo fue aprobado por el Comité Local de Investigación y Ética, con el número de registro R-2012-3603-87.

Resultados

Se obtuvieron en total 651 mediciones en 234 residentes, en promedio 2.78 mediciones por residente. En el ciclo escolar 2012-2013 se realizó el 67 % de las evaluaciones (438 registros) y en el ciclo escolar 2013-2014 se evaluaron 213 registros.

De acuerdo con el grado académico de los residentes, siete evaluaciones fueron a residentes de primer año, 135 a los de segundo año, 181 a los de tercer año, 60 a los de cuarto año, 123 a los de quinto año y 145 a los de sexto año.

El 51.9 % de las evaluaciones correspondieron a residentes que cursaban la especialidad de Pediatría, mientras que el 48.1 % restante fue representado por especialidades de la Pediatría.

Con respecto a las calificaciones obtenidas, 13.2 % obtuvieron calificación de 5, 13.4 % de 6, 18.9 % de 7, 18.1 % de 8, 21.4 % de 9 y 15 % de 10. El promedio de calificación fue de 7.66 (± 1.617).

El análisis de discriminación determinó que existe una diferencia estadísticamente significativa entre los grupos con menor y mayor rendimiento en la prueba (percentil 25 o menor y 75 o mayor, respectivamente) (cuadro I).

El análisis de confiabilidad de 11 elementos obtuvo un valor de alfa de Cronbach de 0.778, con un alfa de Cronbach basada en elementos tipificados de 0.818 y una T2 de Hotelling de 0.000.

En el cuadro II puede apreciarse que ninguno de los elementos de la prueba afecta negativamente la confiabilidad de la misma.

De acuerdo con el puntaje máximo posible para cada uno de los rubros, los apartados de presentación, comunicación y programas prioritarios obtuvieron mejor rendimiento, seguidos por padecimiento actual, pronóstico y complementación diagnóstica. Las áreas con menor rendimiento fueron plan terapéutico, integración diagnóstica, interrogatorio, exploración física y fundamentación teórica (cuadro III).

Para determinar la validez del instrumento se realizó el análisis factorial y con él encontramos que los ítems se agrupan claramente en dos factores principales (cuadro IV).

a) Factor 1: competencia clínica, que agrupa los componentes del acto médico, como la obtención de la información a través del padecimiento actual, el interrogatorio y la exploración física, así como los componentes del razonamiento clínico-diagnóstico, integrado por la complementación diagnóstica, la integración diagnóstica, el plan terapéutico, la fundamentación teórica y el pronóstico.

b) Factor 2: competencias complementarias, integrado por la presentación, la comunicación y el conocimiento de programas prioritarios.

Respecto a la concordancia entre observadores, no se encontraron diferencias estadísticamente significativas en los valores obtenidos por cada evaluador en los diferentes rubros de la prueba, por lo que existe una buena concordancia interobservador (cuadro V).

Discusión

La evaluación de la competencia clínica integral es un objetivo primordial de las instituciones involucradas en la formación de los profesionales en salud. No es suficiente con diseñar programas de formación excelentes que reciban acreditación por los organismos correspondientes, sino que se requiere demostrar que su aplicación produce el impacto positivo que se desea. Por lo tanto, es imprescindible realizar la evaluación continua, rigurosa y específica del médico residente en fase de especialización.¹⁶

Sin embargo, la evaluación de la competencia clínica es difícil de realizar, debido a que deben evaluarse el conjunto de conocimientos, habilidades y actitudes de manera integral.^11-14 Tradicionalmente la evaluación del alumno se realiza de manera fragmentada, es decir, en diferentes momentos y a través de distintos instrumentos.

En el IMSS, la evaluación cognoscitiva se propone a través de exámenes de opción múltiple, mientras que las habilidades psicomotoras se evalúan en un formato abierto denominado CEM 2, en el que los profesores anotan la habilidad adquirida por el residente, sin ningún listado de cotejo que avale la medición, por lo que la confiabilidad y validez del mismo es cuestionable.

Las actitudes de los residentes son evaluadas a través del formato CEM 3, que incluye aspectos como el comportamiento profesional, el criterio, las relaciones interpersonales, la disciplina, el cumplimiento de las actividades académicas, la crítica y la responsabilidad y compromiso, y en el que el profesor evalúa en una escala de 0 a 100. Cabe aclarar que nunca se ha realizado ningún estudio psicométrico de dichos formatos de evaluación.

El instrumento propuesto para evaluar la competencia clínica intenta integrar los principales aspectos de esta: conocimientos, habilidades y actitudes, los cuales, al realizarse en un ambiente real, ofrecen resultados del desempeño del residente de una manera más aproximada a lo que será en su vida profesional.

Dados los resultados de discriminación, es útil en la evaluación de la competencia clínica de los residentes, ya que, además de que es de fácil aplicación, integra las cualidades que se requieren para realizar una evaluación de la competencia clínica.

Llama la atención que las áreas de interrogatorio y exploración física hayan obtenido los puntajes medios más bajos, ya que son ampliamente abordados en el pregrado de Medicina, y se esperaría que los alumnos ya cuenten con el dominio de dichas habilidades. En lo que respecta al plan terapéutico, la integración diagnóstica y la fundamentación teórica, que también obtuvieron los puntajes más bajos, corresponden a conocimientos y habilidades que cada residente debe adquirir durante la especialidad, por lo que deberán ser reforzadas por sus profesores.

Consideramos que el principal sesgo de la prueba está relacionado con el rendimiento del alumno, que puede estar afectado por dos aspectos principales, el estrés propio de la evaluación, y el hecho de que al ser observado, el residente sea más minucioso en el interrogatorio y la exploración física del paciente, que no necesariamente es lo que realiza diariamente. Otros problemas estuvieron relacionados con el proceso propio de la atención de los pacientes, como llamadas telefónicas a los familiares, interrupciones por parte del área de enfermería para la aplicación de medicamentos o acudir a realización de exámenes de gabinete, etcétera.

El tiempo de aplicación de la prueba osciló entre 45 y 150 minutos, con promedio de 120. En este caso, los residentes tuvieron tiempo libre para el interrogatorio y la exploración física. Habría que determinar si la confiabilidad y validez del instrumento pudiera afectarse si se limita el tiempo.

El propósito fundamental de la evaluación fue retroalimentar el proceso educativo, a fin de poder establecer áreas de mejora en dicho proceso. La integración de este instrumento de evaluación de ninguna manera pretende sustituir otras formas de evaluación que se realizan a los médicos residentes; más bien se propone como una forma complementaria de evaluación, cuya frecuencia de aplicación deberá ser ponderada por cada uno de los profesores o instituciones que lo adopten.

Las nuevas tendencias en educación médica nos permiten vislumbrar un panorama educativo en el que adquirirán una relevancia cada vez mayor los aspectos relacionados con los estándares de calidad de la enseñanza, con nuevas metodologías educativas, o con los avances en la evaluación del conocimiento y de las aptitudes adquiridas, por lo que contar con instrumentos con validez y confiabilidad nos permite evaluar de manera integral la formación de los residentes y planificar cambios necesarios en los programas académicos, de tal manera que en el futuro los resultados sean mejores en cuanto al desempeño del especialista egresado de las diversas instituciones formadoras.

Conclusión

El instrumento propuesto es valido y confiable. Se propone como una herramienta más en la evaluación formativa de los médicos residentes de especialidades clínicas..

Referencias

1. Fraser S., Greenhalgh T. Coping with complexity: educating for capability. BMJ 2001; 323: 799-803.
2. Regehr G. Kevin E., Ginsburg S. et al. Assessment in postgraduate medical education: trens and issues in assessment in the workplace. Members of the FMEC PG consortium; 2011.
3. Sloan DA, Donelly MB, Schwarts RW. Strodel WE. The Objetive structured clinical examination. The new gold standard for evaluating posgraduate clinical performance. Annals of Surgery 1995; 222(6):735-42
4. Hull AL, Hodder MD, Berger B, Ginsberg D, Lindheim N, Quan J.Validity of three clinical perfomance assessments of International Medicine Clerks. Acad Med 1995; 70(6): 517-522.
5. Harden RM, Gleeson FA. Assessment of Clinical Competence Using an Objetive Structured Clinical Examination (OSCE) Med Educ 1979;13: 41-54.
6. Dupras DM, Li JT. Use of an Objetive Structured Clinical Competence Acad Med 1995;70 (11): 1029-34.
7. Selby C, Osman L, Davis M, Lee M. How to do it. Set up and run.an objetive structured clinical exam. Br Med Journal. 1995; 310: 1187-90.
8. Kogan J., Holmboe E., Hauer K. Tools for direct observation and assessment of clinical skills of medical trainees. A systematic review. JAMA 2009; 302(12): 1316-1326.
9. Cook D., Bechman T., Mandrekar J, et al. Internal structure of mini-CEX scores for internal medicine residents: factor analysis and generalizability. Adv Health Sci Educ 2010; 15(5): 633-645
10. Ginsburg S., Mciloy J., Oulanova O., et al. Toward authentic clinical evaluation: pitfalls in the pursuit of competency. Academic Medicine 2010; 85(5): 780-786
11. Gingerich A., Regehr G., Eva K. Rater-based assessments as social judgements:rethinking the etiology of rater errors. Academic Medicine 2011; 86(10): 51-57
12. Kogan J., Conforti L., Bernabeo E, et al. Opening the black box of clinical skills assessment via observation: a conceptual model. Medical Education 2011; 45: 1048-1060.
13. Kogan J., Hess B., ConfortiL, et al. What drives faculty ratings of residents´clinical skills? The impact of faculty´s own clinical skills. Academic Medicine 2010; 85(10): 525-528.
14. Margolis M., Clauser B., Cuddy M, et al. Use of mini-clinical evaluation exercise to rate examinee performance on a multiple-station clinical skills examination: a validity study. Academic Medicine 2006; 81(10): 556-560
15. Epstein RM. Assessment in medical education. N Engl J Med 2007; 356 (4): 387-96.
16. Van der Vleuten C, Swanson DB. Assessment of clinical skills with standardized patients: state of the art. Teach Learn Med 1990; 2: 58–76.
17. Hays RB, Van der Vleuten C, Fabb WE, Spike NA. Longi- tudinal reliability of the Royal Australian College of General Practitioners certification examination. Med Educ 1995; 29: 317-321.
18. Page G, Bordage G, Allen T. Developing key-feature problems and examinations to assess clinical decision- making skills. Acad Med 1995; 70: 194-201.
19. Challis M. AMEE medical education guide no. 11: Portfolio- based learning and assessment in medical education. Med Teach 1999; 21: 370-386.
20. Van Der Vleuten C. Validity of final examinations in under- graduate medical training. BMJ 2000; 321: 1217-1219.
21. Accreditation Council for Graduate Medical Education (ACGME)-American Board of Medical Specialties (ABMS). ACGME/ABMS Joint Initiative Toolbox of Assessment Methods Version 1.1 September 2000. p. 1-3.

22. Trejo Mejia JA., Martinez Gonzalez A., Mendz Ramirez I, et al. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex 2014; 150: 8-17
23. Ponce de Leon-Castañeda ME., Ortiz-Montalvo A., Bonilla-Gonzalez I., et al. Evaluacion integral de la competencia clínica a través del examen profesional. Arch Med Fam 2006; 8(2):119-129
24. Soler-Huerta E., Sabido-Sighler C., Sainz-Vazquez L., et al. Confiabilidad de un instrumento para evaluar la aptitud clínica en residentes de medicina familiar. Arch Med Fam 2005; 7(1): 14-17
25. Pantoja Palmeros M., Barrera Monita J., Insfran Sanchez M. Instrumento para evaluar aptitud clínica en anestesiología. Rev Med Imss 2003; 41(1): 15-22.
26. Degollado Bardales L., Leyva Gonzalez FA., Viniegra Velazquez L., et al. Competencia clínica de los residentes de anestesiología en pacientes que requieren atención médica en un hospital de especialidades. Gac Med Mex 2009; 145(6): 481-489
27. Mendez Zarandona AP., Gutierrez Camacho C., Peña Alonso R. Estudio piloto para la validación de un instrumento de evaluación de habilidades y destrezas clínicas en pediatras en formación. Disponible en: http://www.facmed.unam.mx/sem/presentaciones/ARF/EV1.pdf

Enlaces refback

• No hay ningún enlace refback.