Introducción
En el año 1994, la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) implementó el Plan Único de Especializaciones Médicas (PUEM), el cual establece la propuesta pedagógica para los programas académicos de formación de los futuros médicos especialistas con reconocimiento de la División de Estudios de Posgrado de la Facultad de Medicina de la UNAM1.
El PUEM está constituido por cuatro asignaturas que son comunes para todos los cursos de especialización reconocidos por la UNAM; lo que varía son los contenidos específicos del programa académico y el trabajo clínico de cada uno de los 79 cursos de especialización médica ofertados actualmente2. En el caso del Curso de Especialización en Medicina Familiar, su duración es de 3 años académicos.
Para realizar la evaluación del aprendizaje de los residentes que cursan el PUEM, la normatividad universitaria establece la aplicación de estrategias de evaluación por parte de los profesores del curso y exámenes departamentales al final de cada ciclo académico3. Estos exámenes exploran diversas habilidades cognitivas y de razonamiento clínico que debe poseer el residente al enfrentar problemas médicos de la especialidad.
El Curso de Especialización en Medicina Familiar, en su programa de supervisión operativa, obtiene información de las diferentes modalidades de evaluación, tanto sumativa como formativa: exámenes escritos y orales, observación directa de habilidades y destrezas, discusión de casos clínicos, incidentes críticos, lectura crítica, simulación, videograbación, examen clínico objetivo estructurado4–6, portafolio de evidencias7–9 y Mini-Cex10,11.
En el PUEM de Medicina FamiliaR2 se describe el modelo de aprendizaje por competencias como un proceso integral y de complejidad creciente, que requiere un sistema de evaluación integral de los residentes con fundamento en la pirámide de Miller12. La evaluación de competencias profesionales en el PUEM de Medicina Familiar abarca desde el nivel básico, que evalúa principalmente la adquisición de conocimientos, hasta el nivel superior, que evalúa el desempeño de los residentes en escenarios reales2.
Los exámenes departamentales son parte del proceso de evaluación formal del área cognitiva y proporcionan información de áreas de oportunidad y de mejora del aprendizaje de los médicos residentes, mediante el uso de indicadores de evaluación resultantes del análisis psicométrico desde la perspectiva de la teoría de respuesta al ítem13.
Por las características y la experiencia en la implementación de estas estrategias de evaluación, se conoce que algunas están diseñadas para evaluar el aprendizaje en forma individual o en pequeños grupos, y otras para grandes grupos de alumnos o en forma masiva, como es el caso de los exámenes departamentales que se aplican a todos los residentes al finalizar cada uno de los ciclos académicos. Debido al alto número de la matrícula en medicina familiar en México, los profesores y tutores clínicos en algunas ocasiones son rebasados para realizar una evaluación integral que permita valorar el desempeño de los residentes por competencias; esta situación hace necesario probar estrategias analíticas para identificar los rasgos y atributos que se relacionan con los alumnos de alto o bajo desempeño académico en los exámenes departamentales. Los rasgos y atributos identificados permitirán a los profesores titulares tener elementos objetivos para mejorar la tutoría mediante la atención de necesidades de aprendizaje de cada residente, y de esta forma cumplir con los indicadores de desempeño profesional expresados en el perfil del médico familiar en el PUEM de Medicina FamiliaR2.
El objetivo del presente estudio fue identificar las variables predictoras de alto y bajo desempeño académico en residentes de medicina familiar.
Métodos
Estudio transversal, analítico, comparativo y multivariado. En febrero de 2022 se aplicó el examen departamental en línea y en modalidad a distancia a 1911 residentes de los tres grados académicos del Curso de Especialización en Medicina Familiar. Cada examen se integró por 100 reactivos con tres opciones de respuesta (una correcta y dos distractores), y se aplicó a través del sistema de Evaluación de la División de Estudios de Posgrado de la Facultad de Medicina de la UNAM. Esta modalidad de aplicación permitió almacenar los datos de manera confiable y sistematizar la información de los resultados obtenidos por los sustentantes. El sistema integra una base de datos relacional, y la información se almacena y se consulta sin que sea modificada ni reorganizada, con lo cual se facilitan la visualización y la administración eficiente de los registros. La información obtenida se convierte a un formato universal que se visualiza en Excel. Esta base de datos se importó al programa SPSS v.25 para realizar tres tipos de análisis:
- – Análisis estadístico descriptivo de las variables sociales y escolares.
- – Análisis del comportamiento de las preguntas del examen desde la teoría de respuesta al ítem: se calcularon el índice de dificultad, el índice de discriminación, el coeficiente biserial puntual y el coeficiente de confiabilidad alfa de Cronbach.
- – Análisis discriminante multivariado para identificar las variables sociales y escolares que predicen alto o bajo rendimiento de los residentes.
Para identificar los alumnos de alto y bajo desempeño se vincularon elementos de los indicadores de la teoría de respuesta al ítem en los exámenes departamentales del Curso de Especialización en Medicina Familiar, y se utilizó el análisis discriminante como técnica predictiva multivariada.
Se seleccionaron siete variables independientes: sexo del alumno, edad, estado civil, universidad de procedencia, promedio final en la licenciatura, ingreso por Examen Nacional de Aspirantes a Residencias Médicas (ENARM) o Examen de Competencia Académica (ECA), y grado de residencia. La variable dependiente fue el resultado de aciertos en el examen departamental dividido en: grupo 1, alumnos con número de aciertos iguales o inferiores a la mediana (bajo desempeño), y grupo 2, alumnos con número de aciertos superior a la mediana (alto desempeño).
Esta investigación se apegó a los lineamientos de consentimiento, privacidad, anonimato y confidencialidad descritos en los documentos rectores en investigación educativa14–17.
Resultados
Los exámenes se aplicaron a 1911 residentes de los tres grados académicos, de 81 sedes académicas distribuidas en 29 Estados de la República Mexicana. El 67.5% fueron mujeres y el 32.5% fueron hombres. La edad promedio fue de 33.9 ± 5.81 (mínimo 25 y máximo 60). El 58.4% de los residentes fueron solteros y el 29% fueron casados. Del ENARM provenían 1446 (75.7 %) y del ECA 465 (24.3 %). Por grado académico, 694 (36.31%) fueron de primero, 612 (32,03%) de segundo y 605 (31.66%) de tercero.
En la tabla 1 se muestran los estadísticos generales y particulares del examen aplicado, y en la tabla 2 los índices y los coeficientes obtenidos de la teoría de respuesta al ítem según el grado académico.
Tabla 1. Resultados globales del análisis del examen departamental final. Ciclo académico 2021-2022
| Número de ítems | 300 (100 por cada grado) |
|---|---|
| Puntuación promedio | 73.3 |
| Mediana | 74 |
| Moda | 75 |
| Desviación estándar | 6.98 |
| Puntuación mínima | 44 |
| Puntuación máxima | 98 |
| Asimetría | –0.426 |
| Curtosis | 0.660 |
| Prueba de normalidad de Kolmogorov-Smirnov-Lilliefors (KSL) | KSL = 0.066, p < 0.0001 |
| Error estándar | 0.16 |
| Índice de dificultad medio | 73.3 |
| Índice de discriminación medio | 0.2033 |
| Coeficiente biserial puntual medio | 0.1313 |
| Puntuación media inferior ± desviación estándar | 64.82 ± 4.875 |
| Puntuación media superior ± desviación estándar | 81.51 ± 3.419 |
| Coeficiente de confiabilidad alfa de Cronbach global | 0.688 |
Tabla 2. Promedios globales de los índices psicométricos de la teoría de respuesta al ítem según grado. Ciclo académico 2021-2022
| Grado | Índice de dificultad | Índice de discriminación | Coeficiente biserial puntual | Alfa de Cronbach |
|---|---|---|---|---|
| R1 | 0.752 | 0.216 | 0.164 | 0.749 |
| R2 | 0.705 | 0.187 | 0.115 | 0.628 |
| R3 | 0.740 | 0.207 | 0.115 | 0.689 |
Análisis discriminante multivariado
Por su importancia metodológica, las especificaciones técnicas del modelo de análisis discriminante calculado fueron:
- – Método de inclusión de variables: por pasos (una a la vez).
- – Método de análisis: Lambda de Wilks.
- – Criterio F de las variables predictoras: entrada = 3.84 y eliminada = 2.71.
- – Prueba M de Box para probar la igualdad de matrices de covarianzas ente los grupos.
- – Probabilidades previas: todos los grupos iguales.
- – Centroides de las puntuaciones discriminantes.
- – Determinación de la función discriminante.
- – Probabilidades de pertenencia de los casos.
- – Concordancia de clasificación del modelo discriminante.
- – Puntuaciones discriminantes totales.
El análisis final se realizó con la información de 1840 alumnos; se eliminaron 71 casos por valores perdidos en una o más variables discriminatorias.
La prueba M de Box obtuvo un valor de 1.300 (aproximación a F = 1.299), con p = 0.254, lo que indicó que no hubo diferencias significativas en las covarianzas de los subgrupos de la variable dependiente.
El modelo obtuvo tres variables significativas de las siete independientes, que en sinergia (acción conjunta) predijeron a los alumnos de alto y bajo desempeño en el examen aplicado. En la tabla 3 se muestran las variables predictoras obtenidas en el modelo de análisis discriminante utilizado.
En el análisis por pasos de la tabla 3 se encontraron diferencias estadísticamente significativas en la comparación de los promedios de calificación obtenidos en el examen departamental por los grupos 1 y 2 de cada variable discriminante, como se muestra a continuación:
Tabla 3. Variables entradas o eliminadas del modelo discriminante
| Paso | Variable de entrada | Estadístico | gl3 | F exacta | |||
|---|---|---|---|---|---|---|---|
| Estadístico | gl1 | gl2 | Sig. | ||||
| 1 | Edad en años | 0.987 | 1837 | 24.184 | 1 | 1837 | < 0.00001 |
| 2 | Grado de residencia | 0.982 | 1837 | 16.771 | 2 | 1836 | < 0.00001 |
| 3 | Promedio final obtenido en la licenciatura | 0.979 | 1837 | 13.337 | 3 | 1835 | < 0.00001 |
- – Paso 1: variable edad, razón F = 24.184, p < 0.00001.
- – Paso 2: variables edad y grado de residencia, razón F = 16.771, p < 0.00001.
- – Paso 3: variables edad, grado de residencia y promedio en la licenciatura, razón F = 13.337, p < 0.00001.
En el modelo de análisis discriminante utilizado se obtuvieron los siguientes valores pertenecientes a la función discriminante canónica: autovalor = 0.022, correlación canónica = 0.146 y lambda de Wilks = 0.979, con distribución χ2 = 39.593 y p < 0.0001.
Los coeficientes no estandarizados de la función discriminante canónica obtenidos en el modelo aditivo fueron:
Función discriminante = [–3.055 + edad en años (–0.142) + promedio en la licenciatura (0.803) + grado de la residencia (0.612)]
En la función discriminante anterior, el valor –3.055 corresponde a la constante.
Las funciones discriminantes en centroides para cada grupo fueron:
- – Grupo 1 (alumnos de bajo desempeño), centroide = –0.142.
- – Grupo 2 (alumnos de alto desempeño), centroide = 0.153.
En la tabla 4 se detallan los resultados de la clasificación del modelo de análisis discriminante calculado.
Tabla 4. Resultados de clasificación del modelo
| Clasificación pronosticada | Total | ||
|---|---|---|---|
| Grupo 1* | Grupo 2† | ||
| Clasificación original Grupo 1* Grupo 2† | 455 (47.8%)302 (34.0%) | 497 (52.2%)586 (66.0%) | 952 (100%)888 (100%) |
|
*Del valor más bajo hasta la mediana de aciertos. †Valores superiores a la mediana de aciertos. Clasificación global del modelo: 56.6% de casos agrupados originales clasificados correctamente. |
|||
Con las variables que discriminaron en el modelo (edad, promedio final en la licenciatura y grado de la residencia) se calcularon las puntuaciones discriminantes para los 1840 alumnos. El promedio global fue –0.0003228 ± 1.01038865 (mínimo –4.13120 y máximo 2.37504). Se probó la normalidad de esta distribución previo al análisis de las comparaciones de las categorías de respuesta de las variables que sí discriminaron significativamente, y se encontró que la distribución de las puntuaciones discriminantes no fue normal (KSL = 0.047; p < 0.0001).
Los promedios y la desviación estándar de las puntuaciones discriminantes según grupo fueron:
- – Grupo 1 (bajo desempeño): –0.1424566 ± 1.01796905.
- – Grupo 2 (alto desempeño): 0.1520549 ± 0.98011398.
La comparación de los promedios de las puntuaciones discriminantes se realizó con la prueba U de Mann-Whitney para las variables edad y promedio final en la licenciatura (dos grupos), y con la prueba de Kruskal-Wallis para la variable grado de la residencia (tres grupos). Se encontraron diferencias estadísticamente significativas (p < 0.00001) en las tres variables. Para analizar las comparaciones múltiples en la variable grado de residencia se utilizó la prueba U de Mann-Whitney en todas las comparaciones posibles entre los pares de los grados de la residencia, y se encontraron diferencias estadísticamente significativas (p < 0.00001). Este resultado confirmó que el modelo de análisis discriminante fue adecuado y altamente predictivo. En la tabla 5 se muestran los resultados de las comparaciones específicas de las puntuaciones discriminantes según las categorías de respuesta de las variables significativas.
Tabla 5. Comparaciones de los promedios de las puntuaciones discriminantes en las categorías de respuesta de las variables significativas
| Variable | Grupo | Promedio puntuación discriminante | p |
|---|---|---|---|
| Edad | ≤ 39.89 años | 0.5547633 | < 0.00001* |
| ≥ 39.90 años | –0.7980293 | ||
| Promedio en la licenciatura | ≤ 8.3038 | –0.4808888 | < 0.00001* |
| ≥ 8.3039 | 0.4538273 | ||
| Grado de la residencia | R1 | –0.2580125 | < 0.00001† |
| R2 | –0.0607531 | ||
| R3 | 0.3392873 | ||
|
*Prueba U de Mann-Whitney. †Prueba H de Kruskal-Wallis. |
|||
Discusión
En la revisión de la literatura no identificamos estudios que apliquen el análisis discriminante a los resultados psicométricos de la teoría de respuesta al ítem para evaluar las características asociadas al alto y bajo desempeño académico en los cursos de especialización médica.
La mayoría de los estudios sobre desempeño académico en medicina se han centrado en niveles de pregrado o licenciatura, y solo con el empleo de técnicas descriptivas o de asociación bivariada y multivariada. Sin embargo, son escasos para las especializaciones médicas y rara vez aprovechan los análisis discriminantes para evaluar la capacidad predictiva sinérgica de las variables discriminatorias.
Romero et al.18. realizaron un estudio en el que utilizaron un modelo de regresión logística para identificar variables de médicos recién egresados que se asociaron al resultado de ser seleccionados en el ENARM. Encontraron que tener menor edad y un promedio alto en la carrera, entre otras variables, favorecieron el ingreso a las especializaciones médicas. Estos resultados coinciden con los encontrados en nuestro estudio.
En el estudio de Gatica et al.19 se reportó que las variables del bachillerato que se asocian significativamente con el éxito académico de los alumnos durante los primeros años de la carrera de medicina son el dominio de los idiomas español e inglés y los conocimientos generales específicamente en física, química, matemáticas y biología.
Lezcano et al.20 reportaron en su estudio que la variable predictora de un buen desempeño como estudiante de medicina son los créditos de bachiller (variable calculada como índice ponderado de las capacidades académicas y generales de los alumnos durante la licenciatura); utilizaron regresión logística para sostener sus aportaciones.
En un estudio realizado por Urrutia et al.21 en 1147 alumnos de primer grado de la Facultad de Medicina de la UNAM se encontró que el desempeño académico se relaciona con los conocimientos previos de los alumnos y algunas variables psicológicas; utilizaron el análisis discriminante en forma general.
Tapasco et al.22, mediante regresión múltiple, encontraron que, entre otras variables, ingresar con edad joven es una característica que influye en el poder predictivo para acceder a la universidad. Este estudio coincide con el nuestro en cuanto a la edad del residente. De igual forma, Campillo et al.23 reportaron, en su estudio sobre desempeño académico y egreso de 25 generaciones de la Facultad de Medicina de la UNAM, que los alumnos más jóvenes en el primer año de la carrera tuvieron mejor desempeño académico, lo que permite detectar alumnos irregulares y poblaciones vulnerables. Este resultado coincide con nuestro estudio en que el grupo de mejor desempeño fueron los residentes más jóvenes y con mejor promedio en la carrera de la licenciatura.
En otro trabajo se evaluaron aspectos psicosociales relacionados con la elección de carrera como predictores del desempeño académico de los estudiantes de dos asignaturas de la carrera de medicina en la UNAM; también se utilizó análisis discriminante en forma general24.
En el estudio de Arellano et al.25 participaron 329 alumnos de seis generaciones de dos modelos curriculares de estudio de la Facultad de Medicina de la Universidad Autónoma de Coahuila, México. Reportaron que el promedio alto en la carrera se correlacionó de manera significativa (p < 0.001) con la acreditación del ENARM. Estos resultados concuerdan con los obtenidos en nuestro estudio para dicha variable.
Martínez et al.26 evaluaron los historiales académicos de 1747 alumnos de la carrera de Medicina en la UNAM, y reportaron que aquellos con éxito académico fueron los que cursaron las asignaturas de matemáticas, física e inglés (dato que concuerda con el estudio de Gatica et al.19), y que además tuvieron mayor promedio en el bachillerato, como también reportamos en nuestro estudio. Los autores utilizaron la estrategia analítica de regresión logística multivariada.
En el presente estudio, el grado de residencia se identificó como una variable predictora significativa. Esto indica que el nivel de avance en el programa de residencia puede tener un impacto en el desempeño académico. Es probable que los residentes en etapas más avanzadas de su formación tengan una mayor experiencia y más conocimientos adquiridos, lo que podría reflejarse en mejores resultados en los exámenes.
El promedio final obtenido en la licenciatura como variable discriminatoria significativa sugiere que el rendimiento académico previo de los residentes en su formación universitaria puede influir en su desempeño durante la residencia. Un promedio más alto en la licenciatura podría indicar una mayor base de conocimientos y habilidades, lo que podría traducirse en un mejor desempeño en los exámenes. Esta evidencia concuerda con diversos autores consultados.
Es importante enfatizar que estos resultados se obtuvieron a partir de un análisis discriminante multivariado, que permitió examinar la relación sinérgica de las tres variables predictoras; lo anterior proporciona una visión más completa y precisa de cómo dichas variables se relacionan con el desempeño académico de los residentes.
En este estudio se encontró que la edad, el grado de residencia y el promedio final de la licenciatura, en interrelación, fueron variables predictoras del desempeño académico en residentes de medicina familiar. Estos hallazgos pueden ser útiles para mejorar la calidad de la tutoría clínica y el apoyo a los residentes, brindando una atención más personalizada y adaptada a las necesidades de cada residente (individualización y selectividad).
Limitaciones del estudio
Es importante tener en cuenta que este estudio se enfocó en residentes de medicina familiar en el contexto de un programa académico específico. Por lo tanto, los resultados pueden no ser generalizables a otros campos de especialización médica. Además, es necesario considerar otras variables y factores que podrían influir en el desempeño académico, como las características individuales de los residentes, sus estilos de aprendizaje, las actividades de tutoría formativa para la adquisición de competencias en cada sede académica, la experiencia de los tutores en actividades de tutoría clínica y las estrategias de enseñanza utilizadas en el entorno específico de aprendizaje, entre otras.
Contribuciones del estudio
Los hallazgos tienen implicaciones significativas para la mejora de la tutoría y la formación de los residentes de medicina familiar. Al identificar estas variables predictoras, los profesores y tutores clínicos pueden tener elementos objetivos para adaptar su enfoque de enseñanza y brindar un apoyo más individualizado y selectivo a cada residente. Esto puede ayudar a satisfacer las necesidades de aprendizaje específicas de cada alumno y mejorar su desempeño académico.
Los resultados aportan elementos para identificar a los residentes en quienes se deben aplicar estrategias más eficaces para la formación en competencias (individualización), y asimismo orientan a una selección más precisa de las posibles estrategias necesarias para la evaluación formativa de los residentes (selectividad).
Conclusiones
En este estudio, el análisis de los indicadores de la teoría de respuesta al ítem, analizados mediante la técnica multivariada de análisis discriminante, proporcionó evidencia objetiva para identificar tres características asociadas: los residentes más jóvenes, con mayor promedio en la licenciatura y que cursan mayor grado en el curso de especialización, tienen mejor desempeño en los exámenes departamentales del Curso de Especialización en Medicina Familiar. Estas variables predijeron adecuadamente los alumnos de alto y bajo desempeño académico en forma clara y precisa.
Financiamiento
Los autores declaran no haber recibido financiamiento para este estudio.
Conflicto de intereses
Los autores declaran no tener conflicto de intereses.
Consideraciones éticas
Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad, consentimiento informado y aprobación ética. Los autores han seguido los protocolos de la División de Estudios de Posgrado de la Facultad de Medicina de la UNAM para acceder a los datos de las historias académicas de los residentes. Se ha obtenido el consentimiento informado de los residentes y se cuenta con la aprobación del Comité de Ética. Se han seguido las recomendaciones de las guías SAGER.
Declaración sobre el uso de inteligencia artificial. Los autores declaran que no se utilizó ningún tipo de inteligencia artificial generativa para la redacción ni la creación de contenido de este manuscrito.
