La evaluación del impacto de las especialidades médicas en la función docente: presupuestos teórico-metodológicos
Evaluating the impact of medical specialties on teaching: theoretical and methodological assumptions
Avaliar o impacto das especialidades médicas no ensino: pressupostos teóricos e metodológicos
1Tania Milagros Fernández Domínguez, ORCID: https://orcid.org/0000-0001-5864-910X
2Pedro Valiente Sandó*, ORCID: https://orcid.org/0000-0002-8954-3452
3Pedro Augusto Díaz Rojas, ORCID: https://orcid.org/0000-0003-4897-363X
1Hospital Universitario Clínico Quirúrgico Lucía Iñiguez Landín, Holguín, Cuba
2Universidad de Holguín. Cuba.
3Universidad de Ciencias Médicas de Holguín. Cuba
*Autor para la corresponcdencia: pedrovalientesando@gmail.com
Resumen
El artículo socializa resultados parciales de un objetivo específico de la investigación doctoral “Evaluación del impacto de las especialidades médicas en la función docente de los egresados”, intencionado a la elaboración de su marco teórico-metodológico referencial. El proceso de sistematización desarrollado para su concreción, que tuvo como fuente 16 propuestas teórico-metodológicas (clásicas y más recientes) referidas a la gestión de la evaluación del impacto de la formación, se basó en el empleo de métodos teóricos como el análisis-síntesis y la inducción-deducción. Los resultados obtenidos identifican tendencias relativas a la denominación y estructuración del proceso estudiado; así como a los objetivos, el contenido y el diseño metodológico con que se desarrolla la evaluación de impacto en el ámbito formativo; a partir de los cuales se establecieron presupuestos teórico-metodológicos que conforman un marco teórico pertinente para la elaboración de las contribuciones que la investigación debe realizar.
Palabras clave: educación médica; evaluación de impacto; gestión de la evaluación de impacto
Abstract
This article presents partial results of a specific objective of doctoral research, "Evaluation of the Impact of Medical Specialties on the Teaching Role of Graduates," aimed at developing its theoretical and methodological framework. The systematization process developed for its implementation, which drew on 16 theoretical and methodological proposals (classic and more recent) related to the management of training impact assessment, was based on the use of theoretical methods such as analysis-synthesis and induction-deduction. The results obtained identify trends related to the naming and structuring of the process studied, as well as the objectives, content, and methodological design with which impact assessment is developed in the training field. From these, theoretical and methodological assumptions were established that form a pertinent theoretical framework for developing the contributions that the research should make.
Keywords: medical education; impact assessment; impact assessment management
Resumo
Este artigo apresenta resultados parciais de um objetivo específico da investigação de doutoramento, "Avaliação do impacto das especialidades médicas na atuação docente dos diplomados", visando desenvolver o seu enquadramento teórico e metodológico. O processo de sistematização desenvolvido para a sua implementação, que assentou em 16 propostas teóricas e metodológicas (clássicas e mais recentes) relacionadas com a gestão da avaliação de impacto da formação, assentou na utilização de métodos teóricos como a análise-síntese e a indução-dedução. Os resultados obtidos identificam tendências relacionadas com a nomenclatura e estruturação do processo estudado; bem como os objetivos, conteúdos e desenho metodológico com que se desenvolve a avaliação de impacto no âmbito da formação; a partir dos quais se estabeleceram pressupostos teórico-metodológicos que formam um quadro teórico relevante para o desenvolvimento dos contributos que a investigação deve trazer.
Palavras-chave: educação médica; avaliação de impacto; gestão de avaliação de impacto
Introducción
La evaluación es un fenómeno omnipresente en la práctica educativa, donde ha experimentado un desarrollo teórico en el que evolucionó desde una concepción en la que su finalidad se enfocó a la comprobación del cumplimiento de los objetivos, a otra que reconoce su función principal en la mejora del objeto evaluado, a partir utilizar la información que aporta en la toma de decisiones. En paralelo, y como parte de esa evolución, la práctica y el desarrollo teórico de la evaluación educativa se han generalizado a los más variados ámbitos de la actividad y los sistemas educativos, en los que se configura con objetivos y características propias: a) la evaluación de los aprendizajes; b) la evaluación de las instituciones; c) la evaluación de políticas, programas y proyectos, d) la evaluación del profesorado (o del desempeño docente) y, e) la evaluación del sistema educativo. (Toranzos, 2000; Vizcaíno, et al., 2022).
La evaluación de programas educativos, entre los que se enmarcan los programa de especialidades médicas de posgrado, se define como “…un proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa —valiosa, válida y fiable— orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso” (Pérez-Juste, 2000, p. 272).
Igualmente, en el desarrollo teórico de la evaluación, y de la evaluación educativa en particular, existe una abundante producción teórica en relación con los tipos de evaluación, para cuyo establecimiento se toman diferentes criterios de clasificación: la finalidad (diagnóstica, procesal, de producto o resultado, de impacto); el alcance de la evaluación (global, parcial); los agentes evaluadores (interna o autoevaluación, externa, heteroevaluación, coevaluación); el momento del proceso de formación en que se realiza (diagnóstica, formativa, sumativa), entre otros.
Aun cuando es más reciente con respecto a otros tipos de evaluación, la evaluación de impacto, que se inició en el campo ambiental como un proceso de análisis y prevención de impactos ambientales (Bravo-Echevarría et al., 2017), tiene hoy una amplia utilización en la evaluación de programas formativos, ámbito en el que se le concede cada vez más importancia por el alto valor que tiene el conocimiento de sus resultados para tomar decisiones tocantes a su calidad, pertinencia y equidad. La información que este tipo de evaluación ofrece es un referente importante para el mejoramiento continuo de la gestión de dichos programas y para impulsar el proceso de aprendizaje. (Acosta et al., 2019; Boffill et al., 2024; Carrera-Morales, et al., 2022; Díaz-Rojas, 2015; MES, 2024; Parra-Robledo y Ruiz-Bueno, 2020; Pino-Sera, 2022; Ramos-Azcuy et al., 2016; Red de Instituciones de Formación Profesional, 2011)
Los programas de las especialidades constituyen un nivel de la educación médica, en la que los profesionales desarrollan competencias especializadas en un área particular dentro de las ciencias médicas, luego de concluidos sus estudios de pregrado. Sus planes de estudio plantean como objetivo general, formar un especialista con una sólida formación profesional que le permita conocer, valorar y transformar el estado de salud de la población, con un enfoque científico del proceso salud-enfermedad y de su naturaleza bio-psico-social. Se pretende formar un profesional con perfiles asistencial, investigativo, docente y administrativo que le permiten desempeñarse en su ubicación laboral y seguir desarrollándose. (MINSAP, 2024)
La preparación para el despliegue de la función docente constituye una dimensión de la formación del especialista, y de la educación médica en sus diferentes niveles, que no solo preocupa y ocupa en el contexto cubano. Al respecto, la Declaración de Edimburgo (1988) planteó entre sus recomendaciones: “Capacitar a los docentes como educadores, y no solo expertos en contenido, recompensando la excelencia educativa tanto como la excelencia en investigación biomédica o en práctica clínica” (Doctutor, 2018); así como garantizar la dotación de competencia profesional y valores sociales a los egresados, indispensables para una atención de calidad con énfasis en la promoción de la salud y la prevención de enfermedades (Gual y otros, 2013, p.187). En relación con esta preparación, Torres-Álvarez y Álvarez-Escobar (2021) alertan: “La sola vinculación del profesional de la salud a un hospital universitario no es suficiente para convertirlo en docente. Se requiere lograr complejas competencias para la profesionalización en la docencia en la formación médica” (p. 69).
La profesionalización docente en la educación médica, a la que se refieren las autoras, supone dejar de creer que los médicos están capacitados “per se” para ejercer docencia. Como afirman Nervi-Condori et al. (2020), ello “… no es necesariamente cierto porque, para ser docente, no resulta suficiente con ser un excelente médico, sino que se precisan ciertas competencias en educación” (p. 53). En consecuencia, como recomiendan los autores, se requiere que las instituciones formadoras elaboren competencias específicas en educación; propicien un ambiente educativo que incentive la innovación y la excelencia en docencia; y que se constituya en una práctica “…realizar evaluaciones periódicas para ver resultados y buscar la mejora continua de la educación médica”. (Nervi-Condori et al., 2020, p. 53)
La evaluación de la formación para la función docente de los especialistas de las ciencias médicas debe constituirse, por consiguiente, en un contenido de relevancia en la evaluación del aprendizaje de los residentes en formación y de la evaluación de los programas de especialidad, como parte de la cual el seguimiento, monitoreo y valoración de su impacto en el desempeño de la función docente por los egresados se erige en una necesidad.
Un estudio exploratorio desarrollado en el Hospital Clínico-Quirúrgico Universitario Lucía Iñiguez Landín, de Holguín, que se enfocó a conocer las percepciones de docentes-especialistas, residentes y jefes de servicio a cargo del proceso formativo de especialidades, sobre la preparación y el desempeño de los especialistas en la función docente, y también consideró el análisis de los resultados de dos tesis de la maestría en Educación Médica (García-Romero, 2017; Pérez-Recio, 2023), a cargo de la Universidad de Ciencias Médicas de Holguín; permitió establecer la relación causal entre insuficiencias constatadas en el desempeño de la función docente de egresados de especialidades médicas y la insuficiente retroalimentación sobre dicho desempeño (en el contexto que abarcó la exploración) por la ausencia de una práctica sistemática para su seguimiento, monitoreo y evaluación, asociada a la gestión de la calidad de estos programas.
La situación descrita conllevó al desarrollo de una investigación doctoral, en el marco del Programa de Doctorado en Gestión Organizacional, de la Universidad de Holguín. El artículo que se presenta socializa resultados parciales del objetivo específico de esta investigación, intencionado a la elaboración del marco teórico metodológico referencial de la gestión de la evaluación del impacto de las especialidades médicas en la función docente de los egresados.
Materiales y métodos
Presentar los resultados y discutirlos. Esto no significa El proceso de sistematización del desarrollo teórico concerniente a la gestión de la evaluación del impacto de las especialidades médicas en el desempeño de la función docente de los egresados incluyó el examen de 16 materiales bibliográficos (Acosta et al., 2019; Boffill et al., 2024; Borges, 2014; Carrera-Morales et al., 2022; Díaz-Rojas, 2015; González-Diaz et al., 2023; Kirkpatrick, 1998; MES, 2024; Mestre, et al., 2016; Mirabal et al., 2012; Phillips, 1990, como se citó en Ramos-Azcuy et al., 2016; Pineda-Herrero, 2000; Pino-Sera, 2022; Ramos- Azcuy et al., 2016; Red de Instituciones de Formación Profesional, 2011 y Wade, 1999, como se citó en Ramos-Azcuy et al., 2016), seleccionados intencionalmente, de los que 14 (87.5%) incluyen propuestas para evaluar (específicamente o como una variable esencial) el impacto de acciones y programas formación y, de ellos, 6 (37,5%) se enfocan a la evaluación del impacto de programas de formación académica de posgrado y 2 (12.5%) a evaluar programas de formación académica en la educación médica (Borges, 2014; Díaz-Rojas, 2015).
El proceso sistematizador se desarrolló, básicamente, a partir del empleo de métodos teóricos como los de análisis-síntesis e inducción-deducción, que posibilitaron identificar rasgos esenciales de los conceptos estudiados; identificar tendencias y perspectivas desde las que se ha investigado el proceso objeto de estudio; el posicionamiento crítico que permitió asumir las asunciones teórico-metodológicas (presupuestos) desde las cuales modelar las propuestas que la investigación tiene como encargo; determinar las limitaciones presentes en el desarrollo teórico-metodológico del objeto de estudio y establecer las conclusiones del referido proceso.
Para orientar el examen de las propuestas se establecieron cuatro categorías de análisis: 1) denominación y estructuración de la propuesta; 2) objetivo declarado (para qué desarrollar la evaluación de impacto); 3) definición del contenido de la evaluación (el qué evaluar, expresado en las dimensiones, indicadores, criterios en que se operacionaliza la variable impacto en la propuesta) y; 4) diseño metodológico de la evaluación (el cómo de su realización).
Resultados y discusión
Denominación y estructuración de las propuestas
Las propuestas examinadas son presentadas con términos como modelo teórico, metodología, guía práctica, manual, procedimiento, sistema o instrumento. También se observa una amplia diversidad en cuanto al modo de su estructuración, que tiene su expresión más externa en la variedad de términos referida y está determinada por la intencionalidad y el alcance con que fueron modeladas. No obstante, el análisis efectuado permitió identificar tres perspectivas generales:
· Propuestas estructuradas como modelos que explican y orientan la gestión de la evaluación de impacto como un proceso contentivo de subprocesos interconectados desde lógicas diversas como las que ofrecen: a) el enfoque funcional de la gestión (desarrollado por Fayol, 1977, y continuadores), que asocia el contenido de esta con procesos generales que se identifican como sus funciones (planificación, organización, coordinación, regulación, control); b) la propia evaluación como proceso, que incluye subprocesos como el diseño, la recogida de datos, la producción de información caracterizadora y valorativa sobre el objeto evaluado y, la adopción e implementación de decisiones en función de la mejora, que concretan su realización; c) la gestión de los procesos económico-financieros o, d) la combinación de algunas de esas lógicas. En esta primera perspectiva podrían enmarcarse las propuestas hechas por Boffill et al. (2024); Carrera-Morales et al. (2022); Díaz-Rojas (2015); Mirabal et al. (2012); Phillips (1990, como se citó en Ramos-Azcuy et al., 2016) y Pino-Sera (2022)
· Propuestas estructuradas como modelos teórico-metodológicos generales que incluyen algún componente específico que explica y orienta la lógica procesal de la gestión de la evaluación del impacto a partir de etapas referidas a la dinámica de la evaluación como proceso (Borges, 2014; Red de Instituciones de Formación Profesional, 2011) o a fases que se refieren al desarrollo de procesos económico-financieros como el cálculo de costes, el cálculo de beneficios y el cálculo de la rentabilidad (Pineda-Herrero, 2000).
El “Modelo holístico de evaluación de la formación en las organizaciones”, de Pineda-Herrero (2000), incluido en esta perspectiva, que es ampliamente reconocido y citado, identifica cinco modalidades de evaluación de la formación (diagnóstica, formativa, sumativa, de la transferencia y del impacto), entre las que se produce una interdependencia mutua y en las que se aprecia la impronta de las aportaciones de Scriven (1967) y Kirkpatrick (1996). Para la investigación resultan de interés la evaluación de la transferencia y la evaluación de impacto, cuya ejecución, según Pineda-Herrero (2000), se concreta “tiempo después de acabar la formación”.
· Propuestas estructuradas como modelos teóricos considerando otras perspectivas (no procesales), en las que los componentes pueden ser niveles para la evaluación de las acciones formativas (Kirkpatrick, 1996; Wade, 1999 como se citó en Ramos-Azcuy et al., 2016) o documentos normativos que regulan la evaluación del impacto en programas de posgrado, como una dimensión del contenido de dicha evaluación (MES, 2024).
El modelo de Kirkpatrick (1996), expuesto en su obra “Evaluating training programs: the four levels”, constituye un clásico de la evaluación de la formación en el contexto organizacional, que ha sido recreado en numerosas propuestas posteriores. Los cuatro niveles que conforman el modelo, proporcionan un marco secuencial desde el cual es posible evaluar los efectos potenciales de la capacitación, a saber: (a) reacción, (b) aprendizaje, (c) cambio de comportamiento e (d) impacto en la organización. Son de relevancia para la investigación los niveles 3 y 4, en tanto la evaluación del impacto del proceso formativo de las especialidades médicas tendrá que centrar su foco en el cambio de comportamiento en el desempeño de la función docente de los egresados y, en cómo ese cambio repercute en el desempeño organizacional de las instituciones de salud en que laboran.
· También incluido en esta perspectiva, el Subsistema de Evaluación y Acreditación de Programas de Especialidades de Posgrado [SEA-EP] (MES, 2024), componente del Sistema de Evaluación y Acreditación de la Educación Superior [SEAES] de la República de Cuba (MES, 2023), por su condición de documento regulatorio nacional de la evaluación de la calidad de las especialidades de posgrado, es de alto interés para asegurar la pertinencia legal de las propuestas que derivan de la investigación y como referente normativo, teórico y metodológico para su modelación.
Objetivo declarado (para qué desarrollar la evaluación de impacto)
La declaración explícita o implícita de los objetivos de la evaluación de impacto de las acciones y programas formativos pudo ser apreciada en 11 de los 16 materiales examinados como parte del proceso de sistematización desarrollado (Boffill et al., 2024; Borges, 2014; Carrera-Morales et al., 2022; Díaz-Rojas, 2015; Pineda-Herrero, 2000; Pino-Sera, 2022 y Red de Instituciones de Formación Profesional, 2011). Al respecto, se identificaron tres intencionalidades generales:
· La mejora de las acciones y programas de formación en los diferentes ámbitos concernientes a su gestión (administrativa, curricular, pedagógica, económico-financiera), basada en decisiones sustentadas, a su vez, en información relevante sobre efectos que le son atribuibles. Al referir este propósito de la evaluación de impacto, como su finalidad particular, Borges (2014) plantea: “Generar un objeto (…) de impacto superior” (p.98), que en el caso de su propuesta es la formación académica.
· La valoración de la pertinencia del objeto evaluado. Al respecto, la Red de Instituciones de Formación Profesional (2011) expresa esa intención en los siguientes términos: “Revisar si el sistema de formación está simplemente orientado por la oferta, o es realmente una respuesta a la demanda…” (p. 27)
· La valoración de la correspondencia (relación causa-efecto) entre lo proyectado en los objetivos de las acciones y programas de formación y los resultados alcanzados en el desempeño de los participantes, la mejora de los resultados organizacionales y el impacto logrado en el entorno social.
Es esta última la intencionalidad mayormente referida. Sin negarla, y sin dejar de considerar legítimo que en la evaluación de impacto se complementen estas intencionalidades, los autores comparten lo planteado por Pineda-Herrero (2000), en cuanto a que: “La finalidad última que da sentido y determina todo el proceso evaluativo es: la aportación de información que oriente la toma de decisiones y que conduzca a la introducción de mejoras en la formación…” (p. 121). Ello confiere a la evaluación del impacto una importancia estratégica en la gestión de la calidad de los programas de formación.
Definición del contenido de la evaluación (el qué evaluar)
El contenido, como categoría general en la evaluación, se refiere al “qué evaluar”, a las variables sobre las que se producirá la información caracterizadora y valorativa relativa al objeto que se evalúa. En la evaluación del impacto de la formación “el qué evaluar” alude, precisamente, al impacto que origina el objeto evaluado en las personas (en su desempeño), en la organización y en el entorno social. En consecuencia, de la comprensión que se tenga sobre qué es impacto dependerá su precisión.
La revisión realizada como parte de la sistematización acerca del concepto impacto permitió apreciar variadas (y hasta encontradas) posiciones en cuanto a la precisión del concepto más general (el género próximo) del que este es derivado (cambio, efecto, consecuencia, repercusión, resultado) y al planteamiento de los rasgos que lo distinguen (la diferencia específica) de otros conceptos incluidos en el mismo género. En cuanto a los rasgos que distinguen al concepto se aprecian tendencias asociadas a variables como: a) la temporalidad del efecto (duradero, inmediato, en el largo, mediano o corto plazo); b) la positividad o negatividad del efecto; c) el carácter esperado (planificado, deseado) o no esperado (no deseado, espontáneo) del efecto; d) el nivel en que se manifiesta el efecto (las personas en su desempeño, la organización, el entorno social).
La revisión realizada para dilucidar los elementos concernientes al contenido de la evaluación del impacto de la formación, que incluyó además de las 16 propuestas mencionadas otros trabajos (Díaz-Leyva y Marrero-Fornaris, 2021; Lara-Díaz, et al. 2019; Travieso y Bandera, 2020), permitió distinguir dos perspectivas desde las que se identifica dicho contenido. La primera lo identifica directamente con los efectos, resultados, repercusiones, cambios, influencias, consecuencias o beneficios que las intervenciones desarrolladas producen en sus destinatarios. La segunda perspectiva reconoce el contenido de la evaluación del impacto en la magnitud (cantidad, calidad, extensión) que han tenido los efectos producidos en los destinatarios de las intervenciones realizadas.
En asociación con los antes analizado, otro hallazgo importante de la sistematización, relacionado con el contenido de la evaluación del impacto de la formación, fue el consenso existente en cuanto a considerar dimensiones e indicadores que orienten hacia la identificación y valoración de los efectos de los programas de formación en las personas participantes de las acciones formativas, en las organizaciones en las que estos desempeñan su actividad laboral y en el entorno social, como destinatarios (Red de Instituciones de Formación Profesional, 2011). Tales impactos o efectos se expresan en dimensiones e indicadores de carácter general o más específicos, que operacionalizan la variable impacto y son enunciados de acuerdo a la naturaleza y peculiaridades de los objetos de la evaluación.
En cuanto a los destinatarios declarados de los efectos de los programas que se pretenden valorar predominan las personas participantes en las acciones y programas de formación. Al respecto, en nueve de las propuestas examinadas (Borges, 2014; Carrera-Morales et al., 2022; Díaz-Rojas, 2015; González-Diaz et al., 2023; MES, 2024; Mestre et al., 2016, Pineda-Herrero, 2000; Ramos-Azcuy et al., 2016; Wade, 1999 como se citó en Ramos-Azcuy et al., 2016) se identificaron dimensiones (o indicadores) que podrían ser referentes para la evaluación del impacto de las especialidades médicas en la función docente, expresado en las personas (los egresados), de los que conviene destacar:
· Dimensiones e indicadores relativos al comportamiento o desempeño profesional y la actitud ante el trabajo; así como a la preparación para la actividad docente y su dirección en pregrado y posgrado; y la preparación y desempeño en el trabajo metodológico.
· Dimensiones e indicadores relacionadas con la preparación científica; la producción intelectual; la participación en actividades de investigación; la aplicación de la ciencia en su actividad profesional; la socialización de los trabajos profesionales desarrollados durante la actividad formativa; y los reconocimientos que reciben por los resultados de su producción científica.
· Dimensiones e indicadores que aluden al impacto en el crecimiento individual; la satisfacción de los egresados por su crecimiento profesional y humano; la transferencia de los aprendizajes al puesto de trabajo; el efecto del programa en sus funciones sociales; el impacto de la formación en el desarrollo profesional y; el reconocimiento por resultados en su desempeño laboral y el liderazgo que ejercen.
Con relación al impacto de las acciones y programas formativos en las organizaciones en que se desempeñan sus beneficiarios, se encontraron dimensiones e indicadores alusivos a: el impacto en los objetivos de la organización (a partir de indicadores económicos); la rentabilidad de la formación; el crecimiento organizacional; las innovaciones organizacionales; la mejora del desempeño organizacional; el aumento de la productividad; la mejora de la calidad; la mejora del clima laboral; la mejora del trabajo en equipo; la implementación de los trabajos profesionales realizados durante las acciones de formación y la visibilidad local, nacional e internacional de los programas de formación. (Acosta et al., 2019; González-Diaz et al., 2023; MES, 2024; Pineda-Herrero, 2000; Ramos-Azcuy et al., 2016 y Wade, 1999 como se citó en Ramos-Azcuy et al., 2016)
De otra parte, en cinco de las propuestas examinadas se encontraron dimensiones e indicadores referidos al impacto social de las acciones y programas formativos, de interés para la investigación, asociados a la satisfacción de los empleadores con el crecimiento personal y profesional de los egresados; las necesidades sociales (actuales y perspectivas) que se cubren con los conocimientos adquiridos en el programa; la promoción de transformaciones en otras entidades educativas y la pertinencia de los resultados científicos obtenidos como parte de la labor investigativa en el programa formativo. (Acosta et al., 2019; González-Diaz et al., 2023; MES, 2024; Pino-Sera, 2022 y Ramos-Azcuy et al., 2016)
En consecuencia con estos referentes, aun cuando en el diseño del contenido de la evaluación del impacto de las especialidades médicas en la función docente de los egresados se ofrecerá prioridad al planteamiento de dimensiones e indicadores que identifiquen y valoren el impacto que en ellos tienen dichos programa de formación (especialmente en su desempeño profesional docente), también se establecerán dimensiones e indicadores que permitan estimar el impacto asociado al mejor desempeño de los egresados en las organizaciones de salud en la que desarrollan su labor, y en el entorno social.
La selección y empleo de los indicadores para evaluar el impacto no solo concierne al contenido de la su evaluación, también atañe a su metodología. Ellos permiten sintetizar la información valorativa (los juicios de valor) sobre los efectos que se asocian al impacto. Los indicadores de impacto, que pueden ser cuantitativos y cualitativos, “…representan el cambio esperado en la situación de los participantes una vez que la formación se lleva a cabo. […] Expresan los cambios a partir de las acciones de formación. Deben permitir la comparación con la situación anterior a la implementación del programa…” (Red de Instituciones de Formación Profesional, 2011, p. 40)
Diseño metodológico de la evaluación (el cómo de su realización).
Acerca del diseño metodológico de la evaluación de impacto, como componente del proceso con un papel central en su dinamización, en las propuestas examinadas se encontraron precisiones referidas a cuatro cuestiones clave Ellos son:
· La selección de los métodos, técnicas e instrumentos a utilizar en los diferentes momentos del proceso evaluativo es abordada en 13 de las 16 propuestas analizadas. En este aspecto se aprecia un amplio consenso en cuanto a: el empleo combinado de técnicas y métodos cuantitativos y cualitativos en los diferentes momentos del proceso (experimental, cuasiexperimental y no experimental, encuestas, entrevistas estructuradas grupales o individuales, entrevistas en profundidad, estudio de caso, observación, análisis de documentos, análisis de contenido, triangulación por fuentes y técnicas para la optimización del trabajo grupal, entre otros).
· Las fuentes de información personales y no personales que se definen para la recogida de datos comprenden a profesores, estudiantes, directivos, empleadores, comités académicos, egresados, personas de la comunidad, documentos diversos y actividades como visitas a instalaciones docentes y escenarios de actividades profesionales especializadas, muestreo de acceso desde dispositivos móviles, visitas al desarrollo de actividades académicas, entre otras.
· Se establecen criterios a tener en cuenta para el desarrollo de herramientas de evaluación como: a) que sean diversas, b) que sean sencillas y rápidas de utilizar, c) que aprovechen los procesos y resultados de las actividades formativas y de difusión, d) que recojan informaciones objetivas y subjetivas; e) que recojan informaciones cuantitativas y cualitativas (Boffill et al., 2024)
· Aun cuando existe consenso en cuanto a que la evaluación implica la aplicación de criterios que garanticen la calidad del juicio emitido y que su credibilidad radica en gran medida en el correcto empleo de dichos criterios (Tiana-Ferrer, 1999), solo en una de las propuestas examinadas (Díaz-Rojas, 2015) se establece una escala que precisa los criterios para medir la magnitud del impacto. Ello alerta sobre la necesidad de prestar atención a este asunto crucial, imprescindible para que la evaluación del impacto de los programas de formación desempeñe cabalmente el papel asignado en la gestión de su calidad.
Conclusiones
Aun cuando en el desarrollo teórico-metodológico precedente relativo a la gestión de la evaluación del impacto de programas formativos no se encontró alguna propuesta específica que ofrezca una alternativa expedita para la gestión de la evaluación del impacto de las especialidades médicas en la función docente de los egresados; la sistematización realizada permitió establecer presupuestos teórico-metodológicos que conforman un marco referencial pertinente para su modelación. Ellos son:
· La consideración de los objetivos como categoría rectora que orienta el diseño y realización de la evaluación de impacto. Al respecto, se reconoce como objetivo estratégico de la evaluación del impacto de las especialidades médicas en la función docente de los egresados: el mejoramiento de la gestión de dichos programas de formación académica en la preparación de los especialistas para el desempeño docente en las instituciones docentes, asistenciales e investigativas de salud, a partir de decisiones cimentadas en la información producida durante el proceso evaluativo.
· El reconocimiento del contenido de la evaluación del impacto como categoría que delimita los efectos (impactos) que serán identificados y valorados en el curso del proceso, cuyo establecimiento está indisolublemente ligado a los objetivos de la formación. Al respecto, para la evaluación del impacto de las especialidades médicas en la función docente de los egresados, se precisarán dimensiones e indicadores que permitan identificar y valorar, en el corto, mediano y largo plazo, los impactos en los egresados (especialmente en su comportamiento profesional), en las organizaciones de salud en las que estos se desempeñan y en el entorno social más cercano.
· La consideración como referentes de relevancia en la determinación de las dimensiones e indicadores para evaluar el impacto de las especialidades médicas en la función docente de los egresados: a) los hallazgos encontrados en el desarrollo teórico relativo a la función y el desempeño docente en la educación médica (descripciones del contenido de la función docente, identificación de roles del docente de la educación médica, exigencias y perfiles de competencias profesionales, propuestas para la evaluación del desempeño docente); b) los diseños curriculares de las especialidades médicas, contentivos de competencias, esferas y modos de actuación de los egresados, entre los que se incluyen los concernientes a la función docente y; c) las regulaciones normativas del subsistema de evaluación y acreditación de los programas de especialidades de posgrado de la República de Cuba (MES, 2024).
· La asunción del diseño metodológico de la evaluación del impacto como la categoría que tiene la función de establecer las pautas y delimitar los recursos que dinamizan el proceso evaluativo en los subprocesos que le son propios. Al respecto, para la evaluación del impacto de las especialidades médicas en la función docente de los egresados, serán implicaciones importantes de este diseño: a) la asunción de un enfoque no excluyente en el diseño metodológico de la evaluación, lo que supone el empleo combinado de métodos cuantitativos y cualitativos y la más amplia diversidad posible en la selección de las fuentes de información; b) la selección de fuentes de información personales y no personales pertinentes con los objetivos y el contenido definido para la evaluación; c) el establecimiento de criterios a considerar en la selección y/o adopción de métodos, técnicas, instrumentos y fuentes de información y; d) La determinación de criterios de evaluación como requisito sine que non para la calidad de los juicios valorativos emitidos.
Referencias
Acosta, J., Mauricio, D. C., Mauricio, J.; González, I; López, A.; Maluendas, A.; Ortiz, J. G. y Sandoval, M. (2019). Evaluación de impacto del Programa de Formación Docente en Bogotá. Educación y Ciudad, (36), 93-104. DOI: https://doi.org/10.36737/01230425.v1.n36.2019.2136
Boffill, S., Rodríguez, M., González, A. M. y Lefont, L. (2024). Metodología de evaluación de impactos en la creación de capacidades para el desarrollo local. Universidad y Sociedad, 16(4), 149-159. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202024000400149&lng =es&nrm =iso&tlng=es
Borges O. L. (2014). Modelo de Evaluación de impacto del posgrado académico en los docentes de la Facultad de Ciencias Médicas General Calixto García. [Tesis doctoral, Universidad de Ciencias Pedagógicas Enrique José Varona, La Habana, Cuba].
Bravo, B., Fernández, C. L., y Mainegra, D. (2017). La evaluación de impacto del proceso de formación de profesores. Mendive, 15(1), 41-56. http://scielo.sld.cu/scielo.php? script=sci_arttext&pid=S1815-76962017000100004& lng=es&tlng=es
Carrera, M. A., Mesa, N. y Padilla, Y. (2022). Metodología para evaluar el impacto de la educación de posgrado. Transformación, 18(1), 53-69. http://scielo.sld.cu/scielo.php?script= sci_arttext&pid=S2077-29552022000100053 &lng=es&tlng=pt
Díaz-Leyva, C. A., y Marrero, C. (2021). La evaluación del impacto de la capacitación: retos y beneficios para las organizaciones actuales. Universidad y Sociedad, 13(6), 28-38. http://scielo.sld.cu/pdf/rus/v13n6/2218-3620-rus-13-06-28.pdf
Díaz-Rojas, P. A. (2015) Evaluación de impacto de la Maestría en Educación Médica sobre sus egresados. [Tesis doctoral, Universidad de Ciencias Médicas de Holguín, Cuba].
Doctutor (2018) La Declaración de Edimburgo 30 años después: ¿Qué han hecho nuestras Instituciones Educativas? Blog. Boletín Doctutor de Educación Médica, [publicada octubre 6, 2018, actualizado enero 3, 2019]. https://www.doctutor.es/2018/10/06/la-declaracion-de-edimburgo-30-anos-despues-que-han-hecho-nuestras-instituciones-educativas/
Fayol, H. (1977). Administración Industrial y General. Herrero Hermanos, SUCS. S. A
García-Romero, Y. (2017) Sistema de acciones para la preparación docente de los oftalmólogos que laboran en las consultas del municipio Holguín. [Tesis de maestría, Universidad de Ciencias Médicas de Holguín, Cuba].
González-Diaz, Y., Senú-González, I. y Cambara-González, D. (2023) Sistema de evaluación de impactos de un programa de Doctorado en Ingeniería Química. Tecnología Química, 43(3), 437-452. http://scielo.sld.cu/scielo.php ?script=sci_arttext&pid=S2224-61852023000300437
Gual, A., Millán Núñez-Cortés, J., Palés-Argullós, J., y Oriol-Bosch, A. (2013). Declaración de Edimburgo,¡ 25 años!. FEM: Revista de la Fundación Educación Médica, 16(4), 187-189. https://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S2014-98322013000600001
Kirkpatrick, D. L. (1996) Evaluating Training Programs: The Four Levels, San Francisco, CA: Berrett-Koehler Publishers.
Lara, L. M., Bravo, G., Sánchez, L., y Vázquez, S. I. (2019). Dimensiones para la evaluación del impacto social de la investigación educativa, en el programa de Doctorado en Ciencias de la Educación en la Universidad de Cienfuegos. Conrado, 15(71), 155-163. http://conrado.ucf.edu.cu/index.php/conrado
Mestre, U.; Quiroz, L. S. y Zambrano, J. M. (2016). Criterios para la evaluación del impacto académico de programas de maestría en la modalidad semipresencial. Didasc@lia: Didáctica y Educación. VII(5), 85-96. https://dialnet.unirioja.es/metricas/documentos /ARTREV/5911162
Ministerio de Educación Superior (2023). Resolución No.1 60 /2023. [Reglamento del Sistema de Evaluación y Acreditación de la Educación Superior]. (SEAES)
Ministerio de Educación Superior (2024). Resolución No. 38 /24. [Subsistema de Evaluación y Acreditación de Programas de Especialidades de Posgrado].
Ministerio de Salud Pública (2024). Programa de la especialidad de Oftalmología. [material no publicado].
Mirabal, M.; Rodríguez, J.; Guerrero, M. y Álvarez, M. (2012). Modelo teórico para la evaluación de impacto en programas de Salud Pública. Humanidades Médicas 12(2), 167-183. http://scielo.sld.cu/ pdf/hmc/v12n2/hmc02212.Pdf
Nervi-Condori, Ch., Cumpa-Chancafe, J., y Chirinos-Ríos, C. (2020). Competencias docentes en medicina. FEM: Revista de la Fundación Educación Médica, 23(1), https://dx.doi.org/10.33588/fem.231.1040
Parra, R. y Ruiz, C. (2020). Evaluación de impacto de los programas formativos: aspectos fundamentales, modelos y perspectivas actuales. Revista Educación, 44(2). DOI: https://doi.org/10.15517/revedu.v44i2.40281
Pérez-Juste, R. (2000). La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, 18(2), 261-287. https://revistas.um.es/rie/article/view/121001
Pérez-Recio Y. (2023). Evaluación de impacto de la especialidad de Oftalmología en sus egresados. [Tesis de maestría, Universidad de Ciencias Médicas de Holguín, Cuba].
Pineda-Herrero, P. (2000). Evaluación del impacto de la formación de las organizaciones. Educar, (27), 119-133. https://dialnet.unirioja.es/servlet/articulo?codigo=82342
Pino-Sera, Y. (2022). La evaluación del impacto social de los resultados científicos de las maestrías. [Tesis doctoral, Universidad de Holguín].
Ramos, F. J.; Meizoso, M. del C. y Guerra, R. M. (2016). Instrument for the impact assessment of the academic training. Universidad y Sociedad, 8(2), 114-124. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid =S2218-36202016000200014&ln g=es&tlng=en.
Red de Instituciones de Formación Profesional (2011). Guía para la evaluación de impacto de la formación. Montevideo: OIT/Cinterfor. https://www.oitcinterfor.org/sites/ default/files/ file_publicacion/guiaevaluacion_imp.pdf
Scriven, M. (1967). The Methodology of Evaluation. In: Tyler, R., Gagné, R. and Scriven, M., Eds., Perspectives of Curriculum Evaluation. AERA Monograph Series on Curriculum Evaluation, (1), https://www.scirp.org/reference/referencespapers? referenceid=2867205
Tiana, A. (1999). La evaluación y la calidad: dos cuestiones sometidas a discusión. Ensaio: Avaliação e Políticas Públicas em Educação, 07(22), 25-46. http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0104-40361999000100003 &lng=pt&tlng=
Torres, A., y Álvarez, M. del C. (2021). Exigencias al desempeño profesional docente en Medicina para un proceso formativo de calidad: Requirements for professional performance in medicine for a quality training process. Revista Iberoamericana De Investigación En Educación, 2(2), 67–76. https://riied.org/index.php/v1/article/view/21
Travieso, N., y Bandera, L. (2020). Concepción integradora para la evaluación de impacto de los procesos sustantivos en la universidad médica de Santiago de Cuba. MEDISAN, 24(6), 1308-1323. http://scielo.sld.cu/scielo.php?script=sciarttext&pid=S1029-30192020000601308&lng=es&tlng =es.
Vizcaíno, J. J.; Rojas, N. G. y Cisneros, D. A. (2022). La evaluación del desempeño docente. Enfoques y modelos. UTC. Prospectivas, 5(2), 13-21. https://www.researchgate.net/publication/369292272_La_evaluacion_ del_desempeno_docente_enfoques_y_modelos
Toranzos, L. (2013) Los ámbitos de la evaluación educativa y algunas falacias frecuentes. Sacalahed.com https://gc.scalahed.com/recursos/files/r161r/w24806w/Los_ambitos_de_la_evaluacion_educativa_y.pdf
Conflicto de intereses
Los autores declaran que no existe conflicto de intereses.
Declaración de contribución de autoría
Tania Milagros Fernández Domínguez: Conceptualización, Investigación, Metodología, Administración del proyecto, Validación, Redacción de original.
Pedro Valiente Sandó: Conceptualización,Investigación, Curación de datos, Análisis formal, Supervisión, Redacción y edición.
Pedro Augusto Díaz Rojas: Investigación, Curación de datos, Análisis formal, Supervisión, Redacción y edición.