Herramienta
para el cálculo de indicadores de calidad en la Educación a Distancia
Tool for quality indicators calculation in Distance Education
Ferramenta para cálculo de indicadores de qualidade em Educação
a Distância
*Rey Segundo
Guerrero-Proenza
**Darlin Díaz-Rodríguez
*Centro
Nacional de Educación a Distancia (CENED), Universidad de Ciencias Informáticas
(UCI), La Habana, Cuba. Licenciado en Matemática. Máster en Ciencia de la
Computación. Doctor en Ciencias de la Educación. Profesor titular. reysgp@uci.cu ORCID: https://orcid.org/0000-0003-4997-0828
**Joven Club de Computación y Electrónica de Contramaestre, Santiago de Cuba, Cuba. Ingeniería en Ciencias Informáticas de la Universidad de Ciencias Informáticas (UCI). darlin.diaz@scu.jovenclub.cu ORCID: https://orcid.org/0000-0003-3410-971X
|
Resumen El
objetivo de este trabajo es presentar la génesis teórica, desarrollo y estado
actual de una herramienta para el cálculo de la puntuación determinante de
los diferentes niveles de calidad de los componentes de un curso y de cada
uno de sus componentes evaluables, aplicando diferentes tipos de formalismos
de la incertidumbre. Este trabajo está motivado por la necesidad de
perfeccionar los resultados de la evaluación de calidad de los cursos en la
Educación a distancia. Palabras
clave: Educación a distancia; calidad de los cursos a distancia; indicadores de
calidad |
Abstract The aim of this work is presenting the theoretical
genesis, development and the current state of a tool for the calculation of
quality indicators, applied to different levels of quality components in a
course, including individual components, applying different uncertainty
formalisms. This work has been motivated by the necessity of improving the
evaluation of quality in Distance Education courses. Key words: Distance education; Distance Education course
quality; quality indicators |
Resumo
O
objetivo deste trabalho é apresentar a gênese teórica, o desenvolvimento e o
estado atual de uma ferramenta de cálculo da pontuação determinante dos
diferentes níveis de qualidade dos componentes de um curso e de cada um de seus
componentes avaliáveis, aplicando diferentes tipos de formalismos de incerteza.
Este trabalho é motivado pela necessidade de aprimorar os resultados da
avaliação da qualidade dos cursos de educação à distância.
Palavras-chave:
Educação à distância; qualidade dos cursos à distância; indicadores de
qualidade
Introducción
La sociedad enfrenta un gran reto, que en parte tiene origen natural,
pero que ha sido facilitado en gran medida por la actividad social: la Pandemia
de la Covid19. Los muchos cambios que provocó, llevó a interrumpir o entorpecer
algunos procesos, a potenciar otros. En este último caso está la Educación a
Distancia (EaD), sea total o parcialmente sustentada en las TIC, que ya por
mucho estaba adquiriendo un protagonismo para resolver muchos retos que la
llamada Sociedad del Conocimiento presentaba a la Humanidad, en particular aquellos que están
vinculados a los rápidos cambios, no ya en el plano intergeneracional, sino
incluso intrageneracional (Fernández-Enguita, 2001).
Dado el impacto que tiene la Educación y su influencia directa en la
efectividad y eficiencia de la actividad de los individuos que conforman la
Sociedad, siempre ha estado vinculado con la determinación de su calidad, sea
en las fases del proceso, sea en el consiguiente resultado. El ya evidente y
previsible incremento de la presencia de la EaD como modalidad básica trae a
colación el tema de la calidad, que ha sido fuente de debates y atención por la
comunidad relacionada con ella (y sus detractores), por el impacto ella tendrá
en un creciente número de educandos. Y aquí se tiene en cuenta la calidad, en
general, y en todas y cada unas de sus facetas componentes.
El Centro Nacional de Educación a Distancia (CENED, https://aulacened.uci.cu), de la Universidad de las Ciencias Informáticas (UCI), como parte de
su triple responsabilidad de gestor de acciones educativas a distancia,
esencialmente de postgrado, garante de buena parte de la viabilidad y calidad
de los cursos a distancia en la Universidad de las Ciencias Informáticas (UCI, https://www.uci.cu) y contribuyente al desarrollo de la modalidad a distancia en el País, en
particular en la concepción e implementación de su modelo nacional, no ha
estado ajeno al fenómeno de la investigación en temas de calidad. En el proceso
intenso de evaluación de la calidad de los cursos a distancias, los
especialistas han percibido inconsistencias en algunos resultados de la
valoración de los cursos. Entre ellos hay algunos que tienen relación directa
con la incertidumbre.
El objetivo de este trabajo es presentar la detección de los problemas
en el proceso de determinación de la calidad y la génesis teórica, desarrollo y
estado actual de una herramienta para el cálculo de la puntuación determinante
de los diferentes niveles de calidad de los componentes de un curso y cada uno
de sus componentes evaluables, aplicando diferentes tipos de formalismos de la
incertidumbre.
En lo que resta de la introducción se ampliará sobre el estado actual de
conceptualización de la calidad en la EaD y la incertidumbre a ella asociada,
se detallará sobre el CENED, su modelo para la EaD, sus pautas e instructivo de
calidad; se explicará la implementación del instrumento de evaluación de
cursos a EaD. Luego siguen las secciones de los materiales y métodos
empleados en la investigación, los resultados y su discusión, terminando con
las conclusiones.
La calidad en general y la calidad en la EaD:
su polisemia e incertidumbre de su valoración
Los autores de este trabajo consideran que la raíz más general de muchas
discordancias, imprecisiones y polémicas está en el concepto de calidad en
general y en particular el concepto de calidad en las diferentes dimensiones
que se relacionan con la educación a distancia, su definición y la forma de
evaluarla. (Husson y Waterman, 2002) refieren
entender por calidad: “quality as simply the adherence to
predetermined standards”. En tanto otros, refiriéndose a la calidad de
programas de educación virtual universitaria:
Ø “… satisfacción de usuarios, excelencia del sistema, efectividad del
proceso, resultados académicos positivos y buen impacto social del programa”
(Fainholc, 2004, p. 2).
Ø Para Ruiz y Dávila (2016), “la calidad de la formación en la modalidad
virtual es una función de las interacciones complejas que se producen entre los
diferentes factores que intervienen en los resultados de aprendizaje para
satisfacer necesidades personales y sociales” (p. 17).
Ø En la opinión de García Aretio (2014) ”cuando hablamos de calidad
asumimos que nos queremos referir a la buena calidad, o a la excelencia, o a la
eficacia en grado sumo. Así, si hablamos de buena calidad de educación a
distancia nos deberíamos estar refiriendo a una educación a distancia eficaz y
de calidad (positiva)” (p. 115-116).
Marciniak y Gairin (2017), consideran la
calidad de los mencionados programas como “… el proceso de esforzarse
por conseguir ciertas dimensiones que conforman la calidad de dichos programas
e indicadores asociados a ellas ...”. Dimensiones que luego presentan y
explican en su trabajo (p.2), concretamente presentan “el modelo de
autoevaluación de programas de educación universitaria virtual - que permite a
las universidades evaluar tanto la calidad de todos los elementos que
constituyen el programa (evaluación de la calidad del propio programa), como la
calidad de su planificación, desarrollo y resultados (evaluación continua del
programa)” (Ídem, p. 8). Más adelante
en ese trabajo se lista una larga sucesión de diferentes factores como
relevantes para la determinación de la calidad de programas.
Sobre el CENED, su modelo para la EaD, sus
pautas e instructivo de calidad
Precisamente en este contexto general de la calidad en la EaD se puede
introducir una de las tareas del CENED.
Hoy esto, como otras muchas cosas, toma una especial relevancia. El
CENED basa su actividad docente a distancia en un modelo (CENED, 2016) que ha
servido de base no sólo a la propia generación e impartición de cursos, sino
como fuente para la determinación de los parámetros que conforman los criterios
de calidad y que se describen en un instructivo que sirve de guía para los
revisores (CENED, 2017), así como a las pautas que siguen los creadores de
cursos en su confección (CENED, 2014).
El instructivo enfoca su análisis en tres grandes aspectos de los medios
y las condiciones externas del curso, a saber: los datos generales/formales del
curso, la estructura del curso y las categorías del mismo. Esta última parte se
divide en tres: Diseño general del curso, Contenidos y Diseño de actividades.
Cada una de las tres partes (y sus subdivisiones) están conformadas por
componentes, algunos de los cuales son obligatorios (en el sentido que su
ausencia inhabilita la publicación del curso) o tienen restricciones de
evaluación, es decir, exigen que estén evaluados de bien o excelente.
En particular las categorías tienen componentes que se evalúan según una
escala numérica, que en realidad corresponde a criterios cualitativos (es
decir, este no es un conjunto de números sobre los cuales la realización de
operaciones de un resultado válido en términos de los criterios cualitativos
que se manejan), los cuales se representan con las cifras del 1 al 5. Luego,
mediante una fórmula (Figura 1), se obtiene una puntuación, que relaciona las
frecuencias de las evaluaciones y el resultado es sujeto a un criterio que
indica si el curso puede pasar o no la evaluación.
5X5 + 4X4 + 3X3
+ 2X2 + X1
V = --------------------------------------------- 100
5(X5 + X4 + X3 + X2 + X1)
Figura
1. Fórmula para la determinación de los puntuación de
las categorías y el curso. Las variables Xi indican la cantidad de notas de valor “i”
obtenidas, donde i = 1 … 5. (Elaboración propia).
Todos estas puntuaciones se calculan actualmente empleando una tabla de
MS Excel. Habitualmente a la herramienta que se emplea para el cálculo se le
denomina instrumento de evaluación.
Implementación del instrumento de evaluación
de cursos a EaD
La implementación del instrumento, como se mencionó más arriba, está
realizada en un tabulador electrónico. En cada sección, donde se implementan
las partes y subdivisiones, se explica brevemente en que consiste cada una y
cómo operar con ella. La primera sección en puramente identificativa y se
solicita al revisor la introducción de la información que dé a conocer el nombre
de los docentes, el título del curso, la institución donde se realiza, etc.
La segunda sección ya es más específica con respecto a la calidad del
curso y consta de la comprobación de la presencia o no de varios componentes de
los que se denomina la estructura del curso. En este caso la presencia de
algunos es obligatoria, mientras que otros son opcionales, todo esto sobre la
base de criterios que se desprenden, en última instancia, del modelo de la EaD.
La tercera sección consta de tres partes (las categorías más arriba
mencionadas) y corresponden a elementos que más directamente se podrían
identificar con los medios. Cada uno de ellos debe ser evaluado en una escala
entre 1 y 5, siendo algunos de estos componentes resaltados de tal forma que su
resultado debe ser 4 o 5 (bien o excelente, según la equivalencia de estas
cifras). Al final los criterios de evaluación del curso en análisis se define
por la presencia o no de todos los componentes de la estructura que se
consideran obligatorios, la evaluación de 4 o 5 de los componentes de las
categorías que lo exigen y que cada categoría por separado y todas en su
conjunto, alcancen valores determinados, obtenidos a partir de una fórmula que
ya se mencionó y por debajo de los cuales el curso se considera no apto para su
publicación por insuficiencia de la calidad.
El proceso de evaluación ha presentado interrogantes por parte de los
evaluadores en relación con el indicador numérico de las categorías y del curso
en general y con la percepción subjetiva sobre la calidad reflejada en los
medios evaluados. También han surgido diferentes interpretaciones sobre el
significado concreto en cada caso de las cifras o valoraciones cualitativas.
Todo esto ha motivado la profundización en los detalles de estos cuestionamientos
y la búsqueda de soluciones.
Materiales y métodos
Dado el carácter heurístico de la intelección de los problemas,
resultante de la práctica de evaluación de los cursos, los materiales, la
necesidad de los materiales y métodos surgen, en la medida en que los objetivos
de la investigación varían, adecuándose a la situación, hecho que se entenderá
mejor cuando se lea más abajo la génesis y desarrollo que llevó al desarrollo
de la aplicación.
Ø
La información primaria sobre el
modelo, el instrumento de evaluación, sobre el CENED en general y sus
funciones, se obtiene de los documentos que se referenciaron anteriormente en
la introducción al explicar cada uno de ellos.
Ø
Igualmente en la introducción se hace
referencia a muchas fuentes que constatan los problemas de incertidumbre,
“polisemia” en el concepto de calidad.
Ø
Los aspectos de incertidumbre
asociados al desarrollo del proceso de evaluación se revelan en el proceso de
observación (ocasionalmente participante), de entrevistas con los evaluadores y
en “tormentas de ideas”, en el marco de sesiones de trabajo del Centro.
Ø El instrumento se programó con SWI-Prolog, versión 7.6.4 para Linux
(ejecutado en Linux Mint 19 Tara).
Ø
Para la representación del curso, en
el sentido que se explicó en la introducción, se empleó una estructura del tipo
árbol. Se trató de atenerse exclusivamente al uso de predicados estándares,
para garantizar la fácil implementación en otras versiones de Prolog (Sterling
y Shapiro, 1999), (Ross, 1989), (Bramer, 2013), (Bratko, 2010).
Ø Los formalismos de manejo de la incertidumbre a poner a prueba incluyen,
además de la propia fórmula original, varios reconocidos por ya algún tiempo en
la Inteligencia Artificial y en Lógica, tales como los de la Teoría de la
incertidumbre, según Hájek, la Teoría de Dempster – Shafer, la Lógica Fuzzy y
algunas lógicas polivalentes (Hájek y Valdés, 1991), (Dubey, Pandey y Gaatam,
2014), (Medinilla y Gutiérrez, 2007).
Ø Los métodos generales de investigación incluyen en primera instancia
enfoque sistémico estructural, análisis, síntesis, modelación. En términos más
empíricos se realizó un análisis documental, observación participante, entrevistas, así como el empleo de
técnicas de análisis y diseño de software.
Resultados y discusión
El primer resultado en esta investigación fue
la develación explícita de los problemas de inconsistencias detectadas en el
proceso de evaluación de los cursos. El desarrollo de las
evaluaciones de cursos a distancia en la plataforma CENED durante los años más
recientes ha sido basada en el empleo del instrumento de evaluación, como apoyo
a los procedimientos y criterios del instructivo. El proceso de evaluación ha
presentado interrogantes por parte de los evaluadores, como por ejemplo la
relación existente entre el indicador numérico de las categorías y del curso en
general con la percepción subjetiva sobre la calidad reflejada en los medios
evaluados. También han surgido diferentes interpretaciones sobre el significado
concreto en cada caso de las cifras o valoraciones cualitativas del tipo
regular, bien, excelente, etc.
Otro componente que añade subjetividad es el procedimiento práctico de
evaluación. Cuando un curso comienza a ser revisado, el evaluador comprueba el
cumplimiento de las pautas. Luego, sobre la base de esos resultados, los
“traduce” a los cumplimientos o no y en qué grado, de los componentes del
instrumento de evaluación. Por otro lado, están los valores mínimos
de la fórmula antes presentada, que las categorías y el curso deben alcanzar.
En diferentes momentos los evaluadores se han percatado que cursos con una
(subjetiva) valoración positiva, por el umbral que se le asigna en el
instructivo no están aprobados para publicación. Esto ha llevado a
rectificaciones y a reconsiderar el mencionado umbral, pero los nuevos criterios
aún adolecen de una fundamentación lo suficientemente rigurosa para asegurar
que en futuras evaluaciones no aparezcan contradicciones entre las
apreciaciones subjetivas, humanas y las valoraciones del instrumento.
La presentación detallada de los problemas detectados en el proceso de
valoración de la calidad llevó, a partir de un proceso silogístico paulatino de
inferencia de cómo actuar a continuación, a los siguientes resultados, que
concluyen con la creación del instrumento (lo que está, a propósito, acorde al
enfoque de desarrollo evolutivo por prototipado, análogo a un proceso de
modelación).
En este punto se puede decir, más concretamente, que hay una
herramienta que, para un mismo curso evaluado con diferentes formalismos, se
puedan comparar y decir (consulta de expertos o cualquier otra forma de
valoración/comparación subjetiva) cuál se aproxima más.
Esto en realidad, no se puede perder de vista, es sólo un medio. Por
delante queda el verdadero trabajo teórico primero, luego experimental,
aprovechando que la aplicación tiene en cuenta los factores que el instructivo
indica como determinantes y empezar a obtener no simplemente evaluaciones de
aprobado / no aprobado, sino escalas de más / menos calidad, que se obtienen de
la combinación de los factores tomados en cuenta por el instructivo, evaluados
no categóricamente, sino por valores pertenecientes a un rango. Eso sería un
sistema basado en conocimiento, para la toma de decisiones, como apoyo a la
decisión (recomendación) o simplemente como quien decide, en ambos casos, se
está en presencia de un sistema experto.
Conclusiones
La
EaD basada en las TIC, como otras muchas actividades y campos del conocimiento,
se han visto relanzadas por las necesidades de la actual situación, inédita
para los más de los que actualmente vivimos en este planeta.
En
la EaD el tema de la calidad siempre ha sido clave, máxime en la medida en que
su tendencia protagónica se está y se estará viendo acelerada.
El
CENED entre otras funciones, tiene la tarea de asegurar la calidad de las
actividades educativas a distancia que corresponden a su ámbito de actuación y
en perspectiva esto se debe incrementar, así también los procesos de adecuación
y perfeccionamientos de métodos y medios para la evaluación de la calidad.
La
observación permanente de los procesos de evaluación ha llevado a notar
aspectos de inconsistencia en las salidas del instrumento de evaluación y la
percepción subjetiva de la calidad.
Se
ha desarrollado un prototipo funcional programado en Prolog, que contiene las
funcionalidades y recursos de las operaciones necesarias para la implementación
del instructivo de evaluación de la
calidad, aumentada con la inclusión de diferentes formalismos para el cálculo
de las puntuaciones y que sirve como base para posteriores estudios sobre la
forma de realizar la evaluación automatizada de la calidad de los cursos a distancia
en el CENED.
Referencias
Bramer, M. (2013). Logic Programming with Prolog. Springer-Verlag London.
Bratko, I. (2010). Prolog
Programming for Artificial Intelligence. Addison-Wesley,
New York.
CENED.
(2014). Pautas para el diseño de cursos
en el Aula Virtual del CENED.
CENED.
(2016). Modelo de Educación a Distancia
de la Educación Superior Cubana.
CENED.
(2017). Instructivo para la evaluación de
cursos virtuales.
Dubey, S., Pandey, R. y Gautam, S. (2014). Dealing with Uncertainty in Expert Systems. International Journal of Soft Computing and Engineering (IJSCE, 4,(3).
Fainholc, B. (2004). La calidad en la
educación a distancia continúa siendo un tema muy complejo. RED. Revista de
educación a distancia, 12. http://revistas.um.es/red/article/view/25311/24591
Fernández-Enguita, M. (2001). Educar en
tiempos inciertos. Madrid, Ediciones Morata, 125 p.
García Aretio, L. (2014). Bases, mediaciones y futuro de la educación a distancia en la sociedad digital. Síntesis.
Hájek, P. y Valdés, J. (1991). A generalized algebraic approach to uncertainty Processing in rule-based expert systems (dempsteorids). Computers and artificial intelligence, 10(1).
Husson, W. y Waterman, E. (2002). Quality Measures in Distance Learning. Higher Education in Europe, XXVII(3).
Marciniak, R. y Gairín,
J. (2017). Un modelo para la autoevaluación de la calidad de programas de
educación universitaria virtual RED.
Revista de Educación a Distancia. (5).
Ruiz-Bolívar,
C. y Dávila, A. A. (2016). Propuesta de buenas prácticas de educación virtual
en el contexto universitario. RED. Revista de Educación a Distancia, 49(12). http://www.um.es/ead/red/49
Sterling, L y Shapiro, E. (1999). The Art of Prolog: Advanced Programming Techniques. The MIT Press, Cambridge, Massachusetts.
|
Declaración de contribución de autoría |
||||||||||||||
|
Nombre
y apellidos de autores |
C |
CD |
A |
AF |
I |
M |
AP |
R |
S |
Su |
VV |
VP |
R |
RE |
|
Rey Segundo Guerrero Proenza |
x |
|
x |
|
x |
x |
x |
|
x |
x |
|
|
x |
|
|
Darlin Díaz Rodríguez |
|
x |
|
|
|
|
|
x |
|
|
x |
x |
|
x |