Rúbricas para la evaluación de la calidad de los cursos a distancia

Rubrics for evaluating the quality of distance courses

Rubricas para avaliação da qualidade dos cursos a distância

1 Porfirio Lorenzo Puig Estrada*

2 Eilin Hernández Rivera

1 Universidad de las Ciencias Informáticas. Cuba. Orcid: https://orcid.org/0000-0003-4095-8224.

2 Universidad de las Ciencias Informáticas. Cuba. ORCID: https://orcid.org/0000-0002-1598-9486.

*Autor para la correspondencia: Profesor.ppuig@uci.cu

Resumo

Na Universidade de Ciências Informáticas (UCI) são ministrados um grande número de cursos a distância, onde os professores designers do curso e a equipe de professores e especialistas revisores se regem pelas diretrizes estabelecidas pelo Centro Nacional de Educação a Distância (CENED) a revisão dos cursos.

Estas diretrizes são a principal ferramenta para criar e verificar a qualidade com que cada curso é criado e revisado. Porém, não existem rubricas para avaliação (autoavaliação) da qualidade dos cursos que são publicados na sala de aula virtual do CENED. O objetivo da pesquisa é desenhar uma proposta de rubricas para medir a qualidade da avaliação de cursos a distância que são publicados na sala de aula virtual da UCI. Para atingir o objetivo descrito, foram utilizados critérios de pesquisa e inclusão e uma descrição do tipo relacional exploratório com a revisão de vários cursos de diferentes universidades que finalmente fizeram parte da proposta feita.

Palavras-chave: qualidade, curso, avaliação, diretrizes, rubrica

Introducción

La educación a distancia mediada por las tecnologías de información y comunicación ha ganado cada vez mayor espacio a nivel mundial, sobre todo en la enseñanza superior. Este fenómeno se acrecienta desde principios del siglo XXI, y toma un nuevo impulso al prolongarse la pandemia de la Covid 19. En Cuba, aunque se ha avanzado en este campo, aún son insuficientes los resultados logrados en los estudios que se realizan en la modalidad de educación a distancia.

Las rúbricas para la evaluación de la calidad de los cursos a distancia es una de las herramientas que debemos aprender y aplicar sistemáticamente profesores y estudiantes en esta modalidad de enseñanza-aprendizaje. Las Rúbricas de evaluación son una forma de evaluar muy interesante y también poco conocida en el sistema educativo (ELEInternacional, 2021).

Durante el proceso de la evaluación de la calidad de los cursos en línea, los docentes y estudiantes que imparten y reciben cursos en esta modalidad en la Universidad de las Ciencias Informáticas (UCI) no cuentan con una herramienta que les facilite el complejo proceso de la evaluación. Los autores de este trabajo proponen como problema a resolver ¿Cómo contribuir a lograr una mayor objetividad en la evaluación de la calidad de los cursos en línea mediante la elaboración de rúbricas para su utilización por todos los involucrados en el proceso de evaluación y autoevaluación?

Diferentes autores refieren a que la educación a distancia tiene sus particularidades especiales, debido a la barrera que se produce por la separación entre los estudiantes y profesores. Sin embargo, existen procesos de base, referidos al diálogo y la interacción, como elementos centrales de los procesos de construcción de conocimientos, que son universales a toda situación de enseñanza y aprendizaje, por lo que el diálogo que es uno de los pilares sobre los que descansa la experiencia educativa, indistintamente de si los estudiantes y los docentes coinciden en un mismo tiempo y espacio. Las rúbricas son una herramienta esencial para cualquier instructor, pero juegan un papel aún más atractivo en los cursos en línea (Acuña 2021).

En junio del año 2014 se inauguró en la Universidad de las Ciencias Informáticas (UCI) el Centro Nacional de Educación a Distancia (CENED), el cual ha contribuido al desarrollo y la excelencia de la educación a distancia. En este centro se han elaborado un conjunto de indicadores para la evaluación de los cursos virtuales y recursos educativos virtuales presentes en el Entorno Virtual de Aprendizaje de la UCI. Desde entonces se ha estado trabajando en función de diseñar los cursos a partir de las pautas establecidas por el CENED. Estas pautas constituyen la herramienta principal para crear y verificar la calidad con que se crea y revisa cada curso. Sin embargo, no existen rúbricas para la evaluación (autoevaluación) de la calidad de los cursos que se publican en el aula virtual del CENED. El objetivo de la investigación es diseñar una propuesta de rúbricas para medir la calidad de la evaluación de los cursos a distancia que se publican en el aula virtual de la UCI. Sobresale la necesidad de crear un instrumento de evaluación del aprendizaje que permita al profesor conocer el perfil del estudiante, se propone que mediante la minería de datos se nutra la trayectoria del estudiante de tal manera que la interacción didáctica y el diálogo fortalezca la evaluación formativa y en consecución el logro de la autonomía del estudiante (Quesada, 2006).

El supervisor pedagógico actúa como observador de todo el proceso formativo y se ocupa de recopilar todos los datos y valoraciones; con todo ello realiza un informe donde se reflejan todos los aspectos evaluados, además de las incidencias ocurridas durante el curso, así mismo se indican qué aspectos son mejorables para futuras ediciones del curso (Pavón, s.f.).

Materiales y métodos

Se obtuvieron opiniones de expertos con un grupo de profesores y especialistas de la universidad que se dedican a la evaluación de la calidad en los cursos de pregrado y postgrado, incluida la modalidad a distancia y se aplicaron los siguientes métodos de investigación cualitativos: Análisis - Síntesis: Para el estudio de las tendencias fundamentales utilizadas en la utilización de estándares en la evaluación de la calidad en los procesos de educación virtual en las universidades. Inductivo - Deductivo: Para hacer inferencias que, en combinación con el análisis y la síntesis, para arribar de los análisis particulares a las generalizaciones. Histórico - Lógico: Para conocer el comportamiento y evolución de las diferentes posiciones respecto a la utilización de estándares, analizar lo relacionado con los entornos virtuales de aprendizaje que resultan de interés para la investigación. Observación (directa, abierta, sistemática y participante): Para recoger información de los modos de actuación de los estudiantes y profesores durante el desarrollo de las actividades en el Aula Virtual de Aprendizaje del CENED, constatando los fenómenos que en él se manifiestan referentes a la evaluación y autoevaluación del aprendizaje.

Resultados y discusión

Existen diversas dimensiones en un curso virtual. Se puede evaluar la calidad de un curso desde la perspectiva del estudiante, del tutor o de la institución, la calidad usualmente es una valoración subjetiva y requiere de una evaluación retrospectiva y a lo largo del tiempo. Otra limitante es que no existen estándares universales para la educación en línea por lo que al diseñar y producir cursos en línea cada institución los desarrolla de acuerdo a su propia visión, misión y estándares. Las rúbricas como una herramienta para la evaluación y, en ocasiones, para la calificación que permite evaluar cada una de las competencias de forma detallada: “Es un instrumento idóneo especialmente para evaluar competencias, puesto que permite diseccionar las tareas complejas que conforman una competencia en tareas más simples distribuidas de forma gradual y operativa” (Roman, 2024).

En este artículo nos referirnos a la educación en línea como aquella que está compuesta por una serie de cursos y evaluaciones que nos brindan la oportunidad de obtener alguna certificación. La clave de la evaluación en entornos virtuales es el seguimiento diario del progreso de cada estudiante por los tutores/profesores que se evidencia por la presencia del estudiante en el aula virtual, sus intervenciones, la calidad de ellas, su actitud, la entrega de trabajos, la cantidad de accesos, entre otros aspectos (Hazim et al. 2019). Aunque algunos profesores en la UCI gozan de un alto nivel de experiencia con la enseñanza online, para otros es completamente nueva. Existen pautas (Para el diseño de cursos en el Aula Virtual de CENED), para la elaboración de cursos a distancia, las cuales se utilizan como guía de estudio por los docentes en la elaboración de sus cursos. Por su parte, el proceso de evaluar la calidad con que se elaboran todos estos cursos online tanto de pregrado como posgrado recae en un pequeño grupo de profesores y especialistas que laboran en el CENED perteneciente a la UCI.

Los docentes, deben analizar y evaluar los materiales que ofrecerán en sus cursos, además los que les solicitarán a los estudiantes que ellos sean capaces de crear. Hacer uso de las rúbricas junto al análisis por parte de los profesores y del material obtenido durante la elaboración de su curso son las claves para una correcta evaluación de la calidad de los cursos a distancia.

Por su parte, (Roman, 2024) declaró que las rúbricas son una herramienta que ayuda a evaluar el aprendizaje del alumnado haciendo que los propios estudiantes también conozcan sus errores mediante la autoevaluación, el mismo cita “La rúbrica siempre tiene que ser entregada al alumnado antes de comenzar el proyecto o tarea y tiene que tener dos elementos: una columna vertical que contemple los criterios de evaluación de dicho proyecto o tarea. Y una columna horizontal con los grados de calidad de esos criterios, qué sería lo insuficiente, lo mediocre y lo mejor de los mismos”(p.5).

Otro aspecto importante en las rúbricas según Martínez (2008) es que aquello que determina el nivel que un estudiante alcanza un aspecto determinado son los elementos involucrados en los criterios y no un número por el número mismo, es decir, es una evaluación más de corte cualitativo que cuantitativo, pues de lo que se trata es de determinar el grado de comprensión o de manejo o de desempeño de un estudiante en un aspecto particular. Lo que cuenta es el nivel de desarrollo y desde allí se define qué valoración dar. Las pautas elaboradas por el CENED para los cursos online son utilizadas por los profesores en la UCI al confeccionar su curso; además se utilizan por los profesores y especialistas revisores para evaluar la calidad de los cursos antes de ser publicados y contiene los siguientes elementos. Una buena rúbrica para el aprendizaje online, debería poder ser utilizada por varios profesores para que todos lleguen a puntajes similares (para una tarea determinada) (Acuña, 2021). Es importante tener en cuenta que cada criterio se evalúa de forma individual, lo que permite obtener una visión clara de las fortalezas y debilidades del estudiante en cada aspecto evaluado. Además, los niveles de desempeño definidos para cada criterio y la escala de valoración utilizada permiten una evaluación objetiva y justa (Rengifo, 2023).

Cada curso seguirá la estructura del formato “Por Temas” de Moodle, donde cada Tema o Unidad didáctica debe corresponder con los “Temas del Programa” de la asignatura o postgrado en cuestión. En las secciones que siguen se presentan las orientaciones para el diseño de la información general del curso y los temas o unidades didácticas.

• Información general del curso

La información general del curso debe aparecer en el “Tema inicial” y deben estar presentes los siguientes aspectos:

1. Guía de estudio: Debe incluir una breve descripción de los objetivos y contenidos de la asignatura y las formas de impartición. El estudiante conocerá además la estructura de las actividades por temas y cómo serán evaluados los conocimientos y habilidades adquiridos. Puede incluir además información inicial de motivación, información general de los profesores, etc;
2. Recursos Educativos: Este será el espacio para mostrar los recursos educativos digitales necesarios. Pueden incluirse diferentes recursos educativos, tales como presentaciones, objetos de aprendizaje, guías de aprendizaje, herramientas o software, videos tutoriales, etc;
3. Glosario del curso: Es el espacio para construir colaborativamente los conceptos y definiciones relevantes de los contenidos del curso;
4. Novedades del Curso: Este foro será la principal vía de comunicación con los estudiantes y profesores, permitiendo la retroalimentación constante sobre los posibles cambios organizativos o tecnológicos en la impartición del curso;
5. Foro de Profesores: Se debe convertir en el espacio de trabajo colaborativo de los profesores, dónde se debata sobre el enfoque didáctico y la incorporación de nuevos recursos educativos, actividades o formas de evaluación de los estudiantes;
6. Diagnóstico inicial del curso: Se sugiere de manera opcional realizar algún tipo de actividad que permita al profesor establecer un punto de partida desde los conocimientos previos del contenido por parte de los estudiantes. Por cada tema del Programa del curso, deberá aparecer un tema en el Aula Virtual, con el nombre “Tema y Nombre del tema en el Programa”.

Cada Tema o Unidad Didáctica debe estar estructurada de la siguiente manera:

1. Introducción: Una breve presentación e importancia del tema para su labor formación profesional, utilizando para ello un lenguaje motivador que capte el interés de los estudiantes. Se sugiere utilizar el módulo Libro o un material en formato PDF. Para la organización de las actividades dentro del tema se debe tener en cuenta;
2. Construcción y aplicación de conocimientos: Incluye actividades de apoyo para la construcción individual y colectiva de conocimientos. Actividades que estimulen la aplicación práctica favoreciendo el aprendizaje significativo y la toma de decisiones de los estudiantes. Se sugiere utilizar los módulos del Aula Virtual: wiki, talleres, lección, tarea, foros, entre otros; 
3. Evaluación y autoevaluación: Incluye actividades que permiten evaluar y reflexionar de forma individual y colectiva sobre la adquisición activa de los conocimientos. Debe facilitar la autocomprobación del aprendizaje. Se sugiere utilizar los módulos del Aula Virtual AV: foros, wikis, glosarios, cuestionarios, encuesta, lección y taller; 
4. Espacio de cierre: Permite medir el conocimiento adquirido por los estudiantes y conocer el grado de satisfacción de los mismos con la formación lograda a través de las actividades y recursos educativos utilizados en el curso. Este bloque contendrá los siguientes tipos de actividades: Actividades de evaluación final (Tarea). Aplicación de instrumentos (encuesta de opinión). Los docentes no cuentan con un instrumento que le sirva para realizar una autoevaluación de la calidad de su curso online antes de ser enviado a los profesores y especialistas para su revisión. Una rúbrica puede servir no solo como una herramienta de evaluación, sino también como un instrumento de evaluación comparativa para identificar las mejores prácticas y el control de calidad, ya se tengan meses o días para preparar el curso. Las rúbricas que se proponen se pueden utilizar para evaluar y autoevaluar la calidad de los cursos online elaborados por cada profesor. La Sagrada Familia, en su artículo ¿Cómo evaluar las clases online en tres pasos? nos sugiere una rúbrica que tenga presente las dimensiones e indicadores para evaluar (autoevaluar) la calidad de los cursos a distancia (EDUCACIÓN 3.0, 2024).

1. Dimensión. Accesibilidad:

• Indicadores
• Disponibilidad
• Información de contacto
• Herramientas adicionales
• Resumen del curso e introducción
• Contenido de bienvenido
• Organización y navegación

2. Dimensión. La tecnología y las herramientas del curso:

• Indicadores
• Estado de la tecnología
• Habilidades técnicas

Las rúbricas que se proponen tienen presente las dimensiones e indicadores establecidas en por el CENED para la elaboración y revisión de los cursos y la estructura que debe tener cada curso como se muestra en la tabla 1.

Tabla 1

Rúbricas para la evaluación de los cursos a distancia

Conclusiones

Desde sus inicios la actividad evaluativa se ha extendido por el mundo y, no obstante la variedad de tendencias evaluativas,  han mantenido sus objetivos principales, tales como la comprobación de la efectividad de la educación que se brinda, la justificación de las inversiones que se hacen en ella, el cumplimiento  de las reglas que impone la competitividad entre instituciones y programas y la satisfacción del mercado laboral, inmersos en los procesos de globalización e internacionalización que matiza al mundo académico de hoy.

Las rúbricas han emergido como un instrumento valioso para la evaluación de competencias. Pese a su importancia, no pueden resolver todas las dificultades asociadas a los procesos de evaluación. En este artículo, se repasan algunos argumentos a favor y en contra del uso de rúbricas para realizar, finalmente, un análisis de las evidencias científicas derivadas de la investigación disponible en la actualidad sobre el uso de las rúbricas con el fin de saber si dichas evidencias ratifican o no los supuestos beneficios que suelen asociarse al empleo de las rúbricas. Los resultados muestran la utilidad de la rúbrica para promover la autorregulación del aprendizaje, pero también arrojan la necesidad de acompañar el uso de las rúbricas con procesos de formación y con análisis de fiabilidad y validez del instrumento.

La propuesta de diseñar rúbricas para medir la calidad de la evaluación de los cursos a distancia que se diseñan en la Universidad de las Ciencias Informáticas, servirá de ayuda a los docentes creadores y revisores de estos cursos, antes de ser publicados en el aula virtual del CENED.

Referencias

Acuña, M. (2 de julio de 2021). La Rúbrica: Instrumento efectivo de evaluación en el Aprendizaje Online. Evirtualplus. https://www.evirtualplus.com/rubrica-evaluacion-aprendizaje-online/.

EDUCACIÓN 3.0. (15 de marzo de 2024). ¿Cómo evaluar las clases online en tres pasos? EDUCACIÓN 3.0. https://www.educaciontrespuntocero.com/opinion/como-evaluar-clases-online-tres-pasos/.

ELEInternacional. (20 de enero de 2021). Los 11 instrumentos de evaluación más innovadores. ELEInternacional. https://eleinternacional.com/blog/instrumentos-de-evaluacion-innovadores/.

Hazim Torres, J. A., Febles Rodríguez, J. P. y Febles Estrada, A. (2019). Estándares para evaluar la calidad de cursos virtuales en la Educación Superior. UCE Ciencia Revista de postgrado, 7(1). http://uceciencia.edu.do/index.php/OJS/article/view/154.

Martínez-Rojas, J. G. (2008). Las rúbricas en la evaluación escolar: Su construcción y su uso. Avances en Medición, 6, 129-138. https://www.humanas.unal.edu.co/lab_psicometria/application/files/4816/0463/3552/Vol_6._Las_Rbricas_En_La_Evaluacin_Escolar_-_Su_Construccin_Y_Su_Uso.pdf.

Pavón, P., Pérez, D. y Varela, L. (s.f). La evaluación en los cursos online. Centro Virtual Cervantes. https://cvc.cervantes.es/ensenanza/formacion_virtual/metodologia/pavon.htm.

Quesada Castillo, R. (2006). Evaluación del aprendizaje en la educación a distancia. RED. Revista de Educación a Distancia. https://revistas.um.es/red/article/view/24291.

Rengifo - Icesi, D. (27 de abril de 2023). Rúbrica de evaluación de diseño curricular para cursos virtuales. edutekaLab. https://edtk.co/rbk/189.

Román, L. (14 de marzo de 2024). Evaluar con rúbricas: Qué son, cómo aplicarlas y cuáles son sus beneficios. EDUCACIÓN 3.0. https://www.educaciontrespuntocero.com/noticias/evaluar-con-rubricas/.

Conflicto de intereses

Los autores declaran que no existen conflictos de intereses

Declaración de contribución de autoría

Porfirio Lorenzo Puig Estrada: conceptualización, curación de datos, análisis formal, adquisición de fondos, investigación, metodología, validación, visualización, redacción, revisión

Eilin Hernández Rivera: análisis formal, adquisición de fondos, administración del proyecto, suorecursos, software