Instrumento para la evaluación integral de recursos educativos digitales en la educación a distancia

Instrument for the comprehensive evaluation of digital educational resources in distance education

Instrumentos para avaliação integral de recursos educacionais digitais na educação à distância

1Ismael Montero-Rodríguez*

2Ana Rita Poyeaux-Vidal

3Nery Karen García-Pando

1Universidad de Ciencias Informáticas. Cuba. ORCID: https://orcid.org/0000-0002-8432-455X

 2Universidad de Ciencias Informáticas. Cuba. ORCID: https://orcid.org/0000-0003-4300-6034

3Universidad de Ciencias Informáticas. Cuba. ORCID https://orcid.org/0000-0003-4169-956X

Autor para la correspondencia: ismael@uci.cu

 

Resumen

El empleo de recursos educativos digitales resulta indispensable en el contexto educativo actual y en particular en la modalidad de educación a distancia. Sin embargo, estos recursos no siempre cumplen con la calidad requerida para ser empleados con un fin educativo, por lo cual es necesario disponer de adecuados instrumentos de evaluación, que permitan avalar y certificar la calidad de los mismos, antes de ser montados en plataformas y entornos virtuales para su posterior empleo. Aunque actualmente existen diversos modelos e instrumentos de evaluación, estos no siempre permiten una evaluación integral, ni se pueden emplear con suficiente facilidad y claridad. Por tal motivo, el presente trabajo tiene como objetivo diseñar un instrumento para la evaluación integral de recursos educativos digitales en el contexto de la educación a distancia, tomando en consideración algunas de las experiencias y resultados más notables, nacional e internacionalmente.

Palabras clave: recursos educativos digitales; evaluación; criterios; indicadores  

Abstract

The use of digital educational resources is essential in the current educational context and in particular in the distance education modality. However, these resources do not always meet the quality required to be used for educational purposes, which is why it is necessary to have appropriate/suitable evaluation instruments that allow their quality to be endorsed and certified, before they are uploaded to the platforms and virtual environments for later use. Although there are currently various evaluation models and instruments, these do not always allow a comprehensive evaluation, nor can they be used easily and clearly enough. For this reason, the present work aims to design an instrument for the comprehensive evaluation of digital educational resources in the context of distance education, taking into consideration some of the most remarkable experiences and results, nationally and internationally.

Key words: digital educational resources; evaluation; criteria; indicators

 

Resumo

A utilização de recursos educacionais digitais é essencial no contexto educacional atual e em particular na modalidade de educação a distância. No entanto, esses recursos nem sempre atendem à qualidade exigida para serem utilizados com fins educacionais, por isso é necessário contar com instrumentos de avaliação adequados, que lhes permitam garantir e atestar sua qualidade, antes de serem montados em plataformas e ambientes virtuais para posterior usar. Embora existam atualmente vários modelos e instrumentos de avaliação, nem sempre permitem uma avaliação abrangente, nem podem ser utilizados de forma fácil e clara o suficiente. Por esse motivo, o presente trabalho tem como objetivo conceber um instrumento de avaliação integral dos recursos educacionais digitais no contexto da educação a distância, levando em consideração algumas das experiências e resultados mais marcantes, nacional e internacionalmente.

Palavras-chave: recursos educacionais digitais; avaliação; critérios; indicadores

Introducción

La integración de las tecnologías de la información y las comunicaciones en la esfera educativa adquiere cada vez mayor importancia en todo el mundo. Como resultado de esta integración se han incorporado otros métodos y procedimientos educativos, así como espacios de enseñanza-aprendizaje más dinámicos, flexibles e interactivos.

En la educación universitaria se ha generado un cúmulo significativo y variado de medios y materiales digitales, los cuales se caracterizan por la virtualización, la heterogeneidad, la reutilización, la accesibilidad, la interactividad y su amplia proliferación. En este sentido, resulta de vital importancia el empleo de adecuados instrumentos de evaluación que garanticen la calidad de estos recursos educativos digitales (RED), tanto desde el punto de vista didáctico como tecnológico.

Figueroa, Paladines, y Paladines (2020), han demostrado con buenos resultados cómo el uso de los recursos digitales favorece el desarrollo de la capacidad de análisis de los estudiantes universitarios. De igual forma autores como Urbina (2019) han puesto en práctica el uso de objetos de aprendizaje como estrategia para mejorar el rendimiento académico en cursos del área de ingeniería.

No existe un consenso definitivo sobre la definición de RED actualmente, por lo cual se han utilizado diferentes nombres al referirse a ellos. Entre los nombres más comunes aparecen: objeto digital de aprendizaje, material digital de aprendizaje, material educativo electrónico, recurso digital, recurso educativo digital, objeto de aprendizaje, objeto educativo u objeto digital educativo (Vargas, 2017).

Según Rabajoli (como se citó en Montero, Ricardo y García, 2020) los RED “son aquellos productos digitales, incluyendo sus eventuales servicios asociados, diseñados explícitamente para ser utilizados en contextos educacionales, como apoyo a actividades de enseñanza-aprendizaje o gestión pedagógica” (p.3).

Por su parte, la UNESCO (como se citó en López, 2016) define a los RED como “cualquier material que ha sido creado con un propósito formativo y que se encuentra disponible en medios electrónicos” (p.81).

Según el Centro Nacional de Educación a Distancia en Cuba (CENED), la educación universitaria cubana transita por un proceso de transformación, que necesita del diseño, creación y uso de recursos educativos en formato digital con elevados niveles de calidad, para sustentar la construcción del conocimiento y el desarrollo de habilidades en los estudiantes (CENED, 2019).Con los avances tecnológicos, en la actualidad es viable la producción de medios educativos capaces de integrar de forma armónica diversos contenidos digitales (Cabero, 2016). Esto conduce también a la necesidad de que los profesores universitarios cuenten con las competencias tecnológicas requeridas según García (2020).

En tal sentido, la evaluación de los RED resulta imprescindible para cualquier modalidad educativa, pero cobra particular importancia en la Educación a Distancia por las características de su proceso de enseñanza-aprendizaje, el cual se caracteriza por la autogestión del conocimiento, el desarrollo de actividades de aprendizaje sin la presencia física del profesor, así como el aprendizaje colaborativo, flexible, dinámico e interactivo García (2020).

Aunque existen diversos instrumentos para la evaluación de RED, estos no siempre permiten realizar una evaluación integral de dichos recursos, ni se pueden utilizar con la facilidad y claridad requeridas. El procedimiento de evaluación utilizado en la mayoría de los casos, se centra en una evaluación lineal y general, que toma como base la sumatoria de las evaluaciones individuales de la totalidad de los criterios de evaluación empleados, pero no tienen en cuenta el nivel de prioridad de los criterios más significativos tanto en el orden didáctico-educativo como tecnológico.

De esta forma en la evaluación final generada por dichos instrumentos prevalece el elemento cuantitativo por encima del cualitativo, ya que, al darle la misma ponderación a la totalidad de los criterios de evaluación empleados, se ve limitado el valor cualitativo intrínseco en cada uno de los criterios de evaluación que se emplean.

Por otra parte, no siempre existe uniformidad tanto en la cantidad, como en la redacción de los indicadores que conforman los criterios de evaluación que se emplean en los diferentes instrumentos de evaluación, lo cual limita la veracidad, claridad y objetividad de las evaluaciones, tanto en el nivel individual de cada criterio como a nivel general del recurso educativo, así como una adecuada comprensión de las interioridades del instrumento por parte de los docentes durante el proceso de evaluación.

Tomando en consideración los elementos antes expuestos, el presente trabajo tiene como objetivo diseñar un instrumento para la evaluación integral de los RED en la educación a distancia.

Materiales y métodos

Para realizar el diseño del instrumento de evaluación de RED se tuvieron en cuenta los siguientes materiales e instrumentos de evaluación:

La Norma UNE 71362/2017; La ISO 9126 (International Organization for Standarization); La herramienta EVALUAREED; El instrumento LORI – AD; Herramienta HEODAR; La Norma Española de Calidad de Materiales Educativos Digitales, que se sustenta en la herramienta COdA; Developing a usability evaluation method for e-learning applications; La herramienta SREB-SCORE; El instrumento LORI (Learning Object Review Instrument); An empirical assessment of pedagogical usability criteria; Evaluating, Selecting, and Managing Learning Resources: A Guide; La herramienta LOAM y Open ECBCheck Quality Criteria for Programmes.

Se emplearon los siguientes métodos de investigación:

Análisis–síntesis: para determinar los fundamentos teórico-metodológicos que sustentan el diseño del instrumento de evaluación integral de RED que se propone.

Enfoque sistémico: para la el diseño del instrumento de evaluación desde una perspectiva sistémica, a partir de la determinación de sus componentes y relaciones.

El análisis documental: para analizar las disposiciones y normativas nacionales e internacionales sobre la evaluación de los RED.

Resultados y discusión

Como resultado de la investigación se elaboró la Tabla 1 con un resumen de los instrumentos de evaluación estudiados más notables, las normas, así como los criterios e indicadores de evaluación asociados. Se tuvo en cuenta los resultados presentados por Morales y otros, (2008, p.2); Aguilar y otros (2014, p.81); Fernández-Pampillón (2014, p.50; 2017); Adame (2019); Pinto y otros, (2012, p.93); Pinto y otros (2017, p.235); Wibawanto (2019, p.87) y Acuña (2019). Esta información sirvió de base para la realización de los análisis comparativos entre los diferentes instrumentos, cuyos resultados se tomaron en cuenta para el diseño del instrumento de evaluación integral que se propone.

Tabla 1

Instrumentos de evaluación de RED con sus criterios e indicadores correspondientes

INSTRUMENTO

 

CRITERIOS E INDICADORES

 

Norma UNE 71362 –AENOR

 

 

CRITERIOS:

1- Descripción didáctica; 2-Calidad de los contenidos; 3- Capacidad para generar aprendizaje; 4- Adaptabilidad; 5- Interactividad; 6- Motivación; 7- Formato y diseño; 8- Reusabilidad; 9- Portabilidad; 10- Robustez; estabilidad técnica; 11- Estructura del escenario de aprendizaje; 12- Navegación; 13- Operabilidad; 14- Accesibilidad del contenido audiovisual; 15- Accesibilidad del contenido textual

INDICADORES:

1.1) Define perfectamente los objetivos didácticos; 1.2) define a los destinatarios; 1.3) tiempo de trabajo; 1.4) define a las competencias que desarrolla; 1.5) presenta adecuadas instrucciones; 1.6) presenta coherencia digital.

2.1) Presentación; 2.3) relación de los objetivos; 2.4) derechos de autor; 2.5) nivel adecuado; 2.6) información veraz; 2.7) actualizado y objetivo.

3.1) (…).

 

EVALUAREED

 

 

CRITERIOS:

1- Calidad del contenido; 2- Objetivos y metas de aprendizaje; 3- Feedback; 4- Usabilidad; 5- Motivación; 6- Accesibilidad; 7- Requerimientos técnicos; 8- Propiedad intelectual, 9- Efectividad del recurso desde el punto de vista del aprendizaje

INDICADORES

1.1) Ausencia de errores gramaticales; 1.2) la adecuación de la presentación de los contenidos para contextualiza los en forma de un sumario; 1.3) actualización del contenido; 1.4) adecuada fiabilidad de los contenidos.

2.1) Existe coherencia entre los objetivos expresados, los contenidos y la evaluación; 2.2) los objetivos se ajustan a la materia en cuestión; 2.3) los objetivos son adecuados al perfil de los estudiantes; 2.4) los objetivos son explícitos; 2.5) se definen las competencias que deben ser adquiridas; 2.6) el usuario pueda evaluar si ha conseguido o no los resultados.

3.1) (…).

 

LORI – AD

 

 

 

CRITERIOS:

1- Calidad del contenido; 2- Correspondencia con el objetivo o competencia; 3- Retroalimentación y adaptación; 4- Motivación; 5- Diseño y presentación; 6- Interacción  y usabilidad; 7- Accesibilidad; 8- Reusabilidad; 9- Cumplimiento de normas

INDICADORES:

1.1) El recurso presenta la información de forma objetiva, con una redacción equilibrada de ideas; 1.2) el contenido no presenta errores u omisiones que pudieran confundir o equivocar la interpretación de los contenidos; 1.3) los enunciados del contenido se apoyan en evidencias o argumentos lógicos; 1.4) la información enfatiza los puntos clave y las ideas más significativas, con un nivel adecuado de detalle; 1.5) las diferencias culturales o relativas a grupos étnicos se representan de una manera equilibrada.

2.1) Declaración de los objetivos y/o competencias; 2.2)   actividades y contenidos que permiten alcanzar las metas declaradas; 2.3) propuesta de autoevaluación pertinente que permite al usuario evidenciar su nivel de logro de la meta.

3.1) (…).

 

ISO 9126

 

 

 

CRITERIOS:

ASPECTOS DEL SOFTWARE EDUCATIVO

De mayor importancia:

1-    Pedagógico; 2- Interfaz H – M; 3 – Contenido

De menor importancia:

4- Técnico

OTROS ASPECTOS DEL SOFTWARE

De mayor importancia:

5- Usabilidad; 6- Funcionalidad; 7- Eficiencia

De menor importancia:

8- Confiabilidad; 9- Mantenibilidad; 10- Transportabilidad

 

COdA - Norma Española de Calidad de Materiales Educativos Digitales.

 

 

 

CRITERIOS:

CALIDAD DIDÁCTICA

1- Objetivos y coherencia didáctica; 2- Calidad del contenido; 3-  Capacidad de generar aprendizaje; 4- Adaptabilidad e interactividad; 5- Motivación

CALIDAD TECNOLÓGICA

6- Formato y diseño; 7- Usabilidad; 8-  Accesibilidad; 9- Reusabilidad; 10- Interoperabilidad

INDICADORES:

1.1) El MED presenta una descripción (ficha de metadatos) clara y coherente; 1.2) describe su finalidad didáctica; 1.3) describe a quien va dirigido; 1.4) aparecen de forma clara las sugerencias de uso didáctico del MED.

2.1) Se evidencia equilibrio y claridad de ideas en el contenido; 2.2) el contenido es actualizado; 2.3) el contenido no presenta sesgo ideológico; 2.4) presenta especificidades sobre los derechos de propiedad intelectual.

3.1) (…).

 

Developing a usability evaluation method for e-learning applications

 

 

CRITERIOS:

1- Contenido; 2- Aprendizaje y apoyo; 3- Diseño visual; 4- Navegación; 5- Accesibilidad; 6- Interactividad; 7- Auto-evaluación; 8- Motivación

 

HEODAR

 

 

 

CRITERIOS:

CATEGORÍADIDÁCTICO-CURRICULAR

1- Contexto; 2-  Objetivos; 3- Tiempo de aprendizaje; 4- Contenido; 5- Actividades de aprendizaje; 6- Realimentación

DISEÑO DE INTERFAZ

7- Texto; 8- Imagen; 9- Animaciones; 10- Multimedia; 11- Sonido; 12- Videos

DISEÑO DE NAVEGACIÓN

13- Página de inicio; 14- Navegabilidad

INDICADORES:

1.1) Nivel formativo adecuado a la situación educativa, por ejemplo: educación superior, etc.; 1.2) descripción de la unidad: presenta una introducción y/o resumen que explica de forma clara en qué consiste la unidad.

2.1) Correctamente formulado: generalmente los objetivos se elaboran según la fórmula: verbo infinitivo +contenido +circunstancia; 2.2) factible: puede ser alcanzado; 2.3) indica lo que se espera sea aprendido: el alumno debe ser consciente de lo que tiene que aprender; 2.4) coherente con los objetivos generales: los objetivos específicos deben ayudar a cumplirlos objetivos generales.

3.1) (…).

 

SREB-SCORE

 

 

 

CRITERIOS:

1- Calidad contenidos; 2- Alineación objetivos; 3- Feedback; 4- Motivación; 5- Diseño presentación; 6- Usabilidad interfaz; 7- Accesibilidad; 8- Reusabilidad; 9- Conformidad estándares; 10- Propiedad intelectual

 

An empirical assessment of pedagogical usability criteria

 

 

CRITERIOS:

1- Control alumno; 2- Actividad alumno; 3- Aprendizaje colaborativo/cooperativo ; 4- Orientación objetivos; 5- Aplicabilidad; 6- Valor añadido; 7- Motivación; 8- Valoración conocimiento previo; 9- Flexibilidad; 10-Feedback

 

LORI (Learning Object Review Instrument)

 

 

 

CRITERIOS:

1- Calidad de los contenidos; 2- Alineación entre los objetivos de aprendizaje; 3- Fomento del aprendizaje activo y participativo, adecuado al perfil de los estudiantes; 4- Motivación; 5- Presentación y diseño; 6- Interacción y usabilidad; 7- Accesibilidad; 8- Reutilización; 9- Cumplimiento de los Estándares y especificaciones

Evaluating, selecting and managing learning resources: A guide.

 

 

CRITERIOS:

1- Contenido; 2- Formato; 3- Metodología, 4- Evaluación; 5- Consideraciones de tipo social (multiculturalismo, igualdad de género, política, diversidad, etc.); 6- Diseño instruccional; 7- Diseño técnico

 

LOAM (Learning Object Attribute Metric tool)

 

 

 

CRITERIOS:

1- Interactividad; 2-Objetivo; 3- Integración de textos multimodales; 4- Contexto de uso; 5- Conformidad con los estándares, 6- Prerrequisitos, 7- Ayuda; 8- Retroalimentación; 9- Adaptación; 10- Navegación linear y no linear Autoevaluación; 11- Coherencia entre el nivel de evaluación y el de los objetivos.

 

Open ECBCheck Quality Criteria for Programmes.

European Foundation for Quality in eLearning (EFQUEL)

 

 

CRITERIOS:

CALIDAD PEDAGÓGICA

1- Coherencia y claridad de los contenidos, 2- Adaptabilidad; 3- Motivación

CALIDAD TECNOLÓGICA

4- Reusabilidad; 5- Accesibilidad; 6- Usabilidad; 7- Interacción

 

La variedad y diversidad de instrumentos de evaluación analizados es una muestra de que en la actualidad no existe un instrumento único, ni con características homogéneas para ser utilizado en todos los casos y escenarios educativos. En el análisis se observan diferencias y semejanzas con relación a la tipología, estructura, composición y alcance, tanto en los criterios de evaluación como en los indicadores asociados. En todos los casos se evidencia la presencia de criterios de evaluación tanto de corte educativo-didáctico, como de corte tecnológico.

Algunos instrumentos como COdA, HEODAR, el modelo europeo Open ECB Check Quality Criteria for Programmes y la norma ISO 9126, presentan los criterios organizados por subgrupos, donde cada subgrupo delimita los componentes de orden educativo-didáctico o tecnológico. Esta forma en que se presentan y organizan los criterios de evaluación, puede brindar mayor claridad y comprensión sobre el estado de los RED para quienes evalúan, ya que, al estar delimitados dichos componentes, facilita el proceso evaluación no solo para los especialistas y expertos en la materia, sino también para los menos avezados en el tema.

Entre los criterios de evaluación de corte educativo-didáctico más empleados se evidencian: la calidad del contenido, la correcta definición de los objetivos, la autoevaluación o retroalimentación, la motivación y la adaptabil