Instrumento para la evaluación integral de recursos educativos digitales en la educación a distancia
Instrument for the comprehensive evaluation of digital educational resources in distance education
Instrumentos para avaliação integral de recursos educacionais digitais na educação à distância
1Ismael Montero-Rodríguez*
2Ana Rita Poyeaux-Vidal
3Nery Karen García-Pando
1Universidad de Ciencias Informáticas. Cuba. ORCID: https://orcid.org/0000-0002-8432-455X
2Universidad de Ciencias Informáticas. Cuba. ORCID: https://orcid.org/0000-0003-4300-6034
3Universidad de Ciencias Informáticas. Cuba. ORCID https://orcid.org/0000-0003-4169-956X
Autor para la correspondencia: ismael@uci.cu
|
Resumen El empleo de recursos educativos digitales resulta indispensable en el contexto educativo actual y en particular en la modalidad de educación a distancia. Sin embargo, estos recursos no siempre cumplen con la calidad requerida para ser empleados con un fin educativo, por lo cual es necesario disponer de adecuados instrumentos de evaluación, que permitan avalar y certificar la calidad de los mismos, antes de ser montados en plataformas y entornos virtuales para su posterior empleo. Aunque actualmente existen diversos modelos e instrumentos de evaluación, estos no siempre permiten una evaluación integral, ni se pueden emplear con suficiente facilidad y claridad. Por tal motivo, el presente trabajo tiene como objetivo diseñar un instrumento para la evaluación integral de recursos educativos digitales en el contexto de la educación a distancia, tomando en consideración algunas de las experiencias y resultados más notables, nacional e internacionalmente. Palabras clave: recursos educativos digitales; evaluación; criterios; indicadores |
Abstract The use of digital educational resources is essential in the current educational context and in particular in the distance education modality. However, these resources do not always meet the quality required to be used for educational purposes, which is why it is necessary to have appropriate/suitable evaluation instruments that allow their quality to be endorsed and certified, before they are uploaded to the platforms and virtual environments for later use. Although there are currently various evaluation models and instruments, these do not always allow a comprehensive evaluation, nor can they be used easily and clearly enough. For this reason, the present work aims to design an instrument for the comprehensive evaluation of digital educational resources in the context of distance education, taking into consideration some of the most remarkable experiences and results, nationally and internationally. Key words: digital educational resources; evaluation; criteria; indicators |
Resumo
A utilização de recursos educacionais digitais é essencial no contexto educacional atual e em particular na modalidade de educação a distância. No entanto, esses recursos nem sempre atendem à qualidade exigida para serem utilizados com fins educacionais, por isso é necessário contar com instrumentos de avaliação adequados, que lhes permitam garantir e atestar sua qualidade, antes de serem montados em plataformas e ambientes virtuais para posterior usar. Embora existam atualmente vários modelos e instrumentos de avaliação, nem sempre permitem uma avaliação abrangente, nem podem ser utilizados de forma fácil e clara o suficiente. Por esse motivo, o presente trabalho tem como objetivo conceber um instrumento de avaliação integral dos recursos educacionais digitais no contexto da educação a distância, levando em consideração algumas das experiências e resultados mais marcantes, nacional e internacionalmente.
Palavras-chave: recursos educacionais digitais; avaliação; critérios; indicadores
Introducción
La integración de las tecnologías de la información y las comunicaciones en la esfera educativa adquiere cada vez mayor importancia en todo el mundo. Como resultado de esta integración se han incorporado otros métodos y procedimientos educativos, así como espacios de enseñanza-aprendizaje más dinámicos, flexibles e interactivos.
En la educación universitaria se ha generado un cúmulo significativo y variado de medios y materiales digitales, los cuales se caracterizan por la virtualización, la heterogeneidad, la reutilización, la accesibilidad, la interactividad y su amplia proliferación. En este sentido, resulta de vital importancia el empleo de adecuados instrumentos de evaluación que garanticen la calidad de estos recursos educativos digitales (RED), tanto desde el punto de vista didáctico como tecnológico.
Figueroa, Paladines, y Paladines (2020), han demostrado con buenos resultados cómo el uso de los recursos digitales favorece el desarrollo de la capacidad de análisis de los estudiantes universitarios. De igual forma autores como Urbina (2019) han puesto en práctica el uso de objetos de aprendizaje como estrategia para mejorar el rendimiento académico en cursos del área de ingeniería.
No existe un consenso definitivo sobre la definición de RED actualmente, por lo cual se han utilizado diferentes nombres al referirse a ellos. Entre los nombres más comunes aparecen: objeto digital de aprendizaje, material digital de aprendizaje, material educativo electrónico, recurso digital, recurso educativo digital, objeto de aprendizaje, objeto educativo u objeto digital educativo (Vargas, 2017).
Según Rabajoli (como se citó en Montero, Ricardo y García, 2020) los RED “son aquellos productos digitales, incluyendo sus eventuales servicios asociados, diseñados explícitamente para ser utilizados en contextos educacionales, como apoyo a actividades de enseñanza-aprendizaje o gestión pedagógica” (p.3).
Por su parte, la UNESCO (como se citó en López, 2016) define a los RED como “cualquier material que ha sido creado con un propósito formativo y que se encuentra disponible en medios electrónicos” (p.81).
Según el Centro Nacional de Educación a Distancia en Cuba (CENED), la educación universitaria cubana transita por un proceso de transformación, que necesita del diseño, creación y uso de recursos educativos en formato digital con elevados niveles de calidad, para sustentar la construcción del conocimiento y el desarrollo de habilidades en los estudiantes (CENED, 2019).Con los avances tecnológicos, en la actualidad es viable la producción de medios educativos capaces de integrar de forma armónica diversos contenidos digitales (Cabero, 2016). Esto conduce también a la necesidad de que los profesores universitarios cuenten con las competencias tecnológicas requeridas según García (2020).
En tal sentido, la evaluación de los RED resulta imprescindible para cualquier modalidad educativa, pero cobra particular importancia en la Educación a Distancia por las características de su proceso de enseñanza-aprendizaje, el cual se caracteriza por la autogestión del conocimiento, el desarrollo de actividades de aprendizaje sin la presencia física del profesor, así como el aprendizaje colaborativo, flexible, dinámico e interactivo García (2020).
Aunque existen diversos instrumentos para la evaluación de RED, estos no siempre permiten realizar una evaluación integral de dichos recursos, ni se pueden utilizar con la facilidad y claridad requeridas. El procedimiento de evaluación utilizado en la mayoría de los casos, se centra en una evaluación lineal y general, que toma como base la sumatoria de las evaluaciones individuales de la totalidad de los criterios de evaluación empleados, pero no tienen en cuenta el nivel de prioridad de los criterios más significativos tanto en el orden didáctico-educativo como tecnológico.
De esta forma en la evaluación final generada por dichos instrumentos prevalece el elemento cuantitativo por encima del cualitativo, ya que, al darle la misma ponderación a la totalidad de los criterios de evaluación empleados, se ve limitado el valor cualitativo intrínseco en cada uno de los criterios de evaluación que se emplean.
Por otra parte, no siempre existe uniformidad tanto en la cantidad, como en la redacción de los indicadores que conforman los criterios de evaluación que se emplean en los diferentes instrumentos de evaluación, lo cual limita la veracidad, claridad y objetividad de las evaluaciones, tanto en el nivel individual de cada criterio como a nivel general del recurso educativo, así como una adecuada comprensión de las interioridades del instrumento por parte de los docentes durante el proceso de evaluación.
Tomando en consideración los elementos antes expuestos, el presente trabajo tiene como objetivo diseñar un instrumento para la evaluación integral de los RED en la educación a distancia.
Materiales y métodos
Para realizar el diseño del instrumento de evaluación de RED se tuvieron en cuenta los siguientes materiales e instrumentos de evaluación:
La Norma UNE 71362/2017; La ISO 9126 (International Organization for Standarization); La herramienta EVALUAREED; El instrumento LORI – AD; Herramienta HEODAR; La Norma Española de Calidad de Materiales Educativos Digitales, que se sustenta en la herramienta COdA; Developing a usability evaluation method for e-learning applications; La herramienta SREB-SCORE; El instrumento LORI (Learning Object Review Instrument); An empirical assessment of pedagogical usability criteria; Evaluating, Selecting, and Managing Learning Resources: A Guide; La herramienta LOAM y Open ECBCheck Quality Criteria for Programmes.
Se emplearon los siguientes métodos de investigación:
Análisis–síntesis: para determinar los fundamentos teórico-metodológicos que sustentan el diseño del instrumento de evaluación integral de RED que se propone.
Enfoque sistémico: para la el diseño del instrumento de evaluación desde una perspectiva sistémica, a partir de la determinación de sus componentes y relaciones.
El análisis documental: para analizar las disposiciones y normativas nacionales e internacionales sobre la evaluación de los RED.
Resultados y discusión
Como resultado de la investigación se elaboró la Tabla 1 con un resumen de los instrumentos de evaluación estudiados más notables, las normas, así como los criterios e indicadores de evaluación asociados. Se tuvo en cuenta los resultados presentados por Morales y otros, (2008, p.2); Aguilar y otros (2014, p.81); Fernández-Pampillón (2014, p.50; 2017); Adame (2019); Pinto y otros, (2012, p.93); Pinto y otros (2017, p.235); Wibawanto (2019, p.87) y Acuña (2019). Esta información sirvió de base para la realización de los análisis comparativos entre los diferentes instrumentos, cuyos resultados se tomaron en cuenta para el diseño del instrumento de evaluación integral que se propone.
Tabla 1
Instrumentos de evaluación de RED con sus criterios e indicadores correspondientes
|
INSTRUMENTO |
|
CRITERIOS E INDICADORES |
|
Norma UNE 71362 –AENOR |
|
CRITERIOS: 1- Descripción didáctica; 2-Calidad de los contenidos; 3- Capacidad para generar aprendizaje; 4- Adaptabilidad; 5- Interactividad; 6- Motivación; 7- Formato y diseño; 8- Reusabilidad; 9- Portabilidad; 10- Robustez; estabilidad técnica; 11- Estructura del escenario de aprendizaje; 12- Navegación; 13- Operabilidad; 14- Accesibilidad del contenido audiovisual; 15- Accesibilidad del contenido textual INDICADORES: 1.1) Define perfectamente los objetivos didácticos; 1.2) define a los destinatarios; 1.3) tiempo de trabajo; 1.4) define a las competencias que desarrolla; 1.5) presenta adecuadas instrucciones; 1.6) presenta coherencia digital. 2.1) Presentación; 2.3) relación de los objetivos; 2.4) derechos de autor; 2.5) nivel adecuado; 2.6) información veraz; 2.7) actualizado y objetivo. 3.1) (…). |
|
EVALUAREED |
|
CRITERIOS: 1- Calidad del contenido; 2- Objetivos y metas de aprendizaje; 3- Feedback; 4- Usabilidad; 5- Motivación; 6- Accesibilidad; 7- Requerimientos técnicos; 8- Propiedad intelectual, 9- Efectividad del recurso desde el punto de vista del aprendizaje INDICADORES 1.1) Ausencia de errores gramaticales; 1.2) la adecuación de la presentación de los contenidos para contextualiza los en forma de un sumario; 1.3) actualización del contenido; 1.4) adecuada fiabilidad de los contenidos. 2.1) Existe coherencia entre los objetivos expresados, los contenidos y la evaluación; 2.2) los objetivos se ajustan a la materia en cuestión; 2.3) los objetivos son adecuados al perfil de los estudiantes; 2.4) los objetivos son explícitos; 2.5) se definen las competencias que deben ser adquiridas; 2.6) el usuario pueda evaluar si ha conseguido o no los resultados. 3.1) (…). |
|
LORI – AD
|
|
CRITERIOS: 1- Calidad del contenido; 2- Correspondencia con el objetivo o competencia; 3- Retroalimentación y adaptación; 4- Motivación; 5- Diseño y presentación; 6- Interacción y usabilidad; 7- Accesibilidad; 8- Reusabilidad; 9- Cumplimiento de normas INDICADORES: 1.1) El recurso presenta la información de forma objetiva, con una redacción equilibrada de ideas; 1.2) el contenido no presenta errores u omisiones que pudieran confundir o equivocar la interpretación de los contenidos; 1.3) los enunciados del contenido se apoyan en evidencias o argumentos lógicos; 1.4) la información enfatiza los puntos clave y las ideas más significativas, con un nivel adecuado de detalle; 1.5) las diferencias culturales o relativas a grupos étnicos se representan de una manera equilibrada. 2.1) Declaración de los objetivos y/o competencias; 2.2) actividades y contenidos que permiten alcanzar las metas declaradas; 2.3) propuesta de autoevaluación pertinente que permite al usuario evidenciar su nivel de logro de la meta. 3.1) (…). |
|
ISO 9126
|
|
CRITERIOS: ASPECTOS DEL SOFTWARE EDUCATIVO De mayor importancia: 1- Pedagógico; 2- Interfaz H – M; 3 – Contenido De menor importancia: 4- Técnico OTROS ASPECTOS DEL SOFTWARE De mayor importancia: 5- Usabilidad; 6- Funcionalidad; 7- Eficiencia De menor importancia: 8- Confiabilidad; 9- Mantenibilidad; 10- Transportabilidad |
|
COdA - Norma Española de Calidad de Materiales Educativos Digitales.
|
|
CRITERIOS: CALIDAD DIDÁCTICA 1- Objetivos y coherencia didáctica; 2- Calidad del contenido; 3- Capacidad de generar aprendizaje; 4- Adaptabilidad e interactividad; 5- Motivación CALIDAD TECNOLÓGICA 6- Formato y diseño; 7- Usabilidad; 8- Accesibilidad; 9- Reusabilidad; 10- Interoperabilidad INDICADORES: 1.1) El MED presenta una descripción (ficha de metadatos) clara y coherente; 1.2) describe su finalidad didáctica; 1.3) describe a quien va dirigido; 1.4) aparecen de forma clara las sugerencias de uso didáctico del MED. 2.1) Se evidencia equilibrio y claridad de ideas en el contenido; 2.2) el contenido es actualizado; 2.3) el contenido no presenta sesgo ideológico; 2.4) presenta especificidades sobre los derechos de propiedad intelectual. 3.1) (…). |
|
Developing a usability evaluation method for e-learning applications |
|
CRITERIOS: 1- Contenido; 2- Aprendizaje y apoyo; 3- Diseño visual; 4- Navegación; 5- Accesibilidad; 6- Interactividad; 7- Auto-evaluación; 8- Motivación |
|
HEODAR
|
|
CRITERIOS: CATEGORÍADIDÁCTICO-CURRICULAR 1- Contexto; 2- Objetivos; 3- Tiempo de aprendizaje; 4- Contenido; 5- Actividades de aprendizaje; 6- Realimentación DISEÑO DE INTERFAZ 7- Texto; 8- Imagen; 9- Animaciones; 10- Multimedia; 11- Sonido; 12- Videos DISEÑO DE NAVEGACIÓN 13- Página de inicio; 14- Navegabilidad INDICADORES: 1.1) Nivel formativo adecuado a la situación educativa, por ejemplo: educación superior, etc.; 1.2) descripción de la unidad: presenta una introducción y/o resumen que explica de forma clara en qué consiste la unidad. 2.1) Correctamente formulado: generalmente los objetivos se elaboran según la fórmula: verbo infinitivo +contenido +circunstancia; 2.2) factible: puede ser alcanzado; 2.3) indica lo que se espera sea aprendido: el alumno debe ser consciente de lo que tiene que aprender; 2.4) coherente con los objetivos generales: los objetivos específicos deben ayudar a cumplirlos objetivos generales. 3.1) (…). |
|
SREB-SCORE
|
|
CRITERIOS: 1- Calidad contenidos; 2- Alineación objetivos; 3- Feedback; 4- Motivación; 5- Diseño presentación; 6- Usabilidad interfaz; 7- Accesibilidad; 8- Reusabilidad; 9- Conformidad estándares; 10- Propiedad intelectual |
|
An empirical assessment of pedagogical usability criteria |
|
CRITERIOS: 1- Control alumno; 2- Actividad alumno; 3- Aprendizaje colaborativo/cooperativo ; 4- Orientación objetivos; 5- Aplicabilidad; 6- Valor añadido; 7- Motivación; 8- Valoración conocimiento previo; 9- Flexibilidad; 10-Feedback |
|
LORI (Learning Object Review Instrument)
|
|
CRITERIOS: 1- Calidad de los contenidos; 2- Alineación entre los objetivos de aprendizaje; 3- Fomento del aprendizaje activo y participativo, adecuado al perfil de los estudiantes; 4- Motivación; 5- Presentación y diseño; 6- Interacción y usabilidad; 7- Accesibilidad; 8- Reutilización; 9- Cumplimiento de los Estándares y especificaciones |
|
Evaluating, selecting and managing learning resources: A guide. |
|
CRITERIOS: 1- Contenido; 2- Formato; 3- Metodología, 4- Evaluación; 5- Consideraciones de tipo social (multiculturalismo, igualdad de género, política, diversidad, etc.); 6- Diseño instruccional; 7- Diseño técnico |
|
LOAM (Learning Object Attribute Metric tool)
|
|
CRITERIOS: 1- Interactividad; 2-Objetivo; 3- Integración de textos multimodales; 4- Contexto de uso; 5- Conformidad con los estándares, 6- Prerrequisitos, 7- Ayuda; 8- Retroalimentación; 9- Adaptación; 10- Navegación linear y no linear Autoevaluación; 11- Coherencia entre el nivel de evaluación y el de los objetivos. |
|
Open ECBCheck Quality Criteria for Programmes. European Foundation for Quality in eLearning (EFQUEL) |
|
CRITERIOS: CALIDAD PEDAGÓGICA 1- Coherencia y claridad de los contenidos, 2- Adaptabilidad; 3- Motivación CALIDAD TECNOLÓGICA 4- Reusabilidad; 5- Accesibilidad; 6- Usabilidad; 7- Interacción |
La variedad y diversidad de instrumentos de evaluación analizados es una muestra de que en la actualidad no existe un instrumento único, ni con características homogéneas para ser utilizado en todos los casos y escenarios educativos. En el análisis se observan diferencias y semejanzas con relación a la tipología, estructura, composición y alcance, tanto en los criterios de evaluación como en los indicadores asociados. En todos los casos se evidencia la presencia de criterios de evaluación tanto de corte educativo-didáctico, como de corte tecnológico.
Algunos instrumentos como COdA, HEODAR, el modelo europeo Open ECB Check Quality Criteria for Programmes y la norma ISO 9126, presentan los criterios organizados por subgrupos, donde cada subgrupo delimita los componentes de orden educativo-didáctico o tecnológico. Esta forma en que se presentan y organizan los criterios de evaluación, puede brindar mayor claridad y comprensión sobre el estado de los RED para quienes evalúan, ya que, al estar delimitados dichos componentes, facilita el proceso evaluación no solo para los especialistas y expertos en la materia, sino también para los menos avezados en el tema.
Entre los criterios de evaluación de corte educativo-didáctico más empleados se evidencian: la calidad del contenido, la correcta definición de los objetivos, la autoevaluación o retroalimentación, la motivación y la adaptabilidad o flexibilidad del recurso para adaptarse a las particularidades de los estudiantes. En el orden tecnológico, se evidencian como criterios de evaluación más comunes: la usabilidad, la accesibilidad, la reusabilidad y la interactividad, aunque este último criterio también se ha asumido como un criterio de corte educativo-didáctico.
Otro de los criterios empleados es el cumplimiento con las normas de derecho de autor o propiedad intelectual, en particular se refleja en los instrumentos más actuales. Este resulta un aspecto de vital importancia, sobre todo por la gran variedad y diversidad de materiales y recursos digitales a los cuales se puede tener acceso actualmente, y que en muchos casos pueden ser compartidos, reutilizados o rediseñados de forma parcial o total, pero en otros casos no se permite su modificación, distribución o empleo con fines comerciales. Por tal motivo, es necesario tener conciencia de los tipos de licencias que existen y dejar plasmado en la composición de cada recurso el tipo de licencia que posee.
También se pudo observar que criterios compuestos como la interacción-usabilidad, y la retroalimentación-adaptación se van presentando en su forma simple en los instrumentos más actuales, lo cual, si bien amplía la cantidad de criterios a evaluar, también contribuye a disminuir la ambigüedad a la hora de analizar el cumplimiento de cada criterio por separado, así como a tener mayor claridad de la evaluación desde el punto de vista cualitativo.
Al establecer una comparación entre los indicadores asociados a criterios de evaluación comunes entre los diversos instrumentos, las diferencias son notables. Se evidencian diferencias en la cantidad, redacción y magnitud de los indicadores propuestos por cada criterio de evaluación, lo que puede influir determinantemente tanto en la evaluación de indicadores y criterios, como en la evaluación final del RED. En este sentido, el empleo de indicadores muy generales puede dificultar la realización de una adecuada evaluación al no poder identificar con objetividad y precisión los aspectos esenciales a evaluar en cada criterio según sea el caso, y, por otro lado, las diferencias en cuanto a la tipología de indicadores y la forma en que estos se presentan y redactan, pude agregar ambigüedad e imprecisión a la evaluación final de cada criterio y RED de forma general.
Otro aspecto a destacar es que en la mayoría de los instrumentos se le ha asignado el mismo nivel de importancia a la totalidad de los criterios, lo cual se puede apreciar en el procedimiento de evaluación final de los RED. En este sentido, podemos resaltar la norma ISO 9126, que, a diferencia de otros instrumentos, sí establece una diferenciación entre los criterios, especificando los de mayor y menor importancia, tanto en el orden educativo-didáctico como en el tecnológico. Este aspecto contribuye a una evaluación más integral de los RED, al tener en cuenta no solo el resultado de la sumatoria de las evaluaciones individuales de los diferentes criterios empleados (predominio del aspecto cuantitativo), sino, también el resultado particular de aquellos que tienen una mayor importancia (predominio del aspecto cualitativo).
Se pudo comprobar en las fuentes bibliográficas consultadas, que en los procedimientos utilizados en los diversos instrumentos para la evaluación final de los RED existen diferencias. En este sentido tomamos como referencia a los instrumentos LORI-AD y HEODAR. En el caso del instrumento LORI-AD, utiliza una escala de evaluación basada en cinco posibles alternativas:
1- No Aplica (NA), avalada por un puntaje inferior a 40 puntos; 2- Pobre, avalada por un puntaje entre 40-59 puntos; 3- Aceptable, avalada por un puntaje entre 60-79 puntos; 4 - Bueno, avalada por un puntaje entre 80-89 puntos y 5 – Muy bueno, avalada por un puntaje suprior a 89 puntos. La puntuación total del RED se obtiene a partir de la sumatoria de las puntuaciones individuales obtenidas en los diferentes criterios. La puntuación total de cada criterio se obtiene a partir de la sumatoria de las evaluaciones individuales de los indicadores correspondientes multiplicada por diez. Cada indicador se evalúa a partir de dos posibles perspectivas: Existe (1); No existe (0).
Mediante este procedimiento es posible obtener una evaluación final del recurso desde el punto de vista cualitativo y cuantitativo. Sin embargo, presenta como principal limitación que cada indicador solo puede ser evaluado desde dos perspectivas (Existe (1); No existe (0), lo cual limita el rango de evaluación y puede contribuir a la falta de objetividad, precisión y flexibilidad de las evaluaciones, tanto de cada indicador como de cada criterio empleado.
En el caso de la herramienta informática HEODAR, emplea una escala de evaluación basada en cinco posibles alternativas: 1 - Muy Deficiente; 2 – Deficiente; 3 – Aceptable; 4 – Alta; 5 - Muy Alta. A diferencia de la herramienta LORI-AD, esta utiliza la misma escala general para evaluar a cada uno de los indicadores, adicionando la alternativa No sabe (N/S), con la cual se amplía el rango de evaluación a nivel de indicador y contribuye al propio tiempo a una evaluación más objetiva, precisa y flexible. El resultado de cada criterio como del recurso en general se determina de forma similar a la herramienta LORI-AD. También permite obtener una evaluación desde el punto de vista cualitativo y cuantitativo del RED.
A pesar de que ambos procedimientos permiten una evaluación cuantitativa y cualitativa de los RED, estos dan mayor importancia al aspecto cuantitativo de la evaluación, ya que no tienen en cuenta el nivel de prioridad entre los criterios de evaluación empleados y por tanto el aspecto cualitativo implícito en los criterios de evaluación se ve limitado.
Tomando en consideración los aspectos antes analizados, así como las fortalezas y limitaciones identificadas en cada uno de los instrumentos de evaluación antes mencionados, los autores del presente trabajo se proponen diseñar un instrumento para la evaluación integral de RED en el contexto de la educación a distancia.
Propuesta de instrumento para la evaluación integral de red.
A continuación, se presenta el diseño de un instrumento para la evaluación integral de RED en el contexto de la educación a distancia, en el cual se tuvieron en cuenta las fortalezas y limitaciones identificadas en los instrumentos de evaluación analizados con anterioridad, así como el análisis de decisiones de múltiples criterios en entornos virtuales de aprendizaje, presentado por Kurilovas y Dagiene (2016). El instrumento tiene como propósito una evaluación integral de los RED, a partir de una combinación de resultados generales y parciales, atendiendo al nivel de prioridad de los criterios de evaluación empleados. En el mismo se realiza la delimitación de los criterios de evaluación desde tres posibles agrupaciones: educativos-didácticos, tecnológicos y organizativos, y se propone el procedimiento para la evaluación del RED. (Ver Tabla 2 y Tabla 3).
Tabla 2
Estructura y composición del instrumento de evaluación integral de RED
|
COMPONENTES |
CRITERIOS E INDICADORES |
|
|
Educativo- Didáctico |
CRITERIO 1: INFORMACIÓN DIDÁCTICA (ID) Indicadores asociados al criterio de evaluación: 1. Se declara la unidad o tema, área del conocimiento y su descripción. 2. Presenta una correcta declaración de los objetivos. 3. Se describen las actividades de aprendizaje que los estudiantes deben cumplir. 4. Describe a quién va dirigido o destinatarios. 5. Se describen las competencias a desarrollar. 6. Existe correspondencia entre los objetivos, complejidad de las actividades de aprendizaje y las capacidades, habilidades y destrezas de los estudiantes. 7. Aparecen orientaciones claras y precisas sobre lo que los estudiantes deben realizar. 8. De aparecer las fuentes bibliográficas y enlaces, estas se presentan de forma adecuada y se corresponden con el objetivo declarado. 9. El objetivo declarado es alcanzable. |
|
|
CRITERIO 2: CALIDAD DEL CONTENIDO (CC) Indicadores asociados al criterio de evaluación: 1. La totalidad de los contenidos que forman parte del recurso, aparecen de forma clara, precisa y objetiva. 2. Existe coherencia entre la totalidad de los contenidos y el objetivo declarado. 3. La información disponible en el recurso es suficiente para dar cumplimiento al objetivo declarado. 4. La información que brinda el recurso es actualizada y relevante. 5. Los contenidos tienen un estrecho vínculo con la práctica. 6. Los contenidos en su totalidad respetan los derechos de autoría. 7. Los contenidos no presentan sesgo ideológico. |
||
|
CRITERIO 3: PERSONALIZACIÓN (P) Indicadores asociados al criterio de evaluación: 1. Los contenidos se ajustan al conocimiento previo y necesidades de los estudiantes. 2. Las actividades de aprendizaje del recurso se corresponden con los estilos de aprendizaje de los estudiantes. 3. Aparecen varios tipos de actividades de aprendizaje (módulos) para abordar un mismo tema. 4. El estudiante tiene la posibilidad de elegir el orden de la actividad de aprendizaje que va a desarrollar en correspondencia con su preparación y capacidad de respuesta. |
||
|
CRITERIO 4: APRENDIZAJE COLABORATIVO (AC) Indicadores asociados al criterio de evaluación: 1. El recurso puede emplearse tanto para el trabajo grupal como individual. 2. El recurso brinda la posibilidad de establecer diálogos y debates entre los estudiantes y el profesor, y entre los propios estudiantes, durante el desarrollo de las actividades de aprendizaje. |
||
|
CRITERIO 5: RETROALIMENTACIÓN (R) Indicadores asociados al criterio de evaluación: 1. Ofrece retroalimentación según el resultado de las tareas realizadas. 2. Brinda niveles de ayuda según sea requerido. 3. Permite corregir errores. 4. Brinda la posibilidad de mejorar sus resultados iniciales. |
||
|
CRITERIO 6: MOTIVACIÓN (M) Indicadores asociados al criterio de evaluación: 1. Los contenidos del recurso hacen referencia a la realidad objetiva que viven los estudiantes. 2. El empleo del recurso promueve un aprendizaje significativo, creativo e innovador. 3. Los contenidos del recurso promueven un aprendizaje relevante para el entorno profesional y social de los estudiantes. 4. El empleo del recurso promueve el desarrollo del autoaprendizaje. 5. El diseño tecnológico del recurso resulta atractivo e interesante desde el punto de vista visual. |
||
|
Tecnológico
|
CRITERIO 7: INTERACTIVIDAD (I) Indicadores asociados al criterio de evaluación: 1. La estructura tecnológica del recurso facilita la interacción de todos los estudiantes con el mismo, con independencia de sus capacidades sensoriales y físico-motoras. 2. El recurso permite a los estudiantes visualizar el progreso del cumplimiento de sus actividades de aprendizaje. 3. Le brinda al estudiante una adecuada retroalimentación del cumplimiento de sus actividades de aprendizaje. |
|
|
CRITERIO 8: ACCESIBILIDAD (Acc) Indicadores asociados al criterio de evaluación: 1. Al recurso se puede acceder a través de dispositivos móviles facilitando su acceso con flexibilidad desde cualquier lugar. 2. Los estudiantes tienen la posibilidad de acceder sin dificultad a todo el contenido audiovisual y textual del recurso. 3. Todos los objetos de audio y vídeo del recurso tienen subtítulos. 4. Todos los objetos del recurso tienen texto alternativo. 5. Todos los contenidos (texto, imágenes, tablas, entre otros) del recurso tienen el contraste adecuado. 6. El contenido audiovisual no presenta destellos. |
||
|
CRITERIO 9: USABILIDAD (U) Indicadores asociados al criterio de evaluación: 1. El recurso presenta una interfaz adecuada y no presenta ninguna dificultad para acceder a todos sus contenidos. 2. Las instrucciones de uso del recurso son claras y precisas. 3. El recurso tiene un formato estándar y de uso común. 4. Puede ser utilizado con distintos dispositivos, con o sin conexión a internet. 5. El recurso puede correr en diversas plataformas y sistemas operativos. De no ser así, se facilita el software necesario para su uso. 6. Puede ser exportado a distintas plataformas y en diferentes formatos. |
||
|
CRITERIO 10: REUSABILIDAD (RU) Indicadores asociados al criterio de evaluación: 1. El recurso permite que sus módulos o parte de ellos puedan emplearse en otros recursos educativos digitales. 2. El recurso permite que sus contenidos puedan ser actualizados, modificados o ampliados. 3. Sus módulos o parte de ellos pueden ser empleados en diferentes disciplinas o grupos de estudiantes y para diversos entornos de aprendizaje. |
||
|
Organizativo |
CRITERIO 11: PROPIEDADES (PD) Indicadores asociados al criterio de evaluación: 1. Contiene el nombre del autor o institución productora. 2. Describe el tipo de licencia o derechos de autoría. 3. Aparece reflejada su fecha de creación. 4. Aparece descrito el tipo de recurso educativo digital al que pertenece. 5. Aparece descrito el formato en el cual se encuentra contenido el recurso. |
|
Tabla 3
Procedimiento para la evaluación del RED por cada criterio
|
CRITERIO DE EVALUACIÓN: Nombre del criterio de evaluación |
|
|
Indicadores de evaluación |
Escala de evaluación: N/S = No Sabe; 1=Muy Deficiente; 2=Deficiente; 3=Aceptable; 4=Alta;5=Muy Alta |
|
1. Nombre del indicador 1 |
Evaluación del indicador según valoración del evaluador o grupo de evaluadores, atendiendo a la escala. |
|
2. Nombre del indicador 2 |
|
|
Nombre del indicador n |
|
|
Evaluación final |
Sumatoria de las evaluaciones individuales de los indicadores entre el total de indicadores evaluados. |
La evaluación general del RED se determina a partir de la sumatoria de las evaluaciones individuales de cada criterio entre el total de criterios evaluados. Se utiliza la misma escala de evaluación empleada para la evaluación de los indicadores.
Evaluación general de recurso (EGR) = (ID+ CC + P + AC + R + M + I + Acc + U + RU + Pd) / 11
Condiciones necesarias mínimas para que el RED obtenga una evaluación final satisfactoria:
• La EGR ≥ 3
• ID ≥ 4; CC ≥ 4; R ≥ 3; I ≥ 3; Acc ≥ 3 y U ≥ 3
De esta forma se logra que la evaluación final del RED sea integral, ya que no solo se tiene en cuenta la evaluación general, resultado de la sumatoria de las evaluaciones individuales de los diferentes criterios, sino también, los resultados individuales de los criterios más significativos desde el punto de vista educativo-didáctico, tecnológico y organizativo, así como desde el punto de vista cualitativo y cuantitativo.
Conclusiones
El estudio realizado permitió diseñar un instrumento para la evaluación integral de recursos educativos digitales en el contexto de la educación a distancia, el cual permitirá realizar no solo una evaluación general de los RED desde el punto de vista cuantitativo, sino que también desde el punto de vista cualitativo, teniendo en cuenta la prioridad de los criterios de evaluación de mayor relevancia, así como los componentes educativo-didácticos, tecnológicos y organizativos de dichos recursos.
El instrumento diseñado permitirá la evaluación de RED a profesores y especialistas con la facilidad y claridad necesarias, ya que tiene bien delimitados los componentes educativo-didácticos, tecnológicos y organizativos, una adecuada redacción y presentación de los criterios e indicadores de evaluación correspondientes a cada componente, así como un procedimiento flexible y preciso para la evaluación individual de cada criterio y la evaluación general y final de cada RED. De esta forma consideramos que el instrumento puede favorecer una evaluación más objetiva y precisa de los RED, y en consonancia lograr mayor calidad en los recursos elaborados, lo que resulta imprescindible para el desarrollo del proceso de enseñanza-aprendizaje a distancia.
El instrumento de evaluación propuesto puede ser empleado para la evaluación de RED, tanto en la modalidad de educación a distancia como para otras modalidades educativas, y también sienta las bases para una posible aplicación informática con iguales fines.
Referencias
Acuña Sossa, M. (2019). Evaluando calidad en los Recursos Educativos Digitales. Evirtualplus. https://www.evirtualplus.com/evaluando-calidad-recursos-educativos/
Adame Rodríguez, S. I. (2019, 21 de febrero). Instrumento para evaluar Recursos Educativos Digitales. LORI-AD. Red Nacional de Enfermería Informática. https://files.sld.cu/redenfermeria/files/2019/02/InstrumentoparaevaluarREA.pdf
Aguilar J, I., De la Vega, J. A., Lugo E, O. y Zarco H, A. (2014). Análisis de criterios de evaluación para la calidad de los materiales didácticos digitales. Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, 9(25), 73-89.
Cabero A., J. (2016). La educación a distancia como estrategia de inclusión social y educativa. Revista mexicana de bachillerato a distancia, 8(15), 138-147.
Centro Nacional de Educación a Distancia (CENED). (febrero-abril, 2019). Curso de Diseño y empleo de recursos educativos digitales. Aula CENED. https://aulacened.uci.cu/
Fernández Pampillón, A. M. (2014). Desarrollo de una Norma Española de Calidad de Materiales Educativos Digitales. VAEP-RITA, 2(1), 49-56.
Fernández Pampillón, A. M. (2017). Calidad de los materiales educativos digitales. AENOR, (329), 44-47. https://portal.aenormas.aenor.com/revista/pdf/sep17/44sep17.pdf
Figueroa Morán, G. L., Paladines Morán, J. P. y Paladines Morán, J. N. (2020, mayo-julio). Los recursos digitales y su impacto en el desarrollo de la capacidad de análisis de los estudiantes universitarios. UNESUM - Ciencias. Revista Científica Multidisciplinaria, 4(1), 43-54. https://doi.org/10.47230/unesum-ciencias.v4.n1.2020.203.
García A, L. (2020). Los saberes y competencias docentes en educación a distancia y digital.Una reflexión para la formación. RIED, Revista Iberoamericana de Educación a Distancia, 23(2), 9-30. http://dx.doi.org/10.5944/ried.23.2.26540.
Kurilovas, E. & Dagiene, V. (2016). Computational thinking skills and adaptation quality of virtual learning environments for learning informatics. International Journal of Engineering Education, 32(4), 1596-1603.
López Gil, K. S. (2016). Lo que decimos sobre la escritura: caracterización de los recursos educativos digitales compartidos por centros y programas de escritura de Latinoamérica. Grafía, 13(1), 78-99.
Montero Rodríguez, I., Ricardo Zaldívar, B. y García Pando, N. K. (2020). Estrategia didáctica para el perfeccionamiento de los recursos educativos digitales de la disciplina Ciencias Empresariales en la Universidad de las Ciencias Informáticas. UCE Ciencia. Revista de Postgrado, 8(3). http://uceciencia.edu.do/index.php/OJS/article/view/212
Morales Morgado, E. M., Gómez Aguilar, D. A., y García Peñalvo, F. J. (2008). HEODAR: Herramienta para la evaluación de objetos didácticos de aprendizaje reutilizables. Ediciones Universidad de Salamanca, 141, 181-186. https://repositorio.grial.eu/bitstream/grial/442/1/SIIE_08_Erla.pdf
Pinto M., M., Gómez C., C. y Fernández R., A. (2012). Los recursos educativos electrónicos: perspectivas y herramientas de evaluación. Los recursos educativos electrónicos: perspectivas y herramientas de evaluación. Perspectivas em Ciência da Informação, 17(3), 82-99. https://www.scielo.br/j/pci/a/JjsTQZKdfjrpBcc4YDkqbQv/?format=pdf&lang=es
Pinto M, M., Gómez C, C., Fernández R, A. & Vinciane D., A. (2017). Evaluareed: desarrollo de una herramienta para la evaluación de la calidad de los recursos educativos electrónicos. Revista Investigación Bibliotecología, 31(72), 227-248.
Urbina N., A. B. (2019). Estrategia tecnológica para mejorar el rendimiento académico universitario. Pixel-Bit: Revista de Medios y Educación, 56, 71-93. https://doi.org/10.12795/pixelbit.2019.i56.04
Vargas M., G. (2017). Recursos educativos didácticos en el proceso enseñanza aprendizaje. Revista Cuadernos, 58(1), 68-74.
Wibawanto, H. (2019). E-Learning Quality Evaluation Instrument for SPADA Indonesia. Revista Atlantis Press, 379, 86-91. https://doi.org/10.2991/assehr.k.191217.015
Conflicto de intereses
Los autores declaran que no existen conflictos de intereses
Declaración de contribución de autoría
Ismael Montero-Rodríguez: conceptualización, curación de datos, análisis formal, adquisición de fondos, investigación, metodología, administración del proyecto, recursos, software, supervisión, validación, visualización, redacción b, redacción.
Rita Poyeaux-Vidal: conceptualización, análisis formal, adquisición de fondos, investigación, administración del proyecto, recursos, software, supervisión, validación, visualización, redacción b, redacción.
Nery Karen García-Pando: análisis formal, metodología, administración del proyecto, recursos, software, supervisión, visualización, redacción b, redacción.