La evaluación institucional desde las perspectivas
racional y de racionalización.
Autores: MsC. Francisca Marrero Salazar
MsC. Rafael Lorenzo Martín
Resumen
En el siguiente trabajo se presenta una propuesta para determinar el
contenido de la evaluación institucional, desde el horizonte de la racionalidad
y la racionalización; sin que se pierdan por ello sus propósitos. En él se
expone el análisis de las principales alternativas ofrecidas en la literatura
especializada. Como resultado de sus limitaciones, emerge una solución
tentativa que vislumbra un posible camino a seguir, en el arte de evaluar los
centros educativos.
Palabras claves:
evaluación, evaluación institucional, contenido evaluado, racionalidad.
Abstract
The following work is a proposal aimed at determining the
content of the Institutional Evaluation, from a rationality and rationalization
horizon, without disregarding its purposes. An analysis of the main
alternatives offered in the specialized literature is present in this paper. As
a result of the limitations, a tentative solution arises, which gives light to
a possible way to follow in the art of evaluating the educative institutions.
Keywords: evaluation, institutional evaluation,
evaluated content, rationality.
En los contextos sociales actuales ha aumentado el
interés y preocupación por elevar la calidad educativa, y puede afirmarse que
la necesidad humana de preparar al hombre para una mejor convivencia y
desarrollo de un mundo que abre sus puertas para una época más compleja, ha provocado
nuevas concepciones educacionales y es consenso en la comunidad de académicos y estadistas de los
diferentes países, la necesidad y apremio de la evaluación de los sistemas
educativos nacionales y por consiguiente de sus componentes, entre los que la
escuela como institución educativa constituye el núcleo de estos.
En Cuba se han obtenido resultados investigativos acerca de diferentes
ámbitos de la evaluación educativa; sin embargo, a pesar de ser la institución
escolar el espacio donde cobran vida e interactúan de manera directa los
componentes del sistema educativo, no se ha podido avanzar con la misma
celeridad. (Torres y Galdós, 2005).
Particularmente
relacionado con la evaluación de centros escolares, autores cubanos como García
Ramis [et al.], 1995; Cerezal [et al.], 1997; Rico [et
al.], 2000; Fiallo[et al.], 2000; García Ojeda [et al.],
1999; Valle, 2000; y Valdés y Pérez, 1999, -contrario a lo que ocurre en el
resto del mundo-, exponen resultados centrados mayormente en aproximaciones
teóricas, a partir de críticas concebidas a modelos extranjeros, pero han
aportado referentes teóricos y metodológicos cuyas memorias han sido muy
valiosas en los resultados de Proyectos del Instituto Central de Ciencias
Pedagógicas (ICCP), entre el que se encuentra “Metodología de Evaluación
Institucional” .
En consecuencia, aún es
notable la ausencia de productos científicos dirigidos a la evaluación de las
instituciones educativas (Torres, 2002) y en los limitados casos que se hace
“(...) describen un elevado número de indicadores a considerar, con lo que se
descuida el necesario requisito de la racionalización de los recursos
materiales y humanos en el proceso de la evaluación educativa”. (Suárez, 2004, citado
por Torres y Galdós, 2005). Sirva de ilustración la diferencia en cuanto a
número de indicadores a considerar por algunos autores: Torres [et al.],
1999: 70; Cerezal [et al.], 1997: 86; Jara, 2004: 129; Rico [et al.], 1997: 140 y
Lehmkuhi, 2003: 151.
Teniendo en cuenta la
complejidad del fenómeno educativo en sí mismo y las múltiples relaciones que
ocurren entre los agentes de las instituciones educativas, así como la
naturaleza multifactorial de sus procesos, es explicable la excesiva cifra de
indicadores a utilizar, pero a su vez esto se convierte en algo infuncional
estructuralmente y económicamente para países con una economía poco solvente,
como es el caso de Cuba. Por estas razones se convierte en una exigencia para
la comunidad de investigadores desplegar acciones que le confieran a la evaluación
de las instituciones educativas la racionalidad y racionalización convenientes,
sin perder su propósito y esencia, y la primera pregunta a formularse entonces
sería ¿Cómo lograrlo?
Compréndase que la evaluación en Educación, es en sí misma acción de la
declaración de un juicio de valor, el cual tiene efectos académicos,
administrativos y legales, tanto para las instituciones educativas en
particular, como para los sistemas educativos en general, y de por sí posee una
finalidad jurídica. Por lo tanto, la manera en que los actores educativos (en
quienes recae la responsabilidad de evaluar) hacen uso del conocimiento
pedagógico, académico, disciplinar y técnico-evaluativo, manifestando
simbólicamente a través de mediciones escalares un juicio de valor de las interpretaciones
sobre el estado de lo evaluado, constituye la racionalidad de la acción de la
evaluación en el contexto de un marco normativo institucional que tiene
reconocimiento y aceptación social. (Franco y Ochoa, 1997: 122). *1
A tenor de ello se concibe
la evaluación institucional como un proceso complejo, tanto en su
conceptualización como en su realización, en el que inciden múltiples factores,
ya sea por el contenido de las propias y
variadas definiciones que ofrecen diferentes autores, como por la complejidad
del fenómeno educativo en sí mismo, “La evaluación
institucional solo es válida mediante la integración de los procesos,
conociendo la función de cada uno de ellos en la configuración de la
institución, que no se agota en el sentido que puede tener cada miembro de la
organización, sino para la sociedad en su conjunto”. (Zayas, 1997, citado
por Guerra, 2000).
Visto así, la evaluación institucional
como ámbito evaluativo se caracteriza por
ser contextualizada, tener en cuenta la calidad de los procesos y resultados,
exigir de la participación de todos los componentes del centro en condiciones
de soltura, utilizar métodos diversos (contrastándolos) para analizar la
realidad, entender al centro como “unidad funcional”, demandar la
interpretación de los resultados cuantitativos, ser dinámica y no exclusiva,
promover una reflexión permanente y la modificación de la práctica escolar.
Estas características de
la evaluación institucional hacen cada vez más polémico el contenido evaluado,
que por lo general se expresa a partir de un
sistema de categorías de carácter metodológico (variables, dimensiones e indicadores), acerca de las que no siempre
existe consenso por los (evaluadores) respecto a su alcance, lo medular radica entonces en delimitar cuáles son las
variables que impactan con mayor fuerza en el proceso y resultados de la
formación de la personalidad de los sujetos.
Por consiguiente, ¿Qué variables evaluar? ¿Evaluarlo todo o qué
partes? Es conocido por los estudiosos de la materia, que es saludable
seleccionar prioridades y decantar de lo macro, lo micro más vulnerable. Así
con el análisis de estas pequeñas partes y su conexión (composición) con el
fenómeno en su conjunto, se puede obtener una substancial información que
permitirá un análisis oportuno y provechoso; la cuestión en tela de juicio
radica en cómo lograr la selección del contenido a evaluar desde las
perspectiva racional y de racionalización.
Para los autores de este trabajo, las perspectiva racional
y de racionalización de la evaluación institucional constituyen la visión para equilibrar la
selección de las categorías de carácter metodológico, que impactan con mayor fuerza en el proceso y
resultado de la formación de la personalidad de los alumnos y la posibilidad
real de evaluarlas dado el contexto
económico, político y social de la institución escolar.
Para la selección de las variables,
dimensiones e indicadores como contenido de la
evaluación institucional, los autores (Torres y Galdós, 2005) revelan
tres enfoques que como tendencia se manifiesta a nivel internacional: estudio
documental, corroboración y validación.
El estudio documental: en el que para la determinación de las variables implicadas se
hace solo un estudio teórico del objeto en cuestión (teórica).
El de corroboración: donde se someten al criterio de expertos las
variables resultantes del estudio teórico (caso anterior) o de la relación
derivada del consenso de los evaluadores (validación parcial).
El de validación: cuando se obtienen las variables principales a partir
de las variables válidas (más significativas) resultante de mediciones directas
en la práctica educativa (ex - post - facto).
En estudios realizados
por Torres, Galdós, Suárez, Marrero y Lorenzo (2004), así como por Lorenzo
(2004), se expresan las limitaciones de los dos primeros enfoques:
·
Insuficiente literatura especializada, variables fuera de
contexto, muy generales y/o carentes de sigificatividad, excesiva cantidad y
variedad de estas, imposibilidad de localizar las más importantes, producción
de un exagerado número de instrumentos
para la medición.
·
Escepticismo
en cuanto a la coincidencia de los factores asociados al aprendizaje en
investigaciones de origen anglosajón e iberoamericanas con importantes
diferencias en el porcentaje de referencia.
·
Escasa fiabilidad; existencia de un número ínfimo de
investigaciones realizadas sobre esta temática en Cuba, lo que invalida un
tanto el empleo solo de los “expertos”.
Los
investigadores Torres y S. Galdós (2005), -que llevan la avanzada en tal
sentido- apuntan hacia la legitimidad que tiene el tercer enfoque (ex – post -
facto), que considera una validación en la práctica y utiliza esta como
criterio de referencia para la selección definitiva de las variables implicadas
en la futura evaluación de las instituciones educativas. Después de pasar por
al menos una de las alternativas anteriores, se proponen un grupo de
instrumentos y se aplican a la muestra seleccionada; más adelante se recopila
la información y se procesa estadísticamente por el método de Análisis Factorial.
*2
De aquí
resulta un número reducido de variables, denominadas variables principales, y por consiguiente estas se despliegan en un
grupo pequeño de instrumentos (principales), que son los que se utilizarán en
la evaluación. Se identifican como que han utilizado este procedimiento los
siguientes trabajos: LLECE, 2001; Campistrous, 2001c y Murillo [et al.],
2003.
Este
procedimiento supera los anteriores; pero se llama la atención acerca de
algunos aspectos aún por desentrañar, considerados por ahora limitaciones,
tales como: ¿Con la buena voluntad de la racionalización no se desprecian
elementos necesarios para alcanzar el encargo de la evaluación institucional?
También
constituye una interrogante para los autores ¿Hasta qué punto se cumple la
sostenibilidad temporal y geográfica de estos resultados? Por último, sería
interesante pensar hasta qué medida se han escogido de manera adecuada las
variables iniciales para contrastar en la práctica mediante el análisis
factorial y decantar las principales. Se ha estimado oportuno entonces, abordar
un preludio de flexibilidad en este último enfoque, ya que el factor se puede abrir más (cargar
más) por los evaluadores en dependencia de su perspectiva racional y de
racionalización para acometer la evaluación.
En
correspondencia con este preámbulo de flexibilidad es novedosa la introducción
de un momento que imprime una dinámica más participativa entre evaluados y
evaluadores y se imbrica entre la corroboración y la validación; esto facilita la racionalidad y
racionalización de la evaluación institucional, lo que se grafica del modo
siguiente:
GRÁFICO NO
I: Metodología para la selección de las variables en la evaluación institucional
Ahora se
distinguen cuatro momentos que expresan procedimientos importantes (teórico, corroboración, exploratorio y validación), en el que cada uno asciende a un nivel superior en la
escalada de la selección definitiva de las variables implicadas.
En el momento teórico, se mantiene el procedimiento mencionado para la selección
inicial de las variables, recuérdese que las diferencias en el contenido de una
evaluación institucional con respecto a otra similar no es excluyente, ni
contrapuesta, y que los procesos de cambios y la propia dinámica de las nuevas
generaciones hacen que emerjan nuevos indicadores y otros se consoliden por la
propia lógica de desarrollo; de esta forma, se deben tener en cuenta los
indicadores de varias propuestas para conciliar y enriquecer de manera integral
y equilibrada la concepción de la evaluación. Como colofón de este momento se
decodificará el significado de cada una de estas variables y la posible o no
adecuación de las mismas.
En el segundo momento, corroboración, se le presentan las variables a un grupo de expertos
(validación parcial) constituidos por agentes educativos a diferentes niveles
del sistema educativo. Un alto porciento de conformidad (al menos 70%) sería el
resultado. Sin dudas, aquí debe notarse una disminución de variables con
respecto al paso anterior; para hacer alguna adición a esta altura, debe estar
presente por lo menos el porciento
asumido de conformidad y unánimemente aceptado por el grupo de investigadores,
momento que en ocasiones provoca un regreso momentáneo al paso anterior.
El momento que le sigue
se ha identificado como exploratorio y en los modelos
revisados hasta el momento, no se ha utilizado. El mismo tiene como propósito
explorar el nivel de satisfacción que tienen los agentes educativos y usuarios
(familias y alumnos) de la escuela, siendo de esta manera consecuente con los
nuevos cánones de calidad.
Para el
análisis de los resultados se ha estimado conveniente organizar los elementos
por el grado de coincidencia que tengan con el listado resultante del momento
anterior. Para esto se sugiere ubicar en dos grandes ejes el listado total de
planteamientos, estructurados según la tabla No I. De aquí se describen tres alternativas de apertura
del factor.
TABLA No I: Descripción de las
alternativas.
|
Ejes |
Alternativa I |
Alternativa II |
Alternativa III |
|
Notable |
60 – 100% |
40 – 59% |
1 – 39% |
|
Poco notable |
50 – 100% |
30 – 49% |
1 – 29% |
Esta
tabla expresa la relación en puntos porcentuales, de la correspondencia entre
variables del momento 3 con el
2. De igual forma sugiere 3 alternativas a tener en cuenta en la apertura de
los factores en el análisis factorial. (Gráfico No. II)
GRÁFICO No. II Alternativas
precedentes a la selección definitiva de variables
A II: Alternativa semiabierta, factores relativamente
cerrados, obtención de un grupo algo reducido de variables significativas. A III: Alternativa abierta, apertura
casi total, obtención de un grupo de variables similar al procesado.
A I: Alternativa conservadora,
factores cerrados, obtención de un grupo reducido de variables
significativas.
GRÁFICO No. II: Alternativas a
No resulta
reiterativo enfatizar en lo indispensable de esta etapa, ya que si bien no es
la que decide el resultado final, sí es un momento fundamental para la
selección de las variables y por consiguiente favorece un resultado exitoso
(factible, fiable, coherente, racional y con racionalización) en el diseño final
de la evaluación institucional. Por supuesto que la determinación definitiva de
la alternativa no depende solamente del criterio de los usuarios de la escuela
(en este caso), ya que los objetivos de la propia evaluación, el financiamiento
obtenido, disponibilidad de recursos (materiales y humanos) y tiempo cuentan.
Aquí es plausible también la idea de que los implicados tengan un voto para
orientar los esfuerzos hacia las áreas que más le preocupan.
En el momento
final de esta propuesta se realiza el análisis factorial con ayuda del software Statistical, versión 6.0, de la misma forma con que se muestra en los estudios de
Torres y Galdós (2005): cálculo de la matriz de correlación o de covarianza, se
establece el método de extracción de factores para estimar las cargas
factoriales, se rotan las cargas factoriales para provocar la reducción del
número de factores y se calculan los puntajes para cada factor.
La propuesta para la selección del contenido de la evaluación institucional
desde las perspectivas racional y de racionalización, constituye un referente
en el arte, perfectible en la práctica, toda vez que cualquier intento por
disminuir el gran cúmulo de variables que se evalúan en una institución escolar
se convierte en un elemento de riesgo para la objetividad del proceso. Sin
embargo, esta ofrece una solución tentativa ante la latente necesidad de
productos científicos que le confieran a
la misma un carácter funcional, con participación de los evaluados y sean
loables en la práctica.
*2
Como el principal objetivo es identificar un número reducido de variables que
expliquen la dinámica escolar, la principal utilidad de este proceder
estadístico es la reducción de aspectos, identificando aquellos factores que
expliquen la mayoría de la varianza en un número superior de variables
manifestadas, siendo estas las que conservan la mayor parte de la información
del conjunto original de datos. (Fernández-Córdova, 2000: 3, citado en Torres y
Galdós, 2005)
BIBLIOGRAFÍA:
CEREZAL, J. [ET AL.]
Metodología para la caracterización de los centros internos del nivel medio. En
Pedagogía´97. Ciudad de La Habana, 1997.
FRANCO, G. [ET
AL.] La racionalidad de la acción en la evaluación. Un análisis crítico
desde la teoría de la acción comunicativa. Colombia, Editorial Magisterio,
1997.
GARCÍA OJEDA, M. [ET AL.]. La
dirección escolar, el proceso de enseñanza-aprendizaje y el currículo en una
concepción de enseñanza desarrolladora. Ciudad de La Habana, ICCP, 1999.
GARCIA RAMIS L. [ET AL.]. Sistematización del modelo de escuela Cubana. Ciudad de La Habana, ICCP,
1995. (Informe de Investigación).
GUERRA, M. Modelo para la Evaluación de la calidad del
ISP “José de la Luz y Caballero”, de Holguín. Holguín, ISP “José de la Luz y
Caballero”, 2002. (Inédito)
JARA, M. Modelo de
Evaluación Institucional para
Bachilleratos Generales de Puebla, México. Tesis Doctoral. Ciudad de La Habana,
IPLAC, 2004.
LEHMKUHL, J. M. Sistema de
indicadores para la evaluación interna de la carrera de pre-grado de Pedagogía
de la Universidad del Oeste de Santa Catarina – Sede Jorcaba. Tesis Doctoral. Ciudad
de La Habana, ICCP, 2003.
LORENZO, R. Factores asociados al aprendizaje
de
MURILLO, J. [ET AL.].
La investigación sobre Eficacia Escolar en
Iberoamérica. Revisión Internacional sobre el estado del Arte. CAB-CIDE. Santa
Fe de Bogotá. (ISBN: 958-698-112-6). 2003.
RICO, P. Hacia el
perfeccionamiento de la escuela primaria. Ciudad de La Habana, Editorial Pueblo
y Educación, 2000.
SUÁREZ, A. Diagnóstico del
estado de las investigaciones sobre Evaluación Institucional de la Enseñanza
General en Cuba. Tesis de Maestría en
Investigación Educativa. Ciudad de La Habana, ICCP, 2004.
TORRES, P. La Evaluación de la
Calidad Educativa en las instituciones escolares cubanas. En Pedagogía’2003 (OACE). Ciudad de La Habana, 2002.
TORRES, P. Y S. GALDÓS. Metodología
de Evaluación Institucional. Resultados
de Proyecto. Ciudad de La Habana, ICCP,
2005.
TORRES, P. [ET
AL.]. Estrategia de trabajo para el mejoramiento
del aprendizaje de la Matemática en los preuniversitarios habaneros. En Pedagogía’99. Ciudad de
La Habana, 1999.
-----. Estrategia cubana para la determinación de una
metodología de evaluación internacional. En http://www.ice.deusto.es/rinace/reice:
Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en
Educación. Vol. 1, No.2, enero 2004. (ISSN: 1696-4713)