Evaluación del aprendizaje universitario

Assessment of University Learning

Avaliagáo da aprendizagem universitária

PEDAGOGÍA UNIVERSITARIA

Flor Alba Ruiz^a, Christian Schumacher^b

^a Especialización en preparación y evaluación de proyectos, Colegio Mayor de Nuestra Señora del Rosario, Bogotá, D.C., Colombia. Profesora, Universidad del Rosario, Bogotá, D.C., Colombia. fruiz@urosario.edu.co

^b Doctor en Filosofía, Freie Universitat Berlin, Berlín, Alemania. Profesor, Universidad Tecnológica de Bolívar, Cartagena, Colombia. cschumac@unitecnologica.edu.co

Resumen

En este artículo se presenta el Course Experience Questionnaire (CEQ), un instrumento de evaluación de la calidad de la docencia, y se discuten las experiencias obtenidas con la aplicación del mismo en la Escuela de Ciencias Humanas de la Universidad del Rosario, de Bogotá, Colombia, entre los años 2003 y 2005. El objetivo del análisis de los datos resultantes de la aplicación del CEQ es establecer si constituye un instrumento de evaluación adecuado, cuya capacidad de expresión es suficiente para medir confiablemente las características de asignaturas que tienen influencia en la calidad del aprendizaje estudiantil, por un lado, y para discriminar diferencias entre asignaturas individuales y conjuntos de asignaturas, por el otro.

Los currículos de la Escuela de Ciencias Humanas, por su alto grado de estructuración y su diversidad de contenidos y métodos, mostraron ser un campo de investigación ideal para la puesta en prueba de instrumentos de evaluación de asignaturas. En efecto, la investigación realizada mostró no solo que el CEQ es un instrumento expresivo y diferenciador, sino que existen correlaciones interesantes entre los factores "buena enseñanza", "carga de trabajo apropiada" y "competencias".

Palabras clave: evaluación del docente, investigación pedagógica, instrumento de medida, control de calidad, investigación sobre el currículo (fuente: Tesauro de la Unesco).

Abstract

The Course Experience Questionnaire (CEQ) is introduced in this article as an instrument to assess the quality of teaching. The experiences derived from its application at the Rosario University School of Human Sciences between 2003 and 2005 are discussed. The data resulting from that application were analyzed to determine if it is an adequate tool for evaluation with sufficient capacity for expression to reliably measure the courses that influence the quality of student learning and to distinguish the differences between individual courses and groups of courses.

Being highly structured and diverse in content and methods, the curricula at the School of Human Sciences proved to be ideal for testing course assessment tools. In fact, the study not only showed that CEQ is an expressive and differentiating tool, but also that interesting correlations exist between "good teaching," "appropriate workload" and "skills".

Key words: Teacher assessment, educational research, measuring tool, quality control, curriculum research (Source: Unesco Thesaurus).

Resumo

Neste artigo é apresentado o Course Experience Questionnaire (CEQ), uma ferramenta de avaliação da qualidade da docência, e são analizadas asexperiências resultantes da sua aplicação na Escuela de Ciencias Humanas da Universidad del Rosario, Bogotá, Colômbia, entre 2003 e 2005. Os dados obtidos da aplicacáo do CEQ são analisados afim de determinar si eles constituem um instrumento de avaliação apropriado, cuja capacidade de expressão basta para medir com confiança as características de matérias que influenciam na qualidade da aprendizagem do estudante e para diferenciar entre matérias individuais e conjunto de matérias.

Os currículos da Escuela de Ciencias Humanas, por seu alto grau de estruturação e sua diversidade de contidos e métodos, mostraram ser um campo de pesquisa ideal para provar instrumentos de avaliação de matérias. A pesquisa levada a cabo mostrou no somente que o CEQ é um instrumento expressivo que diferencia, mas que também existem correlações notórias entre os fatores "bom ensino", "carga de trabalho apropriada" e "competências".

Palavras-chave: avaliação do docente, pesquisa pedagógica, instrumento de medida, controle da qualidade, pesquisa sobre o currículo (fonte: Tesouro da Unesco).

Introducción

La evaluación de los procesos docentes por parte de los estudiantes constituye un problema de cierta complejidad. En la historia y en la teoría de la educación superior hay varios esquemas de evaluación, y la mayoría de las instituciones de educación superior en Colombia cuentan con algún tipo de encuesta para este fin.

Estas evaluaciones, por lo general, muestran un aspecto importante pero parcial de las asignaturas y del trabajo del profesor, a saber: las propiedades del proceso de enseñanza. Ciertamente, estas propiedades influyen sobre los resultados esperados, y las preguntas usadas posiblemente expresen importantes factores relacionados con una buena docencia. Así, ítems típicos en evaluaciones docentes podrían ser los siguientes: "El profesor inicia y termina las clases puntualmente", "El profesor se muestra respetuoso con sus alumnos", "El profesor fomenta el debate, argumentando", "El profesor utiliza fuentes en diferentes idiomas", "El profesor evalúa a todos los estudiantes de manera objetiva e imparcial", etc. Lo que llama la atención en este tipo de evaluaciones, a primera vista, es que el sujeto gramatical es invariablemente el profesor. Esto parece inicialmente plausible, ya que la mayoría de las universidades consideran que las encuestas tienen la función de evaluar al profesor. Sin embargo, la evaluación de este no es una evaluación descon-textualizada; en la evaluación docente se pretende evaluar al profesor como persona, cuya eficacia radica en el aprendizaje ajeno.

Así, es posible que la evaluación deba ser ampliada por una indagación sobre los resultados del proceso de docencia; es decir, sobre las experiencias que tiene el estudiante con su proceso de aprendizaje. En este sentido, es curioso que pocas encuestas contengan preguntas como las siguientes: "¿Usted aprendió algo en esta asignatura?", "¿El profesor se esfuerza para que usted comprenda adecuadamente los contenidos?", "¿La carga de trabajo en esta asignatura le dejó suficiente tiempo para reflexionar?", "¿En esta asignatura está claro lo que se espera de usted y de su rendimiento?", "¿Esta asignatura mejoró su capacidad de resolver problemas?", "¿En esta asignatura el profesor evalúa su capacidad de reflexión, más que su memoria?", etc.

Adicionalmente, no siempre está claro que las preguntas incluidas en los cuestionarios refejen una teoría explícita sobre el proceso de docencia/ aprendizaje, y que hayan sido sometidas a pruebas de validación estadísticas. Este parece ser un problema generalizado, cuando los instrumentos son creados de manera individual por las instituciones educativas, de acuerdo con sus experiencias e intuiciones. Así, por ejemplo, Coffey & Gibbs afirman que "a diferencia de lo que sucede en los EE. UU., virtualmente todos los cuestionarios de evaluación docente utilizados en el Reino Unido son 'hechos en casa', y su confabilidad y validez no han sido establecidos de la manera normal. Puntajes pueden ser reportados para ítems individuales, o pueden ser agregados de ítems sin que haya evidencia de que éstos formen una escala coherente. Ítems son derivados del 'sentido común' sin que haya evidencia de que correlacionen con algún indicador de resultados de aprendizaje. Pequeñas diferencias en puntajes son interpretadas como significativas cuando podrían ser el resultado de una baja con-fabilidad y error."¹. No es difícil ver refejadas en este comentario, también, las experiencias nacionales con los instrumentos de evaluación docente.

Por estas razones, los autores buscaron un instrumento alternativo de evaluación de la docencia, para enriquecer el análisis de los procesos docentes y de la calidad académica. Después de una revisión de la literatura sobre evaluación, se decidió utilizar el "Course Experience Questionnaire", descrito en Ramsden, Learning to Teach in Higher Education², y variaciones posteriores del mismo cuestionario, aunque con una metodología y finalidades divergentes, que serán explicadas en partes posteriores de este artículo³.

El "Course Experience Questionnaire" es el resultado de una serie de investigaciones sobre calidad académica, iniciadas aproximadamente a finales de los años 70 en Suecia⁴. Estas investigaciones tienen un punto de partida interesante, porque su preocupación principal es la de descubrir cuáles son los factores que inciden en la calidad del aprendizaje. [Los profesores universitarios] esperan que sus estudiantes desarrollen competencias intelectuales que superen la posesión de habilidades técnicas y conocimiento de contenidos. En todas las áreas, estas competencias implican la combinación y la relación de ideas, de tal manera que el conocimiento pueda ser utilizado efectivamente. Los docentes desean que sus estudiantes aprendan a analizar lo que no les es familiar, a reconocer el estilo y el poder de persuasión de los conceptos que describen el mundo físico o social, y a ser capaces de aplicar al mundo fuera del aula las ideas aprendidas en clases formales. Ellos esperan que los estudiantes cambien su interpretación del mundo en el que viven, por medio del desarrollo de su entendimiento de las cuestiones que han estudiado⁵.

Y en otro contexto, Royce Sadler define así las metas generales de la educación universitaria: La meta general del aprendizaje académico no se asume ser la mera acumulación de conocimientos sobre hechos, de notas suficientes o de créditos por asignaturas, sino la búsqueda de la excelencia en una disciplina. Para que la discusión de este tema sea manejable, es necesario restringir el significado del término "aprendizaje académico". Yo lo usaré para referirme a esos tipos de actividades académicas que por lo general se encuentran en las Artes, las Humanidades y las Ciencias Sociales, en las cuales la meta es el desarrollo de competencias cognitivas superiores (tales como la síntesis y el pensamiento crítico) por medio de la manipulación de teorías, ideas y hechos⁶.

Si se define así la meta del aprendizaje de calidad en la educación superior, entonces es claro que algunos de los alumnos estudian, pero no logran desarrollar estas competencias, mientras que otros sí alcanzan esta meta. La pregunta, entonces, es: ¿por qué para algunos de los estudiantes el proceso de aprendizaje es de calidad, mientras que para otros no?

En "On qualitative differences in learning - Outcome as a function of the learner's conception of the task", Marton y Sáljó, de la Universidad de Gothenburg, describen cómo algunos estudiantes responden de forma diferenciada a la manera como se les presenta el reto de aprendizaje. A varios grupos de alumnos se les presentaron textos académicos, y las respuestas se clasificaron de acuerdo con diferentes niveles de comprensión (desde el nivel básico de comprensión de lo superficial del texto, hasta el nivel de la comprensión del significado). Los grupos dieron respuestas diferentes a la tarea. Algunos podían dar cuenta de lo superficial del texto, pero no recordar o reconstruir el significado del mismo, ni relacionarlo de manera relevante con su experiencia personal o con el mundo. Otros no solo reconstruían de manera precisa lo super-ficial del texto, sino también su significado y sus relaciones con problemas más amplios⁷.

El resultado final de esta y otras investigaciones similares es que los estudiantes responden de manera superficial o profunda a las tareas que les impone la universidad, si consideran que la prueba puede ser superada utilizando una estrategia super-ficial o una profunda. Una de las cuestiones más interesantes que se derivan de estos resultados, es que los estudiantes no son "de por sí" profundos o superficiales. Más específicamente, estudiantes que son reconocidos por sus profesores como brillantes y "profundos", fácilmente adoptan estrategias superficiales si la tarea es formulada de tal manera que la respuesta correcta es la superficial.

Entonces, en conclusión, las actitudes de los estudiantes, frente al entorno académico y a su proceso de aprendizaje, son resultado de la percepción que de él tienen y de la manera como lo viven y experimentan. Infortunadamente, si bien es posible obligar e incluso forzar a los estudiantes a adoptar actitudes superficiales, es mucho más difícil estimularles actitudes profundas y habituarlos a utilizarlas. Las actitudes profundas son un resultado genuino de una buena educación. Estar en capacidad de entender, de manera adecuada y creativa, las múltiples relaciones posibles entre el mundo de las ideas y el complejo y diferenciado mundo real, requiere haber pasado por un proceso de paulatina sofsticación del pensamiento, como esperamos que suceda en las instituciones de educación básica, media y superior. Pero la profundidad claramente requiere de motivación y de esfuerzo; por eso, estrategias superficiales, por lo general, son escogidas por los estudiantes cuando las tareas propuestas por los profesores insinúan que pueden ser resueltas de manera superficial, independientemente del nivel de sofsticación de ellos.

Adicionalmente, y sin excepción, la existencia de actitudes superficiales es un indicador claro de que se está perdiendo el tiempo. Estas actitudes no son precondiciones para adoptar actitudes profundas, sino que son independientes y sus efectos siempre resultan negativos. Si la tarea propuesta es tal que puede ser resuelta con estrategias superficiales, ella podría obviarse y reemplazarse por una que genere retos reales a las capacidades intelectuales de los estudiantes. Si la tarea es compleja, pero los estudiantes responden de manera superficial, entonces igualmente se pierde el tiempo, porque, como es obvio, no se ha podido comunicar de manera adecuada el nivel de logro esperado. Los resultados serán pobres, y se habrá perdido la oportunidad de ofrecerles a los estudiantes una prueba que entiendan y que puedan solucionar en el nivel requerido. Así, las actitudes superficiales son al mismo tiempo condición necesaria y suficiente para el aprendizaje de baja calidad.

De acuerdo con este marco teórico, el aprendizaje de calidad no depende directamente de las características de calidad de los insumos o de los procesos docentes, sino de la capacidad del entorno académico para promover actitudes profundas en los estudiantes. Esto, a su vez, depende de manera crucial de las experiencias que los estudiantes tengan con el proceso y de cómo lo perciban.

El instrumento de medición Course Experience Questionnaire (CEQ) está diseñado para indagar cómo los estudiantes experimentan y perciben algunas características de las asignaturas, que a través de las investigaciones han demostrado fomentar actitudes profundas o superficiales.

El CEQ se comenzó a utilizar en la década de los 80 en el Reino Unido, de manera experimental. Posteriormente, instituciones e investigadores en Australia se interesaron en el instrumento, y comenzaron con su aplicación, modificación y estandarización.

En las últimas dos décadas del siglo XX, el gobierno de Australia implementó una política sustantiva, para atraer masivamente a estudiantes de otros países a su sistema nacional de educación superior, por dos principales motivos. Primero, Australia tiene un interés geopolítico en desarrollar una posición de liderazgo académico en el sureste asiático, frente a la competencia reciente de países cercanos, tales como Indonesia, Korea, Singa-pur, Hong Kong y otros. Segundo, Australia es un país con una larga tradición de inmigración, que intenta modernizar su política de inmigración y atraer extranjeros especialmente cualificados. En este sentido, extranjeros jóvenes altamente motivados y con experiencia internacional, que ingresen al sistema de educación superior nacional, son una fuente muy atractiva de futuros residentes profesionales. En el marco de estas dos estrategias, es de crucial importancia para el país poder certi-ficar sus servicios de educación superior, especialmente la educación de pregrado, para la cual -y al contrario de lo que sucede con la investigación- no existen estándares de evaluación internacional-mente aceptados⁸.

Por estas razones, el CEQ ha sido desarrollado con especial vigor por investigadores y por instituciones australianas. Inicialmente, el CEQ contaba con 80 ítems, que se fueron reduciendo paulatinamente a 30. En 1990 se realizó por primera vez una encuesta con cubrimiento nacional, que con-firmó la validez y confabilidad del instrumento⁹. Posteriormente, los análisis de los resultados sugirieron una reducción en el número de ítems y una ampliación del instrumento para incluir un componente adicional, "competencias" (generic skills), a los cuatro componentes originales: "buena enseñanza", "metas claras", "evaluación apropiada", "carga de trabajo apropiada". El CEQ en esta versión cuenta con 25 ítems; su validez y confabilidad han sido comprobadas empíricamente¹⁰. Esta versión del CEQ se utilizó como estándar nacional en Australia durante la década de los 90 y comienzos del siglo XXI. Todas las instituciones de educación superior deben realizar la encuesta en todos sus programas académicos de pregrado, y reportar a las autoridades y a la sociedad civil sus resultados (en sentido estricto, es obligatorio solo un cuestionario reducido a 13 ítems, pero la mayoría de las instituciones aplica el instrumento completo). En la presente investigación se utilizó esta versión específica del CEQ.

Durante la aplicación del instrumento a nivel nacional surgieron algunas críticas, a algunas de las cuales el Ministerio trató de responder con el desarrollo de un CEQ ampliado o extendido, que incluye cinco componentes adicionales: "servicios de apoyo estudiantil", "recursos para el aprendizaje", "comunidad de aprendizaje", "motivación intelectual" y "cualidades de los graduados" (este último indaga sobre el desarrollo de cualidades del profesional graduado, especialmente en relación con el ideal del aprendizaje continuo -lifelong learning-)¹¹ .

Hoy en día, el CEQ en alguna de sus versiones y adaptaciones nacionales e institucionales es utilizado, de manera prácticamente universal, en Australia y el Reino Unido. En ambos países el CEQ forma parte de los instrumentos nacionales de evaluación de la educación superior de pregrado, de los criterios de fomento institucional por parte de agencias estatales, y de los criterios de ranking institucional que utilizan organizaciones de la sociedad civil y los medios.

Método

En el año 2003, en la Escuela de Ciencias Humanas de la Universidad del Rosario, se da inicio a la evaluación de asignaturas a través del instrumento CEQ, con mediciones semestrales que culminan en el segundo semestre del 2005. Durante los tres años de la aplicación del CEQ se evaluaron aproximadamente 50 asignaturas por semestre, correspondientes al ciclo básico, ciclos profesionales de filosofía y sociología, humanidades, estudios profesionales y las asignaturas ofrecidas por la Escuela a través del Departamento de Matemáticas. En cada asignatura participaron 20 estudiantes en promedio, lo cual garantiza una buena representación de asignaturas y de estudiantes en este trabajo de investigación.

Como se había afirmado, en la presente investigación se utilizó la versión del CEQ con cinco componentes y una pregunta general sobre calidad, que fue durante muchos años el estándar de evaluación en Australia y en el Reino Unido. Sin embargo, en la metodología de aplicación este estudio realiza cambios importantes, que ameritan una breve discusión. En el contexto original, el CEQ es, en sentido estricto, un instrumento de evaluación de programas (el término "course" significa lo mismo que la palabra "carrera" en el contexto colombiano: un programa formal de estudios, de una duración y un currículo específicos, desarrollados por una institución concreta). El CEQ, entonces, es originalmente un instrumento para la evaluación de programas de estudio completos, por parte de los estudiantes que se hayan graduado en el semestre anterior.

Por lo general, las instituciones de educación superior envían el cuestionario a los recién egresados por correo y a comienzos del semestre inmediatamente siguiente a la graduación. Por razones obvias, el retorno de los cuestionarios diligenciados no es completo, lo que significa que la muestra es a veces reducida y no siempre resulta estadísticamente representativa. En todo caso, los egresados que diligencian el cuestionario responden cada uno de los ítems de manera global, con una evaluación de todo su programa de estudios, que pudo haber durado seis, ocho o incluso diez semestres.

Así, por ejemplo, un ítem como "En este programa, ¿usted por lo general tiene una idea clara de las metas y de lo que se espera de usted?" indaga sobre las experiencias de los estudiantes con la consistencia entre el currículo oculto y las metas de formación explícitas del programa; un ítem como "¿Es posible culminar exitosamente este programa con sólo trabajar duro en épocas de exámenes?" indaga sobre la existencia en el programa de pedagogías que fomentan actitudes y estrategias superficiales de estudio, etc.

De esta manera, el CEQ difere de manera radical de las evaluaciones docentes que realizan las universidades colombianas. En ellas, los estudiantes evalúan a profesores en asignaturas específicas, y el período de evaluación es menor que un semestre, ya que las evaluaciones se realizan en momentos en los que la asignatura todavía se está desarrollando. En el CEQ, los evaluadores ya no son estudiantes sino egresados; el horizonte de evaluación es de varios años y el resultado de esta no es aplicable a profesores o asignaturas individuales, sino al currículo institucional en su conjunto.

Ahora bien, la evaluación estudiantil de programas de estudio completos no tiene antecedentes en Colombia, y los autores de esta investigación decidieron que, debido a ausencias de tradiciones de evaluación similares y de parámetros de comparación, no sería útil replicar la metodología de aplicación original del CEQ. Sin embargo, dado el interés que genera el marco teórico, su compatibilidad con los paradigmas pedagógicos vigentes en el país, y la manera como el CEQ refeja el marco teórico, los autores decidieron adaptar el CEQ para su aplicación en asignaturas individuales. Entonces, en el cuestionario utilizado se reemplazó el término "course" por "asignatura", la referencia a profesores o funcionarios del programa por la referencia al profesor de la asignatura.

Las 25 preguntas que contiene el instrumento se miden en una escala Likert 1-5 (definitivamente de acuerdo - definitivamente no está de acuerdo), asignando valores entre 1 y 5 a las posibles respuestas. Una de las características técnicas más interesantes del CEQ es que algunas de las preguntas indagan por aspectos positivos, tales como: "En esta asignatura, siempre es fácil saber qué nivel de rendimiento se espera de mí"; en cambio, otras indagan por aspectos negativos, como: "Para tener éxito en esta asignatura, en realidad sólo necesito tener buena memoria". De esta manera, para las preguntas "positivas", un puntaje alto en la escala indica un resultado altamente positivo, mientras que para las preguntas "negativas", un puntaje alto indica un resultado altamente negativo. Así se contrarresta un "automatismo" en la respuesta del cuestionario, posible cuando el instrumento solo contenga preguntas cuyo valor en la escala correlacione directamente con un resultado de evaluación positivo.

Por el otro lado, y más importante aún, la existencia de estos dos tipos de pregunta demuestra una alta madurez del marco teórico. Muchas veces, y de manera simplista, estamos tentados en suponer que las cosas buenas se logran cuando "las cosas se hacen bien". Desde esta perspectiva, un proceso de baja calidad es el resultado simple de no haber hecho suficientemente bien las cosas que tienen efectos positivos. Sin embargo, la realidad humana es mucho más compleja. En muchos, si no en la mayoría de los procesos, se puede dar una situación en la que se invierte una cantidad considerable de esfuerzo en hacer cosas que tienen efectos directamente negativos. Entonces, un proceso de baja calidad puede no ser simplemente efecto de una ausencia de acciones positivas, sino también efecto de una acción deliberada y eficaz en pro de un resultado mediocre. Infortunadamente, la educación es uno de esos campos en los cuales la acción deliberada y eficaz en pro de resultados insatisfactorios no solo es posible, sino también frecuente. Los educadores son personas por lo general muy activas; la frecuencia con la que se clama por reformas educativas, que fungen como contrarreformas a cambios anteriores, es un indicador de que mucha de esta actividad logra de manera exitosa resultados indeseados. En el CEQ, entonces, la presencia de preguntas negativas como positivas refeja que los aspectos negativos de entornos de aprendizaje son genuinos e independientes de los aspectos positivos. Dicho de otra manera, una asignatura puede tener una cantidad de características negativas y no solo ausencia de características positivas.

La clase de investigación que se desarrolla es de tipo descriptivo metodológico, de carácter métrico, que se sintetiza a través de un análisis multiva-riado de componentes principales. Este análisis permite encontrar la interdependencia entre las 25 variables originales y reducir su dimensiona-lidad a cinco principales componentes, los cuales responden con los propuestos en las versiones más recientes de la literatura sobre el Course Experience

Questionaire (CEQ). Estos componentes se definen como: buena enseñanza, metas claras, evaluación apropiada, destrezas/competencias, carga de trabajo apropiada. Adicionalmente, se contempla una pregunta genérica referente a la calidad de la asignatura.

La tabla 1 relaciona los 25 indicadores asociados a los cinco componentes identificados. Es importante notar que el cuestionario que se entrega a los estudiantes no relaciona los componentes y no agrupa los indicadores como en esta tabla se presentan.

Finalmente, para efectos del análisis comparativo, se construye un índice que relaciona el número de acuerdos y el de desacuerdos. El valor mínimo y máximo que toma este índice está entre 0 y 100. Por tanto, un índice cercano a 100 nos muestra, por así decirlo, "experiencia de aprendizaje exitosa", y un índice próximo a 0 nos señala que la experiencia de aprendizaje es desfavorable. El punto de equilibrio de 50 muestra un efecto "neutral" en el resultado del proceso de aprendizaje del estudiante.

Resultados

La aplicación del CEQ recoge la percepción de los estudiantes que toman asignaturas ofrecidas por la Escuela de Ciencias Humanas (ECH) y arroja algunos resultados muy interesantes. En la presentación de estos nos concentraremos en la capacidad expresiva del instrumento; es decir, en la capacidad del CEQ de mostrar un cuadro diferenciado de la calidad de la enseñanza en los ciclos y en las áreas curriculares de una unidad académica, en este caso, la ECH.

La gráfica 1 ("Promedios agregados") muestra los promedios de todas las aplicaciones del cuestionario para cada uno de sus componentes; es decir, un estado general de la calidad de la enseñanza para el periodo estudiado. Lo primero notable es que el promedio de los valores se ubica en 65,6, lo cual, en la escala que va de 0 a 100, sig-nifica un valor medianamente alto y en general una buena evaluación. Los componentes "Evaluación apropiada", "Buena enseñanza" y "Calidad"se ubican por encima del promedio general, mientras que "Carga de trabajo" y "Competencias" están por debajo de este. En cuanto a este último componente, su menor calificación se debe a que los indicadores "Esta asignatura me ayudó a desarrollar mi habilidad para el trabajo en grupo" y "Esta asignatura mejoró mi habilidad para la escritura" presentaron un índice con un registro muy cercano al punto de equilibrio (50), lo que significa que el estudiante percibe que no está seguro o piensa que no son aplicables estos ítems en la asignatura evaluada. Tal es el caso de la escritura en las asignaturas de matemáticas ofrecidas por la ECH o aquellas relacionadas con pensamiento formal (lógica, teoría de conjuntos, estructuras matemáticas y algoritmos). En cuanto al componente "Metas claras", prácticamente se comporta muy similar al promedio general.

El comportamiento del componente "Calidad general" es especialmente interesante, y se ubica muy por encima del promedio. Se podría pensar que, desde el marco teórico, el promedio de los componentes (65,6) debería ser el indicador general de calidad. Sin embargo, al introducir un indicador de calidad general independiente en el cuestionario, se invita al estudiante a incluir una evaluación general de su proceso de enseñanza. Del hecho de que los estudiantes evalúen la calidad general por encima del promedio de sus componentes se deriva claramente que para ellos la calidad de su proceso de aprendizaje es más que la suma (o el promedio) de sus partes.

No obstante, si se analiza la evaluación según si la asignatura pertenece al ciclo básico, al ciclo profesional o al grupo de asignaturas de matemáticas, algunos componentes no se comportan siempre de manera uniforme durante el periodo de observación. Con relación al componente de "Calidad" (gráfica 2), el índice se comporta uniformemente en un rango de 70-80 a lo largo del periodo analizado, con una ligera caída del ciclo básico en el último periodo de análisis. El componente "Buena enseñanza" (gráfica 3), en estos tres grupos de estudio, es menos estable, pero siempre se mantiene dentro del rango de variación 60-70.

La gráfica 4 ("Evaluación apropiada") presenta el mismo comportamiento en los tres grupos de análisis, con una diferencia positiva en el ciclo profesional, en lo que respecta al primero y último periodos de evaluación. Es importante destacar el comportamiento de "Metas claras" de la gráfica 5, donde se evidencia una tendencia a la mejoría, en las tres categorías de comparación. Por otra parte, "Carga de trabajo apropiada" (gráfica 6) se mantiene constante en el ciclo básico, y el comportamiento es menos estable en el ciclo profesional y en Matemáticas. Finalmente, la gráfica 7 ("Competencias"), como se dijo anteriormente, es la más baja en su evaluación de todos los componentes anteriores, con un rango de variación entre 50-60.

Adicionalmente, es interesante notar que grupos de asignaturas tan dispares como las pertenecientes al ciclo básico de formación humanista, a los ciclos profesionales de formación disciplinar y al área de matemáticas obtengan evaluaciones que fluctúen de manera semejante a lo largo de los semestres. Como se aprecia especialmente bien en la gráfica 5 ("Metas claras"), en las tres áreas curriculares los promedios suben y bajan de manera "coordinada", y las tres líneas correspondientes muestran tendencias concordantes, igual como sucede con "Buena enseñanza" y "Evaluación apropiada", mientras que en los componentes "Calidad", "Evaluación apropiada" y "Competencias" esta coordinación de tendencias existe, pero de manera menos marcada. Esto insinúa que el CEQ, incluso después de haber sido reformulado para referirse específicamente a asignaturas y profesores individuales, posiblemente registre en sus agregados tendencias generales de la institución y de su alumnado, que se refejan de manera uniforme en los diagramas de líneas.

Los programas académicos de la Escuela de Ciencias Humanas no solo están estructurados por ciclos (básico y profesional), sino también por líneas, que ordenan las asignaturas de acuerdo con contenidos. Las líneas pertenecen, a su vez, a dos grupos: competencias y áreas problemáticas. En el grupo de las competencias se encuentran las asignaturas que desarrollan competencias comunicativas (lectoescritura) y de pensamiento formal (desde lógica hasta métodos cuantitativos y cualitativos). En el grupo de las áreas problemáticas se hallan asignaturas sobre problemas del tiempo y del espacio, de la ciencia y de la tecnología, de la sociedad y del arte. Al aplicar el CEQ, se notó que las áreas son evaluadas de manera diferente por los estudiantes, con algunas sorpresas, como lo muestra la gráfica 8 ("Promedio por áreas curriculares").

Si nos concentramos en el promedio de todos los componentes de "Indicador general", entonces parece confirmarse una tendencia universal de evaluación: las asignaturas con contenidos formales y científicos (Ciencia y tecnología, Competencias de pensamiento formal) son evaluadas menos bien que asignaturas con contenidos de sociales y de humanidades. Sin embargo, la gráfica cambia cuando se observa el promedio que surge de la pregunta directa sobre la calidad de la asignatura, "Indicador de calidad". Ahora, "Artes", "Ciencia y tecnología" y "Tiempo y espacio" son las áreas mejor evaluadas. Les siguen las dos áreas de competencias, y es interesante notar que las competencias formales ahora obtienen la misma evaluación que las de lectoescri-tura. El índice promedio general más bajo se ubica en aquellas asignaturas que se enmarcan dentro de competencias de pensamiento formal, dato que se contrasta cuando se evalúa acerca de la calidad en esta área curricular, cuyo valor es de 70. En otras palabras, si bien los estudiantes "riñen" con aspectos particulares de las asignaturas de "Ciencia y tecnología", consideran que su calidad general es muy alta. Una diferencia similar se obtiene en el caso de "Competencias de pensamiento formal" y "Artes". En el caso de las asignaturas de "Sociedad", sin embargo, es despreciable.

Otro resultado interesante se muestra en la gráfica 9 ("Componentes por áreas curriculares"), que contrasta el promedio de la evaluación del desarrollo de competencias con otros dos componentes, "Buena enseñanza" y "Carga de trabajo apropiada".

En la mayoría de las áreas, "Competencias" está a la par con "Buena enseñanza", mientras que "Carga de trabajo apropiada" está por debajo de estas dos. La única excepción es el área de "Arte", en la cual "Buena enseñanza" y "Carga de trabajo apropiada" son evaluadas muy superiormente, mientras que el desarrollo de competencias tiene la menor evaluación de la serie. Esto parece indicar una interesante relación entre estos tres componentes de la calidad: la "Buena enseñanza" apoya el desarrollo de competencias, siempre y cuando la carga de trabajo sea percibida por los estudiantes como algo más alta de lo deseable. Paralelamente, esta relación se contrastó a través del coeficiente de correlación de Sperman, el cual mostró una fuerte relación (r = 0.72 p-valor = 0.000) entre "Buena enseñanza" y "Competencias".

Conclusión

El currículo de los programas académicos de la Escuela de Ciencias Humanas es muy estructurado. Primero, se divide en dos ciclos, uno básico y varios profesionales. En los primeros cuatro semestres, los estudiantes toman todas sus asignaturas en este ciclo básico propedéutico, antes de pasar al ciclo profesional de su respectiva carrera. Durante el ciclo básico, las asignaturas son de carácter "liberal"; es decir, están orientadas por problemas y basadas en libros "culturalmente ricos". Los ciclos profesionales son de carácter disciplinar y utilizan métodos y materiales de carácter igualmente disciplinar.

Segundo, el currículo está dividido en líneas que agrupan asignaturas de acuerdo con sus contenidos, problemáticas y metas de formación en competencias. Dado el carácter interdisciplinario de los planes de estudio, estas líneas abarcan todo el espectro de la experiencia humana (el tiempo y el espacio, la ciencia y la tecnología, la sociedad y las artes), al mismo tiempo que desarrollan las dos competencias culturales y académicas fundamentales (lectoescritura y pensamiento formal).

Esta riqueza estructural es difícil de administrar, ya que involucra objetivos educativos, métodos y materiales diferentes. De esta manera, es de crucial importancia contar con un instrumento de evaluación de los efectos de esta estructura en el aprendizaje estudiantil, que permita discriminar de manera adecuada los diferentes componentes del entorno docente y que pueda mostrar diferencias de desempeño de los programas, en relación con estos componentes. En ese sentido, entonces, los programas académicos de la ECH son un campo ideal de investigación sobre métodos de evaluación de asignaturas, dada precisamente la alta estructuración de los programas y las diferencias marcadas entre asignaturas pertenecientes a diferentes ciclos y/o líneas curriculares.

Lo que esta investigación ha mostrado, con la aplicación del CEQ a lo largo de varios semestres, es que el instrumento tiene un poder expresivo adecuado, incluso después de su reformulación para la evaluación de asignaturas individuales. Por un lado, se ha podido demostrar que el CEQ muestra diferencias entre las distintas partes de la estructura curricular de la ECH, diferencias que son de esperar dada la diversidad de contenidos, métodos y objetivos. Por otro lado, el instrumento discrimina entre varios componentes de la calidad educativa y un indicador general de calidad, lo que constituye posiblemente su mayor aporte a la administración de la calidad educativa. El indicador general de calidad permite, de manera clara, evaluar el impacto de los procesos curriculares en el aprendizaje de los estudiantes y, de este modo, obtener una visión puntual del desempeño global del currículo. Para poder formular programas de mejoramiento, los componentes particulares del CEQ permiten, de manera precisa, hacer el seguimiento de aspectos particulares del desempeño de las asignaturas y constatar su desarrollo a través del tiempo. Finalmente, el CEQ permite encontrar (co-)relaciones entre diferentes componentes de la calidad educativa, como se pueden dar en el desarrollo de los programas; así, por ejemplo, los datos de esta investigación insinúan una interrela-ción entre "Buena enseñanza", "Carga de trabajo apropiada" y "Competencias". La pregunta sobre posibles correlaciones sistemáticas entre diferentes componentes del CEQ es de supremo interés, ya que permitiría formular programas de mejoramiento integrales para fomentar de manera dirigida componentes clave del aprendizaje, tales como el desarrollo de competencias.

¹ Ver Coffey ft Gibbs. The Evaluation of the Student Evaluation of Educational Quality Questionnaire (SEEQ) in UK Higher Education. Assesment and Evaluation in Higher Education, 2001, vol. 26, No. 1, p. 89-90. La traducción es nuestra.

² Ramsden, Paul. Learning to Teach in Higher Education. London: Routledge, 1992. Para una discusión más técnica, que incluye cuestiones tales como la validación del instrumento y su confabilidad, ver también Ramsden, Paul. A Performance Indicator of Teaching Quality in Higher Education: The Course Experience Questionnaire. Studies in Higher Education, 1991, vol. 16, No. 2, p. 129-150.

³ Para la realización de esta investigación, los autores contaron con la ayuda invaluable de varias personas, a las que expresan su gratitud. Jaime Escobar comentó con los autores la importancia del marco teórico que fundamenta el Course Experience Questionaire, y así le dio el impulso inicial a esta investigación. Irina Mendoza y Andrés Torres se ocuparon de la logística de las encuestas durante los varios semestres que duró la evaluación, y Martha Castañeda, Lucila Rojas, Diana Guerrero y Diana Carolina Navarrete llevaron a cabo las encuestas en cientos de cursos. Sin su dedicación, los datos no hubieran podido ser recogidos.

⁴ Este resumen se basa en lo expuesto en Ramsden, Learning to Teach in Higher Education, especialmente en el capítulo 4, "Approaches to Learning". Comp. también Trigwell, Keith; Prosser, Michael. Improving the Quality of Student Learning: The Influence of Learning Context and Student Approaches to Learning on Learning Outcomes. Higher Education, 1991, vol. 22, No. 3, y Shulman, Lee S. Taking Learning Seriously. Change, 1999, vol. 31, No. 4.

⁵ Ver Ramsden, Learning to Teach in Higher Education, p. 39.

⁶ Ver Sadler, D. Royce. Evaluation and the Improvement of Academic Learning. The Journal of Higher Education, 1983, vol. 54, No. 1, p. 60-61. La traducción es nuestra.

⁷ Marton, F., y Sáljó, R. On qualitative differences in learning - Outcome as a function of the learner's conception of the task. British Journal of Educational Psychology, 1976, No. 46, p. 115-27. Citado en Ramsden, Learning to Teach in Higher Education, p. 41 y siguientes.

⁸ Para las tendencias del sistema de educación superior del Reino Unido y de Australia, comp. Schreiterer, Ulrich; Witte, Johanna. Modelle und Sze-narien für den Export deutscher Studienangebote ins Ausland: Eine international vergleichende Studie im Auftrag des DAAD. Gütersloh: Centrum für Hochschulentwicklung / Deutscher Akademischer Auslandsdienst, 2001, especialmente el capítulo 2; y Casey, R. John; Gentile, Patricia; Bigger, Stephen W. Teaching Appraisal in Higher Education: An Australian Perspective. Higher Education, 1997, vol. 34, No. 4.
Sobre las dificultades relacionadas con rankings universitarios internacionales, comp. Dill, David D.; Soo, Marja. Is There a Global Definition of Academic Quality? A Cross-National Analysis of University Ranking Systems. Reporte técnico del programa de investigación Public Policy for Academic Quality, The University of North Carolina at Chapel Hill, Department of Public Policy, 2004.

⁹ Comp. Ramsden, Paul. A Performance Indicator of Teaching Quality in Higher Education: The Course Experience Questionnaire. Studies in Higher Education, 1991, vol. 16, No. 2, p. 129-150.

¹⁰ Comp. Wilson, Keithia L.; Lizzio, Alf; Ramsden, Paul. The Development, Validation and Application of the Course Experience Questionnaire. Studies in Higher Education, 1997, vol. 22, No. 1, p. 33-53.

¹¹ Comp. McInnis, Craig; Griffin, Patrick; James, Richard; Coates, Hamish. Development of the Course Experience Questionnaire (CEQ), Melbourne: University of Melbourne, 2001. Posteriormente publicado en Quality in Higher Education, 2003, vol. 9, No. 3, p. 259-266.

Bibliografía

AYRES, Q. Whitfeld; BENNET, Ronald W. University Characteristics and Student Achievement. En: The Journal of Higher Education, 1983, vol. 54, No. 5, p. 516-532.        [ Links ]

CASEY, R. John; GENTILE, Patricia; BIGGER, Stephen W. Teaching Appraisal in Higher Education: An Australian Perspective. En: Higher Education, 1997, vol. 34, No. 4, p. 459-482.        [ Links ]

COFFEY, Martin, & GIBBS, Graham. The Evaluation of the Student Evaluation of Educational Quality Questionnaire (SEEQ) in UK Higher Education. Assesment and Evaluation in Higher Education, 2001, vol. 26, No. 1, p. 89-93.        [ Links ]

DILL, David D.; SOO, Marja. Is There a Global Definition of Academic Quality? A Cross-National Analysis of University Ranking Systems. Reporte técnico del programa de investigación Public Policy for Academic Quality, The University of North Carolina at Chapel Hill, Department of Public Policy, 2004.        [ Links ]

HAND, Terry; TREMBATH, Kerry. The Course Experience Questionnaire Symposium, 1998. Australia: The University of New South Wales/The Department of Education, Training and Youth Affairs, 1999.        [ Links ]

KEMPER, David; GOW, Lyn. Orientations to Teaching and Their Effect on the Quality of Student Learning. En: The Journal of Higher Education, 1994, vol. 65, No. 1, p. 58-74.        [ Links ]

MCINNIS, Craig; GRIFFIN, Patrick; JAMES, Richard; COATES, Hamish. Development of the Course Experience Questionnaire (CEQ). Melbourne: University of Melbourne, 2001. Posteriormente publicado en Quality in Higher Education, 2003, vol. 9, No. 3, p. 259-266.        [ Links ]

RAMSDEN, Paul. Learning to Teach in Higher Education. London: Routledge, 1992.        [ Links ]

RAMSDEN, Paul. A Performance Indicator of Teaching Quality in Higher Education: The Course Experience Questionnaire. En: Studies in Higher Education, 1991, vol. 16, No. 2, p. 129-150.        [ Links ]

SADLER, D. Royce. Evaluation and the Improvement of Academic Learning. The Journal of Higher Education, 1983, vol. 54, No. 1, p. 60-79.        [ Links ]

SCHREITERER, Ulrich; WITTE, Johanna. Modelle und Szenarien für den Export deutscher Studienangebote ins Ausland: Eine international vergleichende Studie im Auftrag des DAAD. Gütersloh: Centrum für Hochschulentwicklung/Deutscher Akademischer Auslandsdienst, 2001.        [ Links ]

SHULMAN, Lee S. Taking Learning Seriously. Change, 1999, vol. 31, No. 4, p. 10-17.        [ Links ]

TRIGWELL, Keith; PROSSER, Michael. Improving the Quality of Student Learning: The Influence of Learning Context and Student Approaches to Learning on Learning Outcomes. Higher Education, 1991, vol. 22, No. 3, p. 251-266.        [ Links ]

WILSON, Keithia L.; LIZZIO, Alf; RAMSDEN, Paul. The Development, Validation and Application of the Course Experience Questionnaire. Studies in Higher Education, 1997, vol. 22, No. 1, p. 33-53.        [ Links ]

Fecha de recepción: 27-VI-2008
Fecha de aceptación: 28-X-2008