INVESTIGACIÓN PEDAGÓGICA

Factores psicosociales asociados a la evaluación del docente¹

The Psycho-social Factors Associated with Teacher Assessment

Factores psicossociais associados á avaliagao do docente

Pablo Páramo
Doctor en Psicología, The City University of New York, Nueva York, Estados Unidos de América.Investigador, Universidad Piloto de Colombia, Bogotá, Colombia. Profesor Titular, Departamento de Postgrado, Universidad Pedagógica Nacional, Bogotá, Colombia. pdeparamo@gmail.com

Resumen

El trabajo que se presenta a continuación recoge los principales hallazgos de la revisión del estado del arte sobre los factores extraacadémicos que afectan la evaluación del profesor, y se propone una modalidad de entrevista para identificar de forma libre conceptos que usan los estudiantes para evaluar a sus profesores. Mediante el empleo de una entrevista en la clasificación libre de tarjetas que contienen los nombres de los profesores evaluados, el estudio muestra la participación de factores psicosociales o conceptualizaciones de las que se valen los estudiantes para evaluar a sus profesores. Se cuestiona al final la objetividad y validez de las evaluaciones que se hacen de los profesores, a partir de cuestionarios estructurados.

Palabras clave: evfaluación del docente, calidad de la educación, efectos psicológicos, estudiantes, proceso de interacción educativa (fuente: Tesauro de la Unesco).

Abstract

The following paper outlines the major findings of a state-of-the-art review of non-academic factors that influence teacher evaluations, and proposes an interview technique to identify freely the concepts students use to evalúate their teachers. Through interview on classification without cards that contain the ñames of the teachers being assessed, the study shows the psycho-social factors or conceptualizations students employ when evaluating their teachers. In the end, doubts are expressed about the objectivity and validity of teacher evaluations based on structured questionnaires.

Key words: Teacher evaluation, quality of education, psychological effects, students, educational interaction process (source: Unesco Thesaurus).

Resumo

Este artigo recolhe os principáis achados do estado da arte acerca dos factores extra-académicos que afeitam a avaliagao do professor, e propóe urna modalidade de entrevista para identificar livremente conceitos usados pelos estudantes para avahar os seus professores. Aplicando urna entrevista na classificacáo livre de tarjetas que contém os nomes dos professo-res avahados, o estudo mostra a participando de factores psicosociais ou conceptualizacóes que aproveitam os estudantes para avahar os seus professores. Ao final, questiona-se a objetividade e a validez das avaliacóes aos professores com questionários estruturados.

Palavras-chave: avaliagao do docente, qualidade da educagão, efeitos psicológicos, estudantes, processo de interagao educativa (fonte: Tesouro da Unesco).

Introducción

El discurso sobre la calidad de la educación ha impulsado, o al menos ha estimulado, la recolección de trabajos de investigación sobre la evaluación de docentes en los últimos años. En la literatura sobre el tema se destacan dos aspectos fundamentales, a saber: la importancia de la evaluación del docente, con miras a mejorar la calidad de la educación, y el carácter multidimensional del trabajo docente y, por lo tanto, de su evaluación.

Aunque uno de los tópicos más investigados en los procesos educativos tiene que ver con la evaluación, lo cual lo confirman cerca de los 2000 artículos que se han publicado y registrado en la base de datos Proquest, hasta hace relativamente poco se ha definido la evaluación del docente como uno de los tópicos definitorios dentro de la efectividad de la enseñanza en la universidad.

Entre los aspectos que se destacan en la revisión del estado del arte sobre el tema están: la postura epistemológica con que se toma la evaluación, la relatividad del concepto de calidad de la educación, el cuestionamiento sobre la función que cumple la evaluación del docente en la institución educativa, la insuficiencia de modelos que guíen los procesos evaluativos, la inconformidad que genera dentro del gremio el que se le evalúe, la importancia de incorporar indicadores cualitativos a las mediciones cuantitativas tradicionales o de cuestionario, y la necesidad de tomar en consideración las variables psicológicas o extraacadémicas que entran en juego cuando los estudiantes hacen la evaluación de sus profesores.

Son pocas las investigaciones que se centran en ir más allá de los diferentes tipos de instrumentos que se aplican para evaluar al docente, y ver los sesgos que pueden influir en los resultados de la evaluación. Se podría decir que por las investigaciones halladas en este tópico, los autores más representativos son Feldman (1986), Abrami (1989), Marsh (1982, 1984, 1997, 1999), Cashin (1990). Los estudios se centran solamente en la evaluación en el ámbito universitario, y son inexistentes aquellos relacionados con otros niveles de educación, como el nivel medio o de primaria. En el medio hispano, especialmente latinoamericano, tan solo un investigador, García, ha realizado un estudio exhaustivo (2001²), que compila y compara los resultados de investigaciones en las culturas norteamericana e inglesa. Dentro de las bases de datos revisadas, Psyclit, Proquest (Psychological Journals, Educational Journals y Social Science Journals), Google, no hay artículos o publicaciones de investigaciones realizadas en Colombia sobre este tópico.

Si bien se ha dado un adelanto importante en revisiones documentales y reflexiones sobre la evaluación, y en particular sobre los fines que se persiguen con la evaluación del profesor universitario y sus fundamentos epistemológicos, son pocos los trabajos publicados que den cuenta del desarrollo de propuestas o modelos evaluativos que propongan instrumentos para capturar, al menos, parte de la multidimensionalidad de la labor del profesor universitario.

El propósito de este trabajo de investigación fue identificar y poner a prueba una estrategia metodológica sensible y válida, que sea capaz de capturar las percepciones subjetivas de quien evalúa, las cuales no han sido tenidas en cuenta en las aproximaciones tradicionales. Y con esta estrategia metodológica, explorar las conceptualizaciones, expectativas o condicionantes psicológicos que median la valoración del docente por parte del estudiante.

Delimitación del problema y objetivo

Aunque se han construido varios instrumentos para tener una medición de la efectividad del docente a partir de las percepciones del alumno, una de las críticas que se hacen con mayor frecuencia es que al ser ellos de tipo cuantitativo, principalmente, los resultados que arrojan no se constituyen en un indicador válido de lo que se pretende evaluar, puesto que los hallazgos pueden estar influenciados más por características propias del estudiante, por la forma en que él siente que fue evaluada su ejecución por parte del docente, o por sesgos que tienen que ver con la manera como el alumno percibe al profesor, aspectos que no necesariamente se vinculan a lo académico.

Factores tales como el género, la personalidad, el tipo de trato, etc., pueden marcar una diferencia en cómo se realiza la evaluación, y afectan que la retroalimentación esperada por parte del estudiante realmente sea efectiva. En consecuencia, una de las tareas principales en este trabajo investigativo consistió en revisar el estado del arte sobre los factores psicosociales o extraacadé-micos que influyen el la valoración del docente, e identificar y poner a prueba un método de recolección de datos sobre la percepción que tienen los estudiantes acerca de sus docentes, que complemente la información recolectada de manera sistemática respecto a las competencias que debe tener un profesor, y que además permita identificar la influencia que ejercen los factores psico-sociales o extraacadémicos en la evaluación de sus profesores. Por consiguiente, en la presente investigación se preguntó por los distintos criterios a los que recurren los estudiantes de forma libre cuando evalúan a sus docentes.

Revisión de la literatura

Especial interés reviste, para justificar el trabajo presentado aquí, el estado de la investigación sobre los factores psicológicos del estudiante, que inciden en la evaluación del docente. La revisión de la literatura sobre el tema muestra que la valoración que hacen los estudiantes de sus profesores está mediada por factores de empatía, prejuicios, calificaciones o experiencias inmediatas con el profesor, que inciden en una valoración “objetiva” de su desempeño (Greenwald y Gilmore, 1997; Cashin, 1998).

García (2001) anota, por ejemplo, que a la hora de evaluar al profesorado universitario es preciso tener en cuenta que en el aprendizaje influyen muchos aspectos que no dependen del profesor, sino del propio alumno o de la estructura del sistema educativo, tales como la falta de preparación básica para seguir la carrera elegida, la carencia de conocimientos previos sobre una materia determinada, el desinterés para estudiar, la desmotivación personal o la falta de esfuerzo, las deficiencias en hábitos de estudio, las fallas en la disponibilidad de medios materiales o en el acceso a recursos educativos, etc.

De este modo, la eficacia docente puede ser percibida de diferentes maneras, de acuerdo con las características de los alumnos. Para algunos, un buen profesor es el que se enfoca más a la tarea; para otros, el que se encauza más a la persona. Los factores extraclase o sesgos en los cuestionarios de evaluación de la docencia por los alumnos, los define Marsh (1984) como todas aquellas variables no relacionadas con la instrucción, que afectan la efectividad docente en el salón de clase. Según este autor, la mayoría de estudios sobre estos sesgos son a-teóricos y tienen carencias en su metodología. Entre otros aspectos se señalan: a) la confusión de correlación con causalidad; b) el empleo de una inapropiada unidad de análisis; c) el descuido en la consideración de la naturaleza multivariada de las evaluaciones del alumno sobre los cursos; d) la definición inapropiada de lo que se considera como sesgos, y e) la inapropiada manipulación experimental en los estudios de laboratorio.

No obstante, las investigaciones más actuales han tratado de llevar una metodología más rigurosa en el estudio de los factores extraacadémicos o sesgos en la evaluación del profesorado universitario por parte de los estudiantes (Basow, 2000; Miley, 2003). Para García (2001), más que sesgos, estos factores deben verse como variables intervinientes, inherentes al mismo proceso de la docencia y a su evaluación.

En la misma dirección, Cashin (1995) sugiere que la forma en que se ha definido el término de “sesgos” sirve para que haya una gran confusión en la literatura; por lo tanto, propone que más que hablar de sesgos es importante referirse en términos de variables específicas, que requieren ser o no controladas. Ello señalaría que hay aspectos que deben tenerse en cuenta, no solo en la evaluación de la efectividad del docente, sino en el tipo de evaluación que se desee realizar.

La literatura presenta un número de variables que no hacen referencia de manera directa a los puntajes de los estudiantes, y que no necesariamente deben verse como sesgos: el primer grupo de estas variables se relaciona con las características del instructor, e incluyen: edad y experiencia en la docencia (Marsh & Hocevar, 1991), género (Marsh & Roche, 1997), raza (Li, 1993, citado por Cashin, 1995), personalidad (Aleamoni, 1987; Braskamp & Ory, 1994; Centra, 1993; Murray, 1983), estatus en la facultad (Arreola, Centra [1993], 1995; Marsh & Roche, 1997) y producción investigativa (Centra, 1993; Feldman, 1987). El segundo grupo de variables se centra en las características del estudiante, e incluyen: edad (Centra, 1993), género (Marsh & Roche, 1997), nivel (Mc Keachie, 1979) y personalidad (Jenkins & Down, 2001; García, 2001). El grupo final de variables incluye: tamaño del grupo (Aleamoni, 1987; Feldman, 1984), hora (Alea-moni, 1987) y época del semestre durante el cual se realizan las evaluaciones. Se han señalado otras variables que mejoran las puntuaciones de los estudiantes y que pueden mejorar los procesos de aprendizaje, como el entusiasmo y la expresividad del instructor (Aleamoni, 1987; Marsh & Roche, 1997; Marsh & Ware, 1982; Miley & Gonsalves, 2003), y la cantidad de trabajo o la dificultad del curso (Marsh & Roche, 1997).

Las variables que se van a revisar a continuación son principalmente de tipo psicológico, que pueden afectar la forma como se realiza la evaluación y los resultados esperados de la misma. Existen procesos tanto del docente como del alumno, que inciden en las respuestas que se dan ante los instrumentos de evaluación y que son independientes de las características propias del instrumento o de la metodología que se haya empleado en el proceso de la evaluación.

Variables del profesor

Dentro de las variables psicológicas, son varios los elementos del profesor que se ha propuesto que pueden incidir en la motivación del estudiante y, por consiguiente, en su aprendizaje y desempeño académico. Entre las más estudiadas se encuentran la personalidad, las actitudes, el género, su categoría y su grado de experiencia.

Personalidad

La personalidad del profesor es un factor que influye las actitudes, las conductas y las percepciones (Combs, 1969, citado por Jenkins & Down, 2001). A pesar de ello, la relación de la personalidad con la evaluación que los estudiantes hacen de los cursos ha sido estudiada en forma limitada; así como hay investigaciones que muestran una relación con la personalidad del investigador (Feldman, 1986; Renaud & Murray, 1996, citado por García, 2001), hay algunas que no muestran una relación entre las dos (Centra, 1993; Braskamp y Ory, 1994). De igual forma, hay investigaciones que evidencian una relación entre la personalidad del profesor y la evaluación del estudiante, dependiendo del tipo de curso que se haya realizado (Murray, Rushton & Paunonen, 1990) y de los contenidos y propósitos del mismo.

La inconsistencia de los estudios puede deberse a uno de los factores más importantes cuando se definen las variables que se van a investigar, como lo señala García (2001); lo primeros resultados que se obtuvieron, hacia las décadas de los años 50 y 60, carecían de una claridad sobre lo que se concebía como personalidad en investigaciones de este tópico.

Superado este impasse, los estudios que se han realizado al respecto, desde los años 70, señalan ciertos rasgos como importantes en la evaluación que realizan los estudiantes. La metodología de estas investigaciones se centra en averiguar cuáles son los profesores que los estudiantes consideran como los mejores o los peores; los mejores profesores son descritos como amables dentro y fuera del salón, de buen humor, alegres, sonrientes, jóvenes (García y Rugarcía, 1985, citados por García, 2001), cálidos, entusiastas y extrovertidos (Basow & Silberg, 1987; Basow, 2000). En oposición a ello, los peores profesores se describen en las mismas poblaciones como apáticos, pasivos, déspotas, impuntuales, tienen poco interés por los alumnos y se creen “sabelotodo”.

Otros investigadores utilizan instrumentos estructurados y correlacionan las variables que miden la efectividad del docente con rasgos de personalidad. García presenta dos estudios significativos, en los que se informa que algunos rasgos del profesor, como liderazgo, extroversión, objetividad y bajo nivel de ansiedad, predicen el 67% de la varianza en los cuestionarios de evaluación, y que los profesores mejores evaluados son vistos como no autoritarios y humildes, o como orientados hacia los alumnos; es decir, el docente inspira confianza, respeta sus opiniones, es sensible a sus dificultades, es trabajador y es amigable. Esta última característica es la más significativa a nivel estadístico.

En un estudio más reciente, Jenkins y Downs (2001) relacionaron un inventario de personalidad (el CPI - Inventario Psicológico de California) con uno de evaluación de la enseñanza (el SEEQ - la evaluación estudiantil de la calidad educativa); los grupos de pregrado le daban una mayor puntuación a los instructores que eran adaptables, afectivos y sensibles a las necesidades de otros, correlacionando en forma significativa con las dimensiones de aprendizaje, entusiasmo, organización y compromiso, mientras que los grupos de postgrado le daban un mayor puntaje a los instructores que eran racionales, convencionales, independientes y prácticos. Como se puede observar, la forma de evaluar al docente estaba mediada por su personalidad, pero influenciada fuertemente por el nivel del curso; hubo una gran diferencia entre los rasgos que se valoraron como mejores entre los estudiantes de pregrado y de postgrado.

Estos resultados son paralelos a los hallazgos de Murray, Ruhton y Panuoren (1990); en un estudio similar, ellos hallan que la relación entre la personalidad del instructor y la evaluación que hace el estudiante del curso se relaciona con el tipo de curso, en este caso las correlaciones más altas con la efectividad, en los estudiantes de pregrado, eran los rasgos de liberalidad y extroversión, y en los estudiantes de postgrado, los de logro y resistencia. Las observaciones sobre la relevancia que dan los estudiantes de pregrado a la sensibilidad y al afecto también se obtuvieron en la revisión de Cas-hin (1995), que encuentra estas características altamente asociadas a las evaluaciones de los cursos.

Se puede decir que los rasgos que los estudiantes más valoran en un docente se relacionan con el grado de confianza que el estudiante establezca con ellos y con un sentido de liderazgo profesional, dando prioridad a las relaciones interpersonales y al sentido del logro.

Actitudes

Aunque no propiamente reconocidas como rasgos de personalidad, las actitudes que pueda tener el profesor dentro del contexto académico pueden ser vistas como deseables o indeseables, y afectan la forma en que los estudiantes lo evaluarán; esta afrmación es sustentada a través de un estudio realizado por Miley y Gonsalves (2003), cuyos resultados indican que los hábitos más desagradables para los estudiantes son enseñar en una forma desorganizada; hablar muy rápido, sin que ellos puedan procesar la información; leer con un tono de voz monótono, y degradar a los estudiantes. La dimensión de la organización es uno de los factores que más se perciben en otros estudios (Gusthart, Harrison , Ryan & Moore, 2000; Ryan & Harrison, 1995).

Por el contrario, los hábitos que los estudiantes aprecian son: tratarlos como iguales, sonreír y tener una actitud amigable, ser accesible en horas diferentes a las destinadas para la atención en la facultad, permitir encuentros con los estudiantes fuera de las horas de clase y estar disponible antes y después de clase. Estos hábitos no solo son preferibles, sino además se perciben como factores que facilitan el aprendizaje.

En este tipo de estudios se sugiere que no solo hay un desconocimiento de los profesores sobre cómo los estudiantes los perciben, sino que además hay una diferencia entre las actitudes que son valoradas por las instituciones y por los estudiantes. Mientras que las primeras creen que factores tales como el control en el salón de clase, el dominio del grupo, el entretener a los estudiantes, ser símbolos de virtud o ser amigables con ellos van a tener un efecto importante en la enseñanza, los estudiantes desean más igualdad y respeto por parte de sus profesores (Appleby, 1990; Gorko, Kough, Pignata, Kimmel y Elson, 1994, citados por Miley y Gonsalves, 2003). A partir de lo anterior, se aprecia que no solo las habilidades interpersonales pueden ser aspectos clave en las puntuaciones que obtiene el profesor, sino habilidades de otro tipo, tales como la comunicación y la asertividad, pueden tener un efecto positivo o negativo al respecto.

Género del docente

Recientemente se ha notado un mayor interés, dentro de los ámbitos laborales, en la apreciación de los valores y las conductas que se consideran más femeninos; aspectos tales como compasión, ternura, calidez, toma de decisión participativa, estilo de compromiso asociado al manejo del conficto y simpatía están siendo foco de atención dentro de los resultados organizacionales. Como lo anotan Das y Das (2001), la percepción general es que las organizaciones tradicionales, asociadas generalmente a estilos directivos lineales y altamente controlados, que expresan más características masculinas, no tienen ningún éxito. Las organizaciones de hoy en día se han constituido en ambientes altamente educativos y que requieren adaptaciones rápidas al cambio, lo cual exige un estilo de liderazgo interactivo, que aunque no es único en la mujer, parece ser más visto en ella debido a que su experiencia de socialización está más dispuesta a ello.

Las universidades son, independientemente del género, ambientes importantes para la socialización profesional, el aprendizaje y la internalización de las actitudes; como bien se sabe, el modela-miento del rol es un contribuyente significativo en el aprendizaje de roles en estudiantes universitarios, y es probable que los docentes sean modelos importantes en los roles de género; parece posible que los roles de género exhibidos por los profesores puedan afectar la evaluación del docente. La revisión de la literatura sobre género y roles de género, en el contexto universitario, muestra que a pesar de que hay varios estudios sobre género (Basow & Basow, 2000; Basow y Silberg, 1987) y rol de género (Das & Das, 2001), los resultados que se han obtenido son contradictorios.

Las diferencias que se han detectado, entre las evaluaciones realizadas a las profesoras y los profesores, sugieren un estereotipo de género donde los resultados favorecen algunas veces a las mujeres y otras a los hombres; las diferencias parecen estar más marcadas en factores subjetivos y expresivos del profesor, y menos en los factores objetivos. La expresividad emocional es importante para algunos estudiantes (Basow, 2000, y Basow y Silberg, 1987); sin embargo, esta expresividad se define diferente para los hombres y las mujeres: en ellos se asocia a características como dinamismo, entusiasmo, pasión, fervor, y en ellas a la ternura, la responsabilidad y la simpatía.

Las actitudes acerca de la expresividad emocional parecen estar ligadas a estereotipos culturales implícitos respecto al género, pero afectan los resultados obtenidos en las evaluaciones docentes. Los estudios, de igual forma, hallan diferencias entre quiénes son mejor evaluados, si los profesores o las profesoras. En el análisis del estado del arte de Feldman, de 39 estudios, en 28 las profesoras eran mejor evaluadas que los profesores; las dimensiones que se relacionaban con ellas eran la sensibilidad y preocupación por el nivel del grupo y su progreso, así como la apertura a las opiniones de otros, disponibilidad y ayuda. Las dimensiones en que los hombres eran mejor valorados fueron la claridad y el conocimiento de la materia. García (2001) cita otro estudio con resultados similares, y señala que los profesores le dan mayor importancia a los resultados de la evaluación de los alumnos que las profesoras, y que estas son más propensas a solicitar ayuda para mejorar su práctica docente.

Un aspecto adicional en los resultados, respecto al género, está en la interacción del género de los estudiantes con el género de los profesores. El estudio de Basow y Basow (2000) se centra en medir cuál es el mejor o el peor profesor, y luego establecer la relación de estos adjetivos a través de una escala tipo Likert, discriminando los factores de sexo. Los resultados muestran, en general, que los estudiantes hombres valoran más dimensiones en los profesores hombres que en las profesoras, y que los estudiantes femeninos hacen una valoración más signifcativa de las características asociadas a las profesoras mujeres, hallándose una supravaloración, en especial cuando los programas tienden a que la población de estudiantes sea mayoritariamente femenina. La única ventaja que se encuentra, de manera relevante, es que aunque los estudiantes hombres dan mejores puntajes a los profesores, esto no indica que las profesoras sean evaluadas como peores.

Sin embargo, es importante destacar que en investigaciones previas sobre los “mejores” o “peores” profesores, las características son indiferenciadas (Basow & Silberg, 1987; Freeman, 1994), y podría decirse que son más bien andrógenas, es decir, no asumidas especialmente para un género en particular. García (2001) señala que un aspecto que influye en la interacción entre género y evaluación tiene que ver con el rol que el profesor desempeña en el salón de clase. Los alumnos evalúan y preferen a aquellos instructores que poseen tanto características masculinas como femeninas, independientemente de su género.

Los rasgos interpersonales parecen ser particularmente importantes cuando los estudiantes escogen al “mejor” profesor, siendo el carisma uno de los aspectos más altamente valorados, y hay un mayor consenso en las características que más critican cuando se referen al “peor” profesor: la desorganización, la poca claridad, la falta de pla-neación y la indiferencia o rudeza.

Edad y experiencia del profesor

Aunque existen estudios que han considerado la edad de los profesores como una variable que se debe medir en la evaluación hacia el docente, no hay un hallazgo significativo de su impacto sobre estos resultados. En la revisión que hace Feldman sobre los estudios en este tópico, la relación es inversamente proporcional; a menor experiencia y edad, mayor efectividad. Algunos de los trabajos revisados por este autor concluyen que la puntuación en las evaluaciones incrementa por cada año de experiencia, llega a su cima en el cuarto año, y a partir de este empieza a declinar.

En términos generales, los estudios muestran que los estudiantes suelen responder a estereotipos acerca de la edad del docente. Las personas interpretan y perciben las situaciones con base en sus sistemas de creencias; a su vez, estos sistemas se retroalimentan de experiencias, dando a pensar que si un estudiante tiene una percepción negativa o se ha formado en una cultura donde el anciano no ha sido valorado, los resultados que puede generar no son positivos.

Si esto es así en un país desarrollado, es importante considerar la urgencia de estudiar más a fondo estas características, cuando nuestra cultura colombiana tiene un estereotipo negativo del anciano, tanto a nivel personal como laboral. Indicio de ello es que en el mercado laboral con frecuencia hay ofertas para personas menores de 35 años. De igual forma, no hay estudios que descifren la proporción de las edades de los docentes universitarios y su relación con su efectividad.

Respecto a la experiencia, García (2001) señala que las dimensiones que son mejor evaluadas en los docentes experimentados son la claridad, el entusiasmo, la promoción de preguntas y la discusión y la apertura hacia las opiniones de otros.

Categoría académica

Esta variable se refere a la posición del profesor en el ranking o escalafón dentro de la institución universitaria. Los profesores que ocupan los más altos niveles en estos escalafones son aquellos con más años de experiencia, mayores títulos académicos y mayor producción intelectual. Al respecto, no hay muchas investigaciones que exploren esta variable, solamente en el estudio de Feldman (1983, citado por García, 2001), en el que se hace un análisis breve al respecto; los profesores con una alta categoría académica obtienen mejores evaluaciones por parte de los estudiantes en conocimiento de la materia y expan-sividad intelectual, así como en el valor del curso que imparten. En cambio, los docentes con baja categoría académica obtienen mejores resultados en características asociadas con su personalidad, como: la promoción de la discusión y apertura hacia las opiniones de otros, justicia, preocupación de los alumnos, ayuda, disponibilidad, reto intelectual y promoción de ideas independientes en los alumnos.

Cabe anotar que en ningún estudio el foco de investigación ha sido la categoría académica del profesor; los estudios más recientes (Basow, 2000; Das y Das, 2001) ni siquiera lo mencionan dentro de las probables explicaciones de sus resultados.

Calificaciones obtenidas por los estudiantes

Una de las principales críticas en los resultados obtenidos en las evaluaciones es que ellas tienden a inflar los resultados de los cursos, y que están asociadas directamente con las calificaciones obtenidas por los estudiantes (Greenwald, 1997); es decir, que los estudiantes que esperan obtener mejores resultados evalúan al docente como mejor; según el autor, esto puede explicarse principalmente por las expectativas que tiene el estudiante antes de iniciar el curso; si sus expectativas son altas, hay una mayor disposición respecto a las instrucciones del curso, y de igual forma, habrá una mayor dedicación al trabajo del mismo, lo cual llevará a su vez a un mayor rendimiento. Los estudiantes que demuestran mayores niveles de aprendizaje obtienen mejores notas, y los que alcanzan menores logros obtienen más bajas notas. Si el estudiante valora como positivo el aprendizaje, y piensa de igual forma respecto al curso, siente que ha aprendido el material del curso. Así, la cantidad aprendida puede ser la variable que media entre las notas y la evaluación del curso. Sin embargo, que un profesor asigne notas altas no garantiza un incremento en la satisfacción del curso o en la asistencia a clase por parte de los estudiantes.

En la revisión de García (2001) se establece que la alta correlación entre notas y evaluación de los cursos disminuye cuando se toma el grupo como unidad de análisis, y no al alumno individualmente. De forma similar, otras investigaciones concuerdan en que el alumno puede independizar las notas de las evaluaciones, y que hay otras dimensiones de mayor peso en los resultados, como la forma en que se percibe al docente y las expectativas propias de cada estudiante (Ryan y Harrison, 1995; Gusthart, Harrison y Ryan, 2002).

Muchas universidades, por ejemplo, equiparan las buenas calificaciones de los estudiantes con una buena enseñanza. Los estudios que comparan las evaluaciones de los profesores por parte de los estudiantes con la cantidad de material aprendido encuentran correlaciones negativas. Es decir, los profesores a quienes los estudiantes suelen dar calificaciones altas inducen menos aprendizaje, lo que hace pensar que hay otro tipo de factores que inciden en la valoración de la actividad docente. De aquí la importancia de buscar métodos de recolección de información alternativos o complementarios, que permitan identificar estos factores.

Podría decirse que las expectativas respecto a las notas, o lo que en estas investigaciones se denomina lenidad, es uno de los factores más controvertidos respecto a su efecto en la evaluación de los estudiantes. Algunas investigaciones indican que el efecto no es significativo, y otras que la relación entre estas se debe más al aprendizaje que ha autorreportado el estudiante, y de esta forma, la motivación que él tiene o la apreciación de la lenidad puede afectar tanto su ejecución c omo la evaluación que realiza del curso.

Para salvaguardar los efectos estadísticos de estas variables se podría tener en cuenta la propuesta que hace Cashin (1995), en la que se deben controlar en los estudios la motivación del estudiante, el nivel y el grado de preparación, y realizar estudios comparativos de estas dos últimas variables.

Variables del alumno

Son pocos los estudios que independizan las variables propias del estudiante y la forma de evaluar al docente. Las investigaciones anteriores mencionan variables propias de los estudiantes, como son: expectativas, estereotipos, autoper-cepción en su desempeño y nivel de profesiona-lización, así como el tipo de curso en el que se están formando.

Personalidad de los estudiantes

Siendo un factor importante el éxito, y la forma de percibir a los profesores uno de los aspectos más relevantes en la manera como se evalúa al profesor, es interesante ver que el nivel de éxito puede explicarse por el tipo de personalidad del estudiante. Smarth (2003) utiliza la teoría de Holland para sustentar esta afirmación, según la cual la estabilidad educativa, la satisfacción y el éxito son contingentes a la congruencia entre el tipo de personalidad y su trabajo en los ambientes educativos. De esta forma, la persistencia del alumno y su satisfacción influirán en forma significativa en qué tanto perciba el nivel de aprendizaje adquirido, que es, como muestran los estudios, un predictor de la evaluación de los docentes (Gusthart, Harrison y Moore, 2002, citados en: García, 2001; Ryan y Harrison, 1995).

Género de los estudiantes

Una cantidad importante de evidencia en homo-sociabilidad hace ver como posible que los estudiantes sientan más afinidad con los profesores que son similares a ellos (Crosby & Reinarby, 1993). En los ambientes educativos, los estudiantes tienden a calificar un poco mejor a los instructores que son iguales a ellos. Howe (1984) sugiere que los estudiantes femeninos sienten mayor cercanía hacia los profesores de su mismo sexo, por diferentes razones. Por ejemplo, Schroeder y Mynatt (1993), citados por Das y Das (2001), hallan que las mujeres y los hombres de pregrado experimentan más beneficios psicosociales (o no académicos) cuando los profesores son del mismo género. Las estudiantes puntúan mejor a las profesoras, especialmente en la calidad de sus interacciones y en el interés que ellas ponen a los estudiantes, y de igual forma, prefieren profesores del mismo sexo cuando seleccionan mentores o modelos para su rol.

Hay alguna evidencia de que las relaciones a través del género estudiante-profesor no son iguales de ventajosas en los estudiantes mujeres y hombres. Los estudiantes tienden a preferir profesores del mismo género, debido a que los hombres y las mujeres tienen reglas de comunicación y evaluación diferentes, y esto a su vez hace que la interacción y comunicación entre profesores y estudiantes hombres, y entre estudiantes y profesores mujeres, sea más positiva, ya que las expectativas entre los dos son más claras y manejables.

Con base en estas afirmaciones, Das y Das (2001) plantearon un estudio, donde establecieron dos tipos de hipótesis: a) Los estudiantes hombres tienen mayor probabilidad que los estudiantes mujeres de escoger como “mejores” a profesores hombres que a mujeres, y las estudiantes mujeres tienen mayor probabilidad que los estudiantes hombres de escoger como “mejores” a profesores mujeres que a hombres; b) El rol del género del estudiante se relaciona con una mayor probabilidad de percibir el rol de género del profesor que considera como mejor, es decir, que los estudiantes con roles de género masculino, femenino, andrógeno o indiferenciado tienen, respectivamente, mayor probabilidad de escoger como mejores a profesores que perciben como masculinos, femeninos, andrógenos o indiferenciados. En general, la primera hipótesis se comprobó, pero en forma no significativa, y la segunda mostró que, independientemente del rol de género del estudiante, este tiende a valorar características de tipo andrógeno, como la claridad y la organización en los mejores profesores.

No obstante, si los estudios no muestran una consistencia significativa desde la estadística, sí se encuentra que hay estereotipos de conductas femeninas y masculinas que se espera sean coherentes con las expectativas tanto de estudiantes hombres como mujeres, y que pueden en algún grado afectar la evaluación hacia el docente.

Expectativas hacia el curso

En un evento donde se cruzan tantos factores, como es el tomar un curso y aprobarlo, son muchas las expectativas que se elaboran por parte de los estudiantes. Estas no solo se dan de acuerdo con el nivel en que se encuentra el estudiante, el tipo de curso que se está realizando y las califcaciones que se obtendrán en el mismo, sino, además, también se pueden dar expectativas de acuerdo con la institución donde se imparte la enseñanza.

Jenkins & Downs (2001) hallan una diferencia significativa en las características que los estudiantes de pregrado y postgrado valoran en los docentes que ellos consideran más efectivos. En los de pregrado hay mayor afinidad hacia las relaciones interpersonales, el afecto y la sensibilidad, mientras que en los de postgrado se valora al profesor que es racional, práctico e independiente.

Las expectativas en las calificaciones, en relación con el avance del curso actual y lo que queda de él, constituyen un factor que tiene un efecto en la evaluación que hacen los estudiantes sobre los docentes (Millea & Grimes, 2002; Ryan & Harrison, 1995; Howard & Maxwell, 1980, 1982, citado en el reporte del Suffolk County Community Collage, 2002; Cashin, 1995). De acuerdo con estos estudios, si los estudiantes tienen unas expectativas optimistas/pesimistas, ellos responden respectivamente con mayores/menores puntajes.

Este efecto puede deberse principalmente a las atribuciones que el estudiante realiza respecto a diferentes factores. Los estudiantes asocian las calificaciones que han obtenido con su propio esfuerzo y habilidad y, por consiguiente, con la calidad del curso. Cada una de estas variables da cabida a tres modelos explicativos, que el autor define por separado.

Respecto a la calidad de la instrucción, los estudiantes dan puntajes más altos cuando la instrucción (la enseñanza) la consideran superior, no solo porque ellos la reconocen como buena, sino también porque esperan mejores notas. Las instrucciones hacen que el estudiante trabaje más y obtenga un mayor logro, y así alcanza mejores calificaciones.

La habilidad del estudiante tiene que ver más con su nivel de logro, y así espera obtener mejores notas, no solo en ese curso sino en cursos posteriores. Por lo tanto, no hay una relación entre las notas esperadas y el logro, de modo que no habrá asociaciones entre calificaciones, esfuerzo y puntajes en las evaluaciones.

Motivación hacia el curso. El estudiante que está más motivado hacia su curso trabajará con más ahínco y tendrá un mayor logro; por lo tanto, tendrá mejores calificaciones, y así las evaluaciones que realice serán mayores.

De estos tres factores, el más predictivo en la relación notas-puntajes es la motivación del estudiante, ya que por el tipo de instrucción, siendo igual para todos los alumnos, podría esperarse que se obtuvieran resultados similares. Sin embargo, algo útil para el docente es tener diferentes métodos, que sean entendibles para diferentes tipos de estudiantes.

La falencia de las competencias previas con que debe llegar un estudiante a la universidad y demás aspectos psicológicos que entran en juego en la valoración del docente por parte del estudiante. En el aprendizaje de los contenidos académicos de parte del alumno influyen aspectos que no dependen del profesor o de la estructura del sistema educativo, tales como la falta de preparación básica para seguir la carrera elegida, la carencia de conocimientos previos sobre una materia determinada, el desinterés por estudiar, la desmotivación personal, las deficiencias en los hábitos de estudio, las fallas en la disponibilidad de medios materiales o en los recursos educativos.

Tipo de curso y disciplina

Muchas instituciones universitarias usan un solo cuestionario de evaluación, y varias de ellas presumen, implícita o explícitamente, que la evaluación en un solo curso de ciencias es igual a la de otro de humanidades. Ryan & Harrison (1995) determinaron en qué medida los estudiantes de tres contextos de enseñanza diferentes podían evaluar los factores de la enseñanza, a través de la Escala de Evaluación Estudiantil sobre la Calidad Educativa (SEEQ)³; los resultados obtenidos muestran que, independientemente del tipo de curso, los estudiantes dan una gran importancia a la cantidad de aprendizaje percibido y a la equidad entre las calificaciones y su esfuerzo, y no encuentran relevante la dificultad del curso. Una réplica de este estudio, realizada por Gusthart, Harrison y Moore (2000), obtuvo resultados muy similares al evaluar grupos de educación física, psicología y sociología; las diferencias, aunque fueron mayores de acuerdo con el tipo del curso, no resultaron muy significativas.

Otros estudios han hallado resultados contrarios (Marsh, 1983). En general y de manera consistente, los cursos y profesores de las disciplinas relacionadas con las ciencias y las ingenierías son evaluados por los alumnos con promedios más bajos que en las disciplinas relacionadas con el arte, humanidades y ciencias sociales. De ello podría desprenderse que el desempeño de los docentes no debe ser juzgado uniformemente, sino tomando en consideración la naturaleza de la disciplina de donde se ubica el curso.

Como se puede concluir de la revisión realizada hasta aquí, aunque muchos estudios muestran que las estimaciones presentan datos válidos y confiables sobre la evaluación de la calidad de la enseñanza, otras investigaciones permiten ver que los resultados pueden estar influenciados, tanto positiva como negativamente, por factores no relacionados directamente con la enseñanza. Estos aspectos tienen que ver con la forma como se percibe al docente; los estereotipos culturales, la motivación del estudiante, el campo de estudio y las expectativas pueden contribuir a que se inclinen los resultados hacia un lado de la balanza. En esta forma, es importante definir y determinar cuáles son los instrumentos más adecuados para realizar una evaluación objetiva, que permita una retroalimentación. A continuación se revisarán las principales metodologías utilizadas en estos estudios sobre factores que deben ser controlados, para así tener una percepción general del impacto de ellos cuando se desea establecer políticas sobre una adecuada evaluación del docente.

Métodos utilizados en la evaluación de docentes

La revisión de la literatura respecto a la evaluación que los estudiantes hacen de los cursos deja entrever un gran uso de escalas de medición. La investigación de los factores que inciden en una enseñanza efectiva ha tomado diferentes enfoques con el transcurso de los años; en las primeras investigaciones que se realizaron (p. ej., Feldman, 1976, citado en Feldman, 1986), el objetivo principal era identificar aspectos asociados a la variable de estudio, pero con el tiempo se llegó a percibir que factores como los mencionados anteriormente (personalidad del profesor y del estudiante, género, experiencia, etc.) podían incidir en los resultados obtenidos, y además no se relacionaban con el logro de los estudiantes o con la efectividad de la enseñanza; asimismo, no en indicadores efectivos de si un docente era o no efectivo.

Marsh y sus colegas (Marsh & Hocevar, 1991; Marsh & Roche, 1997, 1991) usaron datos de varias fuentes (análisis factorial, estado del arte de instrumentos y entrevistas a profesores) y crearon una escala que visualiza la evaluación como un cons-tructo multidimensional. En ella se identifican nueve dimensiones de la enseñanza: aprendizaje/valor, entusiasmo del instructor, interacción con el grupo, rapport individual, organización/claridad, amplitud en el abordaje de los temas, exámenes/resultados, asignaciones/lecturas y trabajos/dificultad.

Estos estudios, que han sido producto de un proceso de construcción, han dirigido a que los métodos actuales de evaluación incluyan conductas del profesor que parecen ser importantes en la efectividad de la enseñanza.

El uso de inventarios es uno de los métodos más frecuentes en la evaluación del docente. Los instrumentos de evaluación pueden ser clasificados en tres tipos de formatos diferentes: los que se construyen con escalas tipo Likert, con opciones de respuestas cerradas, en donde se indica el nivel de acuerdo o desacuerdo con las afirmaciones que describen la instrucción brindada en la facultad; un segundo formato se basa en el enfoque de evaluación narrativo, donde los estudiantes responden con sus propias palabras a preguntas abiertas sobre la clase y la calidad del docente, y un tercer formato, que combina los dos anteriores, en el cual se incluyen tanto preguntas cerradas como abiertas.

Dimensiones en la evaluación de la calidad de la educación

Debido a que muchos de los estudios revisados (p. ej., Appleby, 1990; Cashin, 1995; Centra, 1993; Das & Das, 2001; Gusthart y cols., 2000; Marsh, 1984; Murria y cols., 1990; Ryan & Harrison, 1995) utilizan el primer tipo de formato y se basan en las dimensiones que Marsh propone en su Escala de la Evaluación de la Calidad Educativa (SEEQ) (Marsh, 1982), a continuación se hará una descripción de las escalas que este autor propone en la evaluación de la calidad educativa:

a. Entusiasmo. El instructor fue entusiasta en la enseñanza del curso. El estilo de presentación del instructor aumenta el interés del estudiante durante las clases.

b.   Rapport individual. El instructor fue amigable con los estudiantes. El instructor hizo que los estudiantes se sintieran cómodos para buscar ayuda dentro o fuera de la clase. El instructor es accesible para los estudiantes durante o fuera de la clase.

c.   Aprendizaje. Los estudiantes hallan el curso intelectualmente estimulante e innovador. Los estudiantes aprenden algo que ellos consideran valioso. Los estudiantes aprenden y entienden el material que apoya el curso.

d.  Difcultad del curso. Este curso fue relativamente difícil, en comparación con otros cursos. El trabajo de este curso fue relativamente mayor que el de otros cursos. Los objetivos del curso son pensados de forma clara, de tal manera que el estudiante sabe de qué es lo que va a tratar el curso.

e.   Amplitud. El docente contrasta las implicaciones de varias teorías. El docente presenta sus puntos de vista o el de otros de forma apropiada. El instructor discute de forma adecuada el desarrollo actual en el campo de la disciplina.

f.   Interacción con el grupo. A los estudiantes se les invita a participar en clase. A los estudiantes se les invita a formar sus propias ideas y conocimientos. A los estudiantes se les invita a realizar preguntas, y obtienen respuestas significativas.

g.   Exigencias. Las lecturas o textos exigidos fueron valiosos. Las lecturas, trabajos extra-clase, etc., contribuyen a la apreciación y entendimiento del estudiante de la materia.

h. Evaluaciones. La retroalimentación del docente y las calificaciones fueron valiosas. Los materiales evaluados y calificados correspondían al contenido del curso y a las temáticas enfatizadas por el docente.

La mayoría de estudios que utilizan esta escala, u otras similares, demuestran cierta asociación entre el puntaje del estudiante y su aprendizaje, e indican que los puntajes que hace el estudiante sobre las habilidades instruccionales generales son medidas válidas del aprendizaje del estudiante y la mediación del docente en ellas. Sin embargo, hay claridad en que se pueden presentar sesgos o variables que es preciso controlar.

Método

Desde el punto de vista de la validez de los cuestionarios para la evaluación de los docentes, se debe reconocer que este tipo de instrumentos parten principalmente de las preconcepciones de quienes los diseñan y, por consiguiente, resultan ser insuficien-tes cuando se trata de detectar los distintos elementos que intervienen en el proceso de evaluación que los estudiantes universitarios realizan a sus docentes.

Siendo este tipo de evaluación más de carácter cuantitativo que cualitativo, una de las apreciaciones que se hacen con mayor frecuencia es que la evaluación a partir de cuestionarios estructurados no es suficiente para lo que se pretende evaluar, puesto que los resultados están influenciados en buena medida por características propias del estudiante, como se expresó en la revisión anterior: por la forma como él siente que fue evaluada su ejecución por parte del docente, o por sesgos que tienen que ver con la manera en que él percibe al docente, que no necesariamente se vinculan a lo académico. Factores tales como el género, la personalidad, el tipo de trato, etc., pueden marcar una diferencia en la forma como se realiza la evaluación, y, por consiguiente, se afecta la manera en que la retroalimentación esperada por parte del estudiante sea efectiva.

Por esta razón, se hace imprescindible la aplicación de métodos complementarios de tipo cualitativo, que permitan detectar estos aspectos, puesto que, como ya dijimos, los formatos estructurados limitan este campo de investigación, al preestablecer unos tópicos en muy buena medida construidos con los prejuicios del investigador –lo que no es garantía de evaluación válida, por cuanto lo que este considera importante, no lo es necesariamente para los estudiantes–.

Una técnica relativamente novedosa, en particular en el campo educativo y en el de la evaluación docente, que complementa la evaluación del cuestionario y permite detectar otro tipo de conceptos más válidos, que pueden estar influenciando las respuestas a los cuestionarios, pero que estos no detectan, es el modelo de entrevista denominado Clasificación Múltiple de Ítems (CMI). Esta estrategia de recolección de datos ha sido utilizada en otras áreas de investigación, gracias a su flexibilidad, ya que busca ante todo superar las limitantes de los formatos tradicionales en el momento del análisis e interpretación de datos, a la vez que detecta y cate-goriza elementos que pueden escapar al control del investigador y que permitirían un mejor desarrollo del proceso (ver Páramo, 2007 y 2008).

Con la exploración de las conceptualizaciones que utilizan libremente los estudiantes al evaluar a sus docentes se espera contribuir al diseño de un modelo evaluativo de los profesores más válido. Poder profundizar en variables diferentes a las que se han venido trabajando tradicionalmente en la evaluación, como los aspectos psicológicos o extraacadémicos que pueden afectar la misma, representa un aporte relevante al estado de la investigación sobre la evaluación del docente. Con la entrevista de CMI se propone adoptar metodologías alternativas más válidas, que contribuyan al mejoramiento de los sistemas evaluativos del desempeño del profesor universitario, para así garantizar procesos de calidad.

La CMI como procedimiento de análisis y recolección de datos

Numerosos estudios, realizados por otros investigadores (ver Páramo, 2007 y 2008), permiten certificar la efectividad de los procedimientos sugeridos por la CMI, para detectar las preconcep-tualizaciones de los entrevistados y trabajar con ellas, en busca de acercarse de manera más certera al conocimiento de la realidad que se estudia.

La CMI parte de las clasificaciones que hace el entrevistado (en este caso el estudiante), de forma libre, sobre un conjunto de elementos que se le entregan escritos, cada uno en una tarjeta, que para el caso de la presente propuesta estarán constituidos por los nombres de los docentes.

Esta metodología se inspira en numerosos trabajos de investigadores en el campo de la psicología, los cuales buscan ir más allá de la recolección de datos indagando en los mecanismos con los cuales las personas categorizan y analizan el mundo. Conociendo estos sentidos es posible acercarse más a la persona y comprender su comportamiento, algo que solo se logra si se trabaja directamente con los individuos y en sus propios términos.

Para iniciar el trabajo con la CMI, se presenta un conjunto de elementos con unas instrucciones, en donde se informan a los entrevistados las generalidades de la actividad que van a realizar y se explica el procedimiento, consistente en clasificar -y si es el caso reclasificar- unos elementos precisos, argumentando claramente y con total libertad el porqué de cada una de estas clasificaciones. La estructura de presentación e instrucción permite que algunas de estas sean modificadas, de acuerdo con el uso o temática en la cual se vaya a trabajar -el objeto que se investigará, los elementos que se van a clasificar y el número de veces que se efectúe la clasificación-. En esto radica la flexibilidad del procedimiento; por lo tanto, cualquier otra variación exige una práctica previa, que permita corroborar su efectividad.

La información obtenida mediante las clasificaciones que hacen los entrevistados sobre sus profesores se examina de dos maneras, basadas todas en los criterios que emplean los participantes para agrupar los elementos, en este caso los docentes:

-    Buscando diferencias entre los docentes.

-   Estableciendo diferencias entre los conceptos y categorías que se han utilizado para clasificar a los docentes.

Participantes

Para poner a prueba el carácter exploratorio de la CMI, para generar conceptos dentro de la evaluación de los docentes por parte de los estudiantes universitarios, se seleccionaron once estudiantes de pregrado de una universidad de Bogotá, quienes fueron entrevistados mediante el modelo de CMI, a través de las siguientes instrucciones:

“Estamos realizando un estudio acerca de lo que los estudiantes piensan y sienten de los docentes de la Universidad. Por eso, le estamos pidiendo a cierto número de estudiantes que miren las siguientes tarjetas, que contienen los nombres de algunos de sus profesores, y los clasifiquen en grupos, de manera que todos los nombres de cada grupo sean similares en algo importante y diferentes a los de otros grupos. Usted puede poner los nombres en todos los grupos que quiera y hacer uso de los criterios que quiera para hacer las agrupaciones. No esperamos que haga uso de un criterio en particular, es su criterio lo que cuenta en esta entrevista. Cuando termine cada clasificación, nos gustaría que nos diera las razones de su clasificación y qué es lo que tiene cada grupo de profesores en común en cada grupo que haya creado. Por favor, siéntase libre para decirme todo lo que ocurre a medida que está clasificando a sus profesores”.

Resultados y análisis

Una vez recolectada la información, a partir de las categorías empleadas de forma libre por los estudiantes para referirse a sus profesores, estas fueron sometidas a un análisis de contenido. A continuación se puede observar, en la tabla 1, el tipo de conceptos empleados por los participantes para agrupar a los docentes, y su porcentaje relativo frente al total de conceptos.

De la tabla 1 se puede evidenciar la gran cantidad de conceptos de los que se valieron los estudiantes cuando evaluaron a sus profesores, muchos de los cuales no se consideran cuando se diseñan cuestionarios en el enfoque tradicional. He aquí la importancia de la técnica de recolección de información.

Para analizar la relación entre los conceptos empleados se creó una matriz de datos binomial, en donde en las filas se colocaron los participantes del estudio y en las columnas los conceptos empleados por ellos, identificados con un número; así, a “Conocimientos sobre la materia” se le asignó el número 1; a “Metodología que emplea” el número 2; a “Puntualidad” el número 3, y así sucesivamente. Las celdas de la matriz se llenaron con 1 ó 0, dependiendo de si el participante había o no utilizado dicho concepto (tabla 2).

Esta matriz fue analizada mediante el programa para computador SSA, el cual permite analizar las correlaciones entre variables binomiales (nos referimos a los conceptos). Lo que arroja el programa SSA, después de analizar la matriz a partir de las correlaciones, consiste en una distribución de las variables en un espacio en el que la cercanía espacial entre uno y otro concepto indica su grado de correlación. A partir de esta distribución espacial el investigador agrupa las variables mediante trazos, para facilitar su interpretación creando agrupaciones o regiones para las variables, a partir de constructos teóricos que él (ella) propone para darle sentido a las agrupaciones. Pareciera obedecer a criterios arbitrarios; sin embargo, es la distancia espacial entre uno y otro concepto, y la validez del constructo teórico que se emplea para crear las regiones, lo que le da sentido a las agrupaciones. Bien podrían crearse regiones diferentes para distintas agrupaciones de los conceptos, pero la manera como procede el(la) investigador(a) es descartando posibles agrupaciones, hasta encontrar la que puede ser más coherente teóricamente, para darle sentido a la distribución espacial de las variables. Los resultados de este análisis, para los conceptos empleados por los estudiantes al evaluar a sus profesores, pueden observarse en la figura 1, sobre la cual es posible establecer las siguientes conclusiones:

En primer lugar, los conceptos pueden ser agrupados en tres categorías: “características personales de los docentes”, “metodología” y “calidades académicas” (ver diagrama arrojado por el programa SSA en la figura 1).

Así, fue posible distinguir los conceptos que se encuentran en la zona derecha de la gráfica, con los aspectos metodológicos de la enseñanza (zona B), de los que tienen que ver con lo que podríamos llamar atributos personales del docente (zona C).

En el análisis efectuado al diagrama se aprecia que en la construcción de los criterios realizada por los estudiantes, los aspectos asociados con las calidades académicas de los docentes son centrales a la evaluación del docente⁴, como es el caso del conocimiento de la asignatura y las estrategias pedagógicas (zona A). Sin embargo, llama la atención que las relaciones interpersonales y la presentación personal se encuentren en el centro, junto con los conceptos más académicos.

Las relaciones interpersonales con los docentes constituyen un criterio importante para los estudiantes; fue utilizado por la mayoría de ellos y determinante en las valoraciones, tanto favorables como desfavorables, que realizaron. El elemento de relaciones interpersonales ocupa un lugar intermedio entre las calidades académicas y las características personales, lo que demuestra su relevancia. Es decir, las características personales establecen un perfil en el docente, que facilita o dificulta la interacción entre los profesores y los estudiantes y, por ende, el desarrollo de las actividades académicas.

Al analizar detalladamente el género de los estudiantes, no se observa que esta variable sea muy relevante en los criterios de clasificación construidos por los estudiantes al evaluar a los docentes, excepto porque fueron las mujeres las únicas que tuvieron en cuenta el criterio de presentación personal en la evaluación realizada a los docentes.

La revisión de la literatura y los hallazgos del estudio muestran que la evaluación de los profesores está inmersa de una serie de condicionantes, que no se pueden describir como factores propios de procesos académicos, sino como elementos externos que constituyen una dimensión diferente, pero que de todas formas influye en los resultados que se obtienen de la evaluación del profesor. En particular, se pudo observar en este trabajo que aun cuando muchos de los criterios empleados por los estudiantes para referirse a sus profesores tienen que ver con aspectos académicos, otros se referen más a características personales que perciben de sus profesores, como el grado de afectividad, el tipo de relaciones interpersonales que se establecen con el alumno o su presentación personal.

Por lo anterior, la evaluación del estudiante no puede ser el más importante ni el único factor que se debe considerar en la evaluación del docente universitario. En palabras de Cashin (1995), las evaluaciones de los alumnos deben formar tan solo una parte de un sistema comprehensivo de la evaluación de la facultad, y no puede ser el único documento válido sobre el desempeño y responsabilidades del docente dentro de la misma. Esto sería arriesgarlo todo por unas valoraciones que muchas veces están sesgadas por factores no propios de la academia, y porque se estaría privilegiando únicamente la labor de la docencia cuando el profesor desempeña otro tipo de funciones, como la gestión social, la administración o la investigación.

Además, la evaluación es un aspecto que debe verse con un carácter formativo del mismo docente y no de enjuiciamiento, donde al docente se le ve como a un educador cuyo éxito debe juzgarse únicamente por lo que otros aprenden u opinan de él. La evaluación que hacen los estudiantes de los cursos es una medida importante para medir el trabajo del docente, pero no puede ser el único criterio para tomar decisiones institucionales sobre el quehacer del docente y sobre su permanencia institucional. Por esto, se debe procurar que tanto la institución como el profesor entiendan los resultados del cuestionario que se suele aplicar para la evaluación del docente como una opinión del grado de satisfacción del estudiante con la parte de la actividad académica que le compete al profesor.

Para que la evaluación tenga los efectos esperados y pueda ser una fuente confable y útil dentro de la búsqueda de la calidad de la educación en las universidades, se deben considerar otros aspectos relevantes, que se deben estimar en el proceso mismo de la evaluación. Por ejemplo, será de gran ayuda discutir dentro de la institución acerca de los fines de la evaluación, no tomarse como un medio de exclusión de los profesores, sino más bien como un mecanismo de retroali-mentación de su actividad docente, como medio de identificación de necesidades de capacitación, de fortalezas del docente y de conocimiento de la institución. Si la evaluación se constituye únicamente en una herramienta de reestructuración en la planta docente, no es factible que sea apreciada y valorada para que cumpla con el mejoramiento de todos los procesos de la academia; tal vez por ello el rechazo en aceptar la evaluación por parte de los docentes, ya que esta evaluación podría convertirse solamente en un indicador de la popularidad o simpatía del docente, desvirtuándose la función pedagógica.

Entonces, se hace indispensable explorar en los profesores lo que piensan del proceso evaluativo, y tratar de identificar con ellos otras dimensiones de su trabajo dentro de las universidades, que no han sido tenidas en cuenta hasta ahora. Y a partir de estas discusiones, proponer, entre otros mecanismos, la autoevaluación como el mecanismo que contribuye al proceso de formación del individuo como docente y a la institución como estamento universitario de alta calidad.

Estos resultados, aunque exploratorios, no hubieran podido ser hallados dentro de los instrumentos tradicionales de cuestionarios. Gracias a la forma libre como la CMI explora los conceptos o representaciones acerca del dominio de interés, se pudo identificar el tipo de conceptos o percepciones subjetivas que usan los estudiantes cuando evalúan a sus profesores. Se podrá explorar, adicionalmente, cómo se correlacionan estas percepciones con aspectos más puntuales, sobre los cuales la institución educativa desea identificar las percepciones del estudiantado, lo cual se puede observar formulando preguntas estructuradas, después de que los estudiantes hayan llevado a cabo el proceso de las clasificaciones libres. Esto deberá ser objeto de futuras investigaciones.

¹Este artículo se deriva del trabajo de investigación Definición de un modelo para la evaluación del docente universitario en la Universidad Piloto de Colombia, desarrollado por el autor con la participación de Janet Urrego, Edwin Beltrán y Jenny Pedraza, dentro del grupo Formación del Profesor Universitario de la Unidad Académica en Ciencias de la Educación de la Universidad Piloto de Colombia.

²Gran parte de la revisiòn que se hace aqui se fundamenta en el estudio de este autor.

³ Por sus siglas en ingles: Student Evaluation of Educational Quality.

⁴ Se observó que la mayoría de estudiantes encuestados coincidieron en tener en cuenta aspectos como competencias académicas, formas de enseñar y cualidades personales de los docentes.

ABRAMI, PC. “How should use students ratings to evaluate teaching? Research in Higher Education, 1989, No. 30, p. 221-227        [ Links ]

ALEAMONI, LM. Typical faculty concerns about student evaluation of teaching. In Aleamoni, LM. (ed.), Techniques for evaluation and improving instruction. New Directions for Teaching and Learning, 1987, No. 31. San Francisco: Jossey-Bass.        [ Links ]

APPLEBY, DC. Faculty and students perceptions of irritating behaviors in the college classroom. The Journal of Staff Program, and Organizational Development, 1990, No. 8, p. 41-46        [ Links ]

BASOW, SA. Best and worst professors: Gender patterns in students' choices. Sex Roles, 2000, No. 34, p. 407-417.        [ Links ]

BRASKAMP, LA., & ORY, J. C. Assessing faculty work: Enhancing individual and institutional performance. San Francisco: Jossey-Bass, 1994.        [ Links ]

CASHIN, WE. Student ratings of teaching: the research revisited. Kansas State Univ. Center for Faculty Evaluation and Development. Idea Paper, 1995, No. 32.        [ Links ]

CASHIN, WE. IDEA reporte técnico No. 32. Puntaje de los estudiantes del profesor. Una investigación revisada. Manhattan, KS: Center for Faculty Evaluation and Development, Kansas State University, 1995.        [ Links ]

CASHIN, WE. Student ratings of teaching: Recommendations for use. Kansas State Univ. Center for Faculty Evaluation and Development. Idea Paper, 1990, No.22.        [ Links ]

CENTRA, JA. Refective faculty evaluation: Enhancing teaching and determining faculty effectiveness. San Francisco: Josse-Bass, 1993.        [ Links ]

CROSBY, FJ., & REINARDY, LM. Closeness between female college students and their professors: A novel assessment technique. Sex Roles, 1993, No. 28, p. 477-483.        [ Links ]

DAS, M., y DAS, H. Students perceptions of best university professors: does gender role matter? - Statistical Data Included Sex Roles: A Journal of Research, Nov. 2001, p. 17-23.        [ Links ]

FELDMAN, KA. The perceived instructional effectiveness of college teachers as related to their personality and attitudinal characteristics. Research in Higher Education, 1986, No. 33, p. 315-317.        [ Links ]

FELDMAN, KA. Research productivity and scholarly accomplishment of college teachers as related to their instructional effectiveness: A review and exploration. Research in Higher Education, 1987, No. 26, p. 227-298.        [ Links ]

FREEMAN, HR. Student evaluations of college instructors: Effects of type of course taught, instructor gender and gender role, and student gender. Journal of Educational Psychology, 1994, No. 86, p. 627-630.        [ Links ]

GARCÍA, JM. ¿Qué factores extraclase o sesgos afectan la evaluación docente en la educación superior? Revista Mexicana de Investigación Educativa, 2001, vol. 5, No. 10, p. 303-325.        [ Links ]

GREENWALD, AG. Validity concerns and usefulness of student ratings of instruction. American Psychologist, 1997, vol. 52, p. 1182-1186.        [ Links ]

GUSTHART, L.; HARRISON, P.; RYAN, J.; MOORE, P. The Impact of Individual Instructional Characteristics on the Global Assessment of Teaching Effectiveness Across Different Instructional Contexts. En Journal on Excellence in College Teaching, 2000, p. 81-95.        [ Links ]

HOWE, F. Identity and expression: A writing course for women. In Howe, F. (ed.), Myths of co-education, 1984, p. 28-46. Bloomington, IN: Indiana University Press.        [ Links ]

HOWE, F. Identity and expression: A writing course for women. In Howe, F. (ed.), Myths of co-education, 1984, p. 34-35. Bloomington, IN: Indiana University Press.        [ Links ]

JENKINS, S. & DOWNS, E. Relation between faculty personality and student evaluation of courses. College Student Journal, Dec. 2001.        [ Links ]

MARSH, HW. SEEQ: A Reliable, Valid, And Useful Instrument For Collecting Students´Evaluations Of University Teaching. British Journal of Educational Psychology, 1982, No. 52, p. 77-95.        [ Links ]

MARSH, HW. Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and utility. Journal Educational Psychology, 1984, No. 76, p. 707-754.        [ Links ]

MARSH, HW., & HOCEVAR, D. Students’ evaluations of teaching effectiveness: The stability of mean ratings of the same teachers over a 13-year period. Teaching & Teacher Education, 1991, No. 7, p. 303-314.        [ Links ]

MARSH, HW., & ROCHE, LA. Making students’ evaluation teaching effectiveness effective: The critical issues of validity, bias and utility. American Psychologist, 1997, No. 52, p. 1187-1197.        [ Links ]

MARSH, HW., & ROCHE, LA. Rely upon SET research. American Psychologist, 1999, 52 (11), p. 1187-1197.        [ Links ]

MCKEACHIE, WJ. Teaching tips: Strategies, research, and theory for college and university teachers. 9th ed. Lexington, MA: D. C. Heath, 1994.        [ Links ]

MILEY, M., & GONSALVES, S. What you don’t know can hurt you: students’ perceptions of professors’ annoying teaching habits. College Students Journal, Sept. 2003.        [ Links ]

MILLEA, M.; GRIMES, PW. Grade expectation and student evaluation of teaching. College Student Journal, Nov. 2002.        [ Links ]

MURRAY, HG.; RUSHTON, MJ., & PAUNONEN, SV. Teacher personality traits and student instructional ratings in six types of university courses. Journal of Educational Psychology, 1990, No. 82, p. 250-261.        [ Links ]

PÁRAMO, P. El significado de los lugares públicos para la gente de Bogotá. Bogotá: Ediciones U.P.N., 2007.        [ Links ]

PÁRAMO, P. La investigación en ciencias sociales: Técnicas de recolección de información. Bogotá: Ediciones Universidad Piloto de Colombia, 2008.        [ Links ]

RYAN, JM., & HARRISON, PD. The relationship between individual instructional characteristics and the overall assessment of teaching effectiveness across different instructional contexts. Research in Higher Education, 1995, No. 34, p. 213-228        [ Links ]

SHEEHAN, D., & DUPREY, T. Student Evaluations of University Teaching - Statistical Data Included Journal of Instructional Psychology, Sep. 1999.        [ Links ]

SMART, CJ. An alternative application of Holland´s Theory and its implications for career counseling in college settings. En el informe de la Universidad de Memphis, junio 28 del 2003.        [ Links ]

Suffolk County Community Collage. Student Rating of Instruction - Report and Recommendation, 2002.        [ Links ]