2.1 Evaluación de los docentes

Son variadas las circunstancias por las cuales se estudia, comprende y aplica el enfoque del aprendizaje basado en competencias (^{Silva-Cañaveral, 2016}; ^{Guzmán-Gutiérrez, Vergel-Ortega & Martínez-Lozano, 2016}). Se trata de un modelo para la educación, que determina cómo deben ser: el proceso instructivo, el proceso desarrollador, la concepción curricular, la concepción pedagógica y el tipo de estrategias didácticas a implementar (^{Tobón, 2004}).

El anterior enfoque se encuentra en el centro de la política educativa colombiana, en sus diversos niveles formativos, creando la necesidad de un desempeño idóneo de los docentes, como orientadores del proceso formativo (^{Hernández, Rocha & Verano, 1998}). Además, la evaluación del profesorado, se ha convertido en un proceso que sirve para identificar a aquellos docentes que son competentes en su trabajo, dejando de lado a aquellos poco calificados, según el resultado de la evaluación (^{Farfán, 2009}).

En Colombia, el MEN (2003), estableció las reglas y mecanismos para evaluar el desempeño de docentes y directivos que laboraban en los establecimientos educativos estatales. El modelo pedagógico de la PNC, fundamentado en competencias, es de carácter permanente, regulado y continuo, en donde la evaluación docente considera tres componentes, a saber: heteroevaluación, a cargo del estudiante; coevaluación, por parte del jefe del área académica, comandante de compañía o sección y autoevaluación del desempeño docente (PNC, 2016b).

En el mundo competitivo actual, la educación, es una de las herramientas más importantes para realizar cambios considerables y cumplir los objetivos del desarrollo sostenible (^{Riscanevo-Espitia, 2016}). Existen factores que juegan un rol efectivo en la calidad de la educación, como son las características y habilidades de los profesores para establecer una interacción adecuada profesor-estudiante (^{Maleki et al, 2017}). ^{Banidavoudi (2014)}, establece que la calidad de la enseñanza, depende de la capacidad de comunicación del docente, así como de las características personales. Además, ^{Ya'ghubinia, Heydari y Latifnejad-Roudsari (2013)}, revelaron que la relación apropiada profesor-estudiante en el entorno clínico, promueve el progreso de los estudiantes, aumenta su satisfacción y conduce a resultados positivos.

En cuanto a la evaluación, ^{Becerra-Bulla (2008)}, establece que sus resultados deben encaminar a la construcción de un plan de mejoramiento, que incluya el apoyo institucional y el compromiso del profesor para la puesta en marcha del mismo. Asimismo, ^{Moreno (2008)}, evidencia que existen dos tipos de instrumentos de evaluación: uno principal y el otro auxiliar. En el primero se realizan tres etapas y contiene información de evaluación cualitativa, coevaluación y evaluación final; mientras que los instrumentos auxiliares, referidos a los cuestionarios, la guía de auto observación en el aula y la tabla de evaluación cuantitativa, son necesarios para la planificación posterior como en el caso de éste estudio.

2.2 Riesgos de la Evaluación por instrumentos

Existen riesgos que plantea la evaluación docente, basada en los puntajes del estudiante, establecidos a nivel mundial en reportes y firmados por paneles que agrupan a los investigadores más distinguidos en la materia (^{Baker et al., 2010}). Entre los problemas más serios se encuentra la existencia de desigualdades, sin utilizar ajustes con base a la opinión de los estudiantes (^{Briggs & Dominguez, 2011}).

Otros estudios indican una imprecisión estadística, que afecta la diferenciación de la mayoría de docentes calificados en las evaluaciones y una inestabilidad observada, con implicaciones estadísticamente significativas en el tiempo (^{Goldhaber & Hansen, 2008}). Además, los modelos de evaluación docente con dichas características, solo logran abarcar el 50% de los docentes a mediano plazo, con menor proporción en secundaria (^{Barber & Mourshed, 2007}), debido a los costos elevados y a la dificultad de implementar las pruebas anualmente en todos los grados y asignaturas.

Es claro que la rendición de cuentas centrada en pruebas de los estudiantes, pueden generar distorsiones, que van desde el reduccionismo excesivo, en cuanto a objetivos y prácticas docentes, hasta la inflación de puntajes como resultado de enseñanza orientada a las pruebas, o incluso fraude (^{Nichols & Berliner, 2005}). En este sentido, la literatura especializada es enfática y consistente en “no recomendar el uso de pruebas aplicadas a los estudiantes como factor único o dominante, en la evaluación de los docentes”. En la práctica, los resultados de los estudiantes tienen poco peso en decisiones de alto impacto que involucran al maestro, aun en países que cuentan con sistemas de pruebas de gran cobertura (^{Baker et al., 2010}).

La evaluación docente mide los estándares profesionales y criterios técnicos, generalmente aceptados por la comunidad internacional, siendo un ejercicio complejo y multidimensional (APA, 1999). La evaluación de profesores es un ejemplo de medición de alto impacto, realizado por juicios psicométricos referidos a la confiabilidad de las medidas y la validez de las inferencias realizadas a partir de ellas, siendo limitado al estudio de las propiedades estadísticas de las pruebas (Kane, 2006).

^{Shepard (1997)}, propone integrar las consecuencias del uso de la evaluación directamente al modelo de validez como un elemento más de evidencia. Otros autores, representan una complicación conceptual innecesaria y de dudosa utilidad práctica en el proceso de evaluación (^{Mehrens, 2005}). En el caso de la PNC, existen instrumentos válidos, confiables y estandarizados que contribuyen a la evaluación de los docentes de las diferentes especialidades en el servicio policial, como es el caso de los programas académicos que involucran binomios (guía-canino) (^{Villarreal, Rojas & Ochoa, 2018}).

2.3 Metodología

Usualmente, los trabajos de evaluación docente tienen un enfoque cualitativo, sin establecer la validez y confiabilidad de los instrumentos y el nivel de acuerdo entre las pruebas, lo cual limita su reproducibilidad (^{Manterola et al, 2018}). En esta investigación se utilizó un enfoque cuantitativo de tipo descriptivo (^{Zuluaga-Duque, 2017}), correlacionando las 8 variables comportamentales de la evaluación docente, a saber: planeación pedagógica, estrategias de enseñanza y aprendizaje, desarrollo metodológico, evaluación del aprendizaje, implementación de créditos académicos, espacios de convivencia, dominio del conocimiento y habilidades comunicativas.

Los datos analizados en el presente estudio, se tomaron de los instrumentos empleados por la oficina de evaluación y calidad del programa TPSP, correspondientes al procedimiento evaluar docentes, de la DINAE (^{Patiño-Alvarez, Londoño-Portela, Rodríguez-Zamora & Gil-Rojas, 2018}). Existen 3 instrumentos establecidos en la Suite Visión Empresarial (SVE), de la PNC, para evaluar los diferentes programas educativos institucionales, así: i) evaluación del desempeño docente por parte del estudiante, heteroevaluación, 80% del valor total; ii) evaluación del desempeño por parte del jefe de área académica, coevaluación, 10% del valor total; y iii) la autoevaluación del docente, con un valor del 10%.

El desarrollo de la investigación implicó la realización de 3 estudios piloto (ver figura 1), los cuales se describen brevemente.

Figura 1 Diseño metodológico de las alternativas de evaluación docente. 

Estudio Piloto I. Los resultados de la entrevista y cuestionarios (DOFA), se realizaron teniendo en cuenta diferentes dimensiones evaluativas y los siguientes criterios de calidad: preguntas breves y fáciles de comprender, empleo de palabras que eviten una reacción estereotipada, redacción de preguntas en forma negativa, evitando el uso de la pregunta por qué, formulación de preguntas con sesgo y de memoria, que fueron validadas por expertos de instituciones de educación superior (^{Rojas-Guevara, 2017}).

Estudio Piloto II. Se realizó a partir de los datos obtenidos en una matriz DOFA, de los resultados de los informes finales de: la acreditación institucional de la DINAE, generado por los pares evaluadores del ^{Consejo Nacional de Acreditación, CNA (2016)}; del programa TPSP en una de sus sedes; y del programa de Técnico profesional en seguridad integral canina, identificando los resultados comunes y disímiles. Igualmente, se efectuó una prueba a los 4 docentes mejor evaluados por parte del jefe del área académica. Lo anterior con el fin de ubicar criterios comunes en los instrumentos, así como identificar las características faltantes en el proceso enseñanza aprendizaje.

Estudio Piloto III. Se evaluó la validez y confiabilidad de las pruebas con 120 estudiantes, los 4 docentes mejor evaluados y los mismos docentes evaluados por el jefe del área académica. Esto permitió integrar los aspectos de heteroevaluación, autoevaluación y coevaluación, teniendo en cuenta las 8 variables mencionadas anteriormente. Además, se observó la distribución de frecuencias en las diferentes pruebas, empleando las curvas ROC (Receiving Operating curves), y correlacionando los mismos 4 docentes del estudio piloto II.

3.1 Instrumentos y análisis estadístico

El instrumento de heteroevaluación se aplicó a 32 docentes del programa TPSP, por parte de 296 estudiantes, datos consignados en el Sistema de Información para la Gestión Académica (SIGAC), en abril de 2017. Esto permitió determinar el Comportamiento Asociado a las Competencias Pedagógicas (CACP), que más inciden en la evaluación. En este caso, el puntaje de 4.05 fue el valor de inflexión para las decisiones sobre el desarrollo profesoral de cada docente.

Los parámetros establecidos en los CACP, además de lo evidenciado por el jefe del área académica de los 32 docentes, así como la autoevaluación de cada profesor, sirvieron como base para el cuestionario enviado a las 14 sedes que manejan el programa TPSP. Esta información permitió elaborar una matriz DOFA, en la que se identificaron las características comunes en orden de importancia, como se muestra en la tabla 1.

Tabla 1 Comportamientos asociados a las competencias pedagógicas de los docentes (heteroevaluación). 

La coevaluación fue realizada por el Jefe del Área Académica, a los 4 docentes de las asignaturas de: ética general (campo de formación humanística e investigativa), investigación criminal (formación policial), derechos humanos y derecho internacional humanitario (formación jurídica) y primeros auxilios (electivo). La autoevaluación se realizó a los docentes de las siguientes 4 asignaturas: ética general, investigación criminal, derechos humanos y derecho internacional humanitario, así como primeros auxilios.

En todos los casos, se estimó la Sensibilidad y la Especificidad de cada una de las pruebas realizadas. Con la Sensibilidad se determinó la capacidad de la prueba para identificar correctamente aquellos profesores que fueron Aptos (> 4,05), mientras que con la Especificidad se identificó a aquellos profesores que fueron No Aptos (<4,05), y que realmente no son Aptos (^{Gordis, 2004}). La seguridad de los Test fue determinada por los Valores Predictivos Positivos (VPP) y Negativos (VPN), estableciendo la utilidad de las pruebas. El VPP indica la probabilidad que tiene un profesor, que resulte Apto a la prueba a que verdaderamente sea Apto en la prueba final, mientras que el VPN establece la probabilidad de que el profesor No Apto al aplicarles las pruebas, realmente sea clasificado como No Apto en el resultado final.

La seguridad de las pruebas Test-retest, fue determinada por los VPP y los VPN, índices importantes para valorar la utilidad de un test, en el terreno práctico e individual. Se estimó el estadístico Kappa de Cohen, para conocer la variación en la precisión de la clasificación de las pruebas. Esto permitió establecer la validez del trabajo por el nivel de acuerdo entre las pruebas (Kappa), según la clasificación de ^{Landis y Koch (1977)}, así: Pobre (0,00), Leve (0,01 - 0,20), Aceptable (0,21 - 0,40), Moderada (0,41 - 0,60), Considerable (0,61 - 0,8), y Casi perfecta (0,81 - 1,00).

Igualmente, se estableció la asociación entre los resultados parciales de las diferentes pruebas y otros factores asociados con el resultado final: Apto o No Apto, efectuando un análisis univariado, utilizando tablas de contingencia de 2 por 2, según los criterios de ^{Hosmer y Lemeshow (1980)}. Todas aquellas variables con un valor de “p”< 0,2, fueron incluidas en el modelo de regresión logística binaria. La magnitud de la asociación fue estimada mediante el cálculo del Odds Ratio (OR), representando la probabilidad de ocurrencia de un evento (probabilidad de que ocurra el evento y la probabilidad de que no ocurra), interpretando los resultados de la regresión logística, basados en la idea de probabilidad y con valor predictorio (^{Holcomb, Chaiworapongsa, Luke & Burgdorf, 2001}).

El OR se utilizó como medida de asociación, indicando la fortaleza de la relación entre dos variables, estableciendo a los valores <1, como una asociación negativa entre las variables y los valores >1, como una asociación positiva entre las variables (^{Guyatt, Rennie, Meade & Cook, 2008}). Se consideró que la asociación tenía una significancia estadística, cuando el valor de P < 0,05. La validación de Contenidos y estructura: comprensión de enunciados y palabras, se aplicó a 41 instrumentos, distribuidos así: 32 instrumentos de heteroevaluación a estudiantes seleccionados al azar, en las seis secciones del programa TPSP; 5 instrumentos de autoevaluación docente y 4 instrumentos de coevaluación, a 4 comandantes de compañía y sección.

3.2 Discusión

La educación policial se considera como la capacidad para desarrollar la inteligencia y la posibilidad de aprender desde un enfoque integral, para actuar más allá de lo tradicional y de esta manera generar saberes aplicables al campo policial. La calidad de su formación se mide a través de evaluaciones y estimaciones, que se desarrollan por medio de instrumentos con una validez y confiabilidad establecidas, requiriendo ajustes, que aporten a la dinámica del rediseño curricular establecido por la DINAE (PNC, 2016b).

La evaluación del desempeño docente en la PNC, emplea instrumentos heterogéneos y complejos, debido a factores como: la dificultad de definir con precisión y en consenso las actividades que conforman la función docente, de manera que el uso de indicadores y criterios confiables, faciliten una sola interpretación. La gran variedad de prácticas de enseñanza y contextos disciplinarios, dificultan establecer una regla, para el propósito principal de evaluar la docencia y el uso que se dará a los resultados. Esto se debe, posiblemente, a la variedad de programas académicos y al impacto del servicio de Policía, en programas educativos tan complejos y disímiles como el Técnico Profesional en Seguridad Integral Canina (^{Villarreal, Rojas & Ochoa, 2018}).

Desde 2012, la DINAE construyó la guía integral para el diseño curricular por competencias en la educación policial (PNC, 2016a). Sin embargo, la calidad y pertinencia de la política educativa requiere ajustes, a ser realizados por la comunidad educativa, conformada por docentes, estudiantes y personal administrativo. Lo anterior implica que los instrumentos de evaluación docente deben ser mecanismos válidos y confiables, que redunden en el mejoramiento continuo y la calidad de los diferentes programas ofertados por la DINAE.

Es importante obtener información de diversas fuentes y no exclusivamente de la opinión que emiten los estudiantes, evidenciando deficiencias metodológicas en el diseño de los instrumentos y en su proceso de aplicación y revisión. ^{McMillan (2005)}, reconoce que el criterio de referencia de los estudiantes no debe ser el único, pero es el más utilizado, y concluye que: “los principales agentes para evaluar a los docentes son los estudiantes, colegas y el propio profesor”.

Lo anterior se deduce de las oportunidades de mejora (debilidades), observadas en las visitas de pares realizadas en los diferentes programas de la DINAE. En ellas se estableció: “falta la articulación de la evaluación docente, reglamento académico no actualizado y carencia de un estatuto que privilegie a la carrera docente y la formación profesional y posgradual” (CNA, 2016). En este sentido, los instrumentos actuales de evaluación no impactan plenamente los comportamientos asociados a: las competencias, los indicadores de desempeño y los niveles valorativos de los docentes para el desarrollo del programa TPSP, siendo necesario su rediseño. Las oportunidades de mejora de la tabla 1, generan una coherencia entre el modelo pedagógico constructivista, enfocado en competencias, la práctica de los docentes y el desarrollo de las competencias de los estudiantes.

En el test de heteroevaluación, se evidencia que las variables con mayor especificidad son la planeación pedagógica, el desarrollo metodológico, la evaluación del aprendizaje, la implementación de los créditos académicos, los espacios de convivencia, el dominio de conocimientos y las habilidades investigativas, con un área bajo la curva de 0,905 (línea discontinua) y las estrategias de enseñanza y aprendizaje y las habilidades comunicativas (línea continua delgada), con un área bajo la curva de 0,769 (ver figura 2). Se establece que el nivel de acuerdo entre las pruebas (capa de Kohen), es muy alto y predice cuales son las competencias pedagógicas, que más incidencia y prevalencia tienen en los docentes que necesitan ajustar su desarrollo profesoral.

Figura 2 Curvas ROC para estimar la especificidad del resultado de las variables agrupadas. 

La evaluación de los docentes permite identificar fortalezas y debilidades del proceso enseñanza-aprendizaje, reflejado en la calidad del diseño del instrumento. En este sentido, será posible realizar un diagnóstico de aprendizaje y de comprensión, encaminado a la mejora continua, como mecanismo de control, selección, comparación y medición (^{Santos-Guerra, 1996}). Algunos autores han indicado que todos los procedimientos y estrategias de recolección de información, como: cuestionarios, entrevistas, observación e informes de autoevaluación, ofrecidos por la metodología evaluativa, son aceptables (^{Muñoz, 2002}; ^{Mercer, 2010}).

Rediseñar el currículo de los diferentes programas que oferta la DINAE, como el de TPSP, implica la articulación de los procesos y recursos junto con las políticas, los planes de estudio, los programas, las metodologías, los perfiles y los criterios evaluativos que contribuyan a la formación humana e integral y al desarrollo y fortalecimiento de las competencias, mediante la consolidación del Modelo Pedagógico Institucional (PNC, 2007a).

La pertinencia es un principio que garantiza la coherencia entre los programas académicos y las necesidades de la función y actividad de policía. En este contexto, la permanente evolución del entorno exige la revisión y actualización periódica de los programas académicos y la creación de otros, que den respuesta a los requerimientos de seguridad y convivencia de la comunidad. Además, la autoevaluación es necesaria para que se implementen estrategias orientadas a utilizar los resultados de los procesos evaluativos y mejorar la calidad de los programas académicos (PNC, 2016a).

En este sentido, se establece el Proyecto Educativo de Aula, comprendiendo el diseño del microcurrículo: contenidos programáticos de cada asignatura o módulo y el plan de trabajo (PNC, 2007b), como mecanismo de responsabilidad de los docentes que orientan los programas. Aquí, la evaluación docente, con instrumentos válidos y confiables, debe redundar en la calidad de la práctica pedagógica. Los instrumentos de evaluación docente deben ser el resultado de opiniones y sugerencias hechas por docentes y expertos de las diferentes escuelas de formación policial, con el ánimo de mejorar el quehacer educativo y fortalecer el proceso de enseñanza y aprendizaje. De este modo se resignificará la evaluación que los estudiantes realizan a los docentes, generando un espacio donde el profesor, sus estudiantes y directivos dialoguen de manera permanente, con una actitud crítica y reflexiva sobre el proceso, y sea un medio para reconocer aciertos y debilidades de la labor pedagógica.