Indicadores cualitativos para la medición
de la calidad en la educación¹

Hugo Nelson Gómez-Sevilla^a, Vanessa Sánchez-Mendoza^b

^a Pontificia Universidad Javeriana, Colombia hngomez@javeriana.edu.co

^b Universidad Católica de Colombia vsanchez@ucatolica.edu.co

¹ El presente trabajo se desarrolló como tesis de grado para optar al título de Magister en Educación de la Pontificia Universidad Javeriana.

La presente investigación muestra el proceso de diseño de un sistema de indicadores cualitativos para la evaluación de la calidad de la Gestión Curricular en las instituciones educativas de la Asociación de Colegios Jesuitas de Colombia (Acodesi), certificada bajo la norma ISO 9000:2000. Desde la perspectiva cualitativa, a partir del cruce entre cinco parámetros considerados primordiales para la evaluación de la gestión curricular ('pertinencia, impacto, trascendencia, sistematización y grado de satisfacción) y siete componentes comprendidos en el currículo (principios, criterios, plan de estudios, programas y proyectos, metodologías, gestión y acompañamiento) se llevó a cabo la evaluación de la calidad de la gestión del currículo. Para el diseño del sistema de indicadores se desarrollaron las siguientes etapas: elaboración del marco conceptual, recolección de información documental a través de entrevistas y encuestas, análisis de la información, construcción del sistema de indicadores y validación del mismo por jueces expertos. El estudio concluye que la aplicación de este nuevo sistema brinda una nueva forma de evaluar la calidad de educación de los colegios de la Asociación pero, al mismo tiempo, exige una mirada comprensiva pues es un instrumento de carácter cualitativo que va en contra de la apetencia general de cuantificar resultados en las instituciones.

Palabras clave

Gestión educacional, indicadores educativos, investigación, educación. (Fuente: Tesauro de la Unesco).

This research shows the process to design a qualitative indicator system to assess the quality of Curricular Management in schools that are members of the Jesuit School Association of Colombia (ACODESI - Spanish acronyms), certified under ISO 9000:2000. The qualitative curriculum management was evaluated from a qualitative perspective, based on five parameters that are paramount in assessing curricular management (relevance, impact, transcendence, systematization, and degree of satisfaction) and seven curricular components (principles, criteria, study plan, programs and projects, methodologies, management and guidance). The following stages were followed to design the indicator system: preparing the conceptual framework, collecting documentary information through surveys and interviews, analyzing information, constructing an indicator system, and approval by expert judges. The study concludes that applying this new system offers a way to assess the quality of the education offered at the member schools of the Association; however, the system also requires a comprehensive look as it is a qualitative instrument that opposes the general trend to quantify results in schools.

Key Words

Education management, education indicators, research, education. (Source: Unesco Thesaurus).

A presente pesquisa mostra o processo de desenho de um sistema de indicadores qualitativos para a avaliação da qualidade da Gestão Curricular nas instituições educativas da Associação de Colégios Jesuítas da Colômbia (Acodesi), certificada sob a norma ISO 9000:2000. A partir da perspectiva qualitativa, do encontro entre cinco parâmetros considerados primordiais para a avaliação da gestão curricular (pertinência, impacto, transcendência, sistematização e grau de satisfação) e sete componentes compreendidos no currículo (princípios, critérios, plano de estudos, programas e projetos, metodologias, gestão e acompanhamento), realizou-se uma avaliação da qualidade de gestão do currículo. Para o desenho do sistema de indicadores, desenvolveram-se as seguintes etapas: elaboração do marco conceitual, coleta de informação documental por meio de entrevistas e enquetes, análise da informação, construção do sistema de indicadores e validação deste por juízes especialistas. O estudo conclui que a aplicação desse novo sistema oferece uma nova forma de avaliar a qualidade de educação dos colégios da Associação, mas, ao mesmo tempo, exige um olhar compreensivo por ser um instrumento de caráter qualitativo que vai contra a apetência geral de quantificar resultados nas instituições.

Palavras-chave

Gestão educacional, indicadores educativos, pesquisa, educação. (Fonte: Tesauro da Unesco).

Un sistema de indicadores permite verificar y evaluar la calidad de la gestión del currículo en relación con los objetivos que la institución educativa se ha planteado. Como lo señala Johansen (1998), el concepto de sistema se encuentra enmarcado en dos líneas de pensamiento diferentes. La primera es la comúnmente conocida como teoría general de sistemas (TGS), dada a conocer inicialmente por Bertalanffy y luego por Boulding. La segunda línea de pensamiento es más de carácter práctico y se conoce como ingeniería de sistemas o ciencias de sistemas, esta fue creada a partir de la investigación de operaciones, continuada por la administración científica (Management Sciences), y ulteriormente por el análisis de sistemas. En términos generales, para Johansen (1998), el sistema puede definirse como el conjunto de partes coordinadas y en interacción que propenden por alcanzar un conjunto de objetivos (por ejemplo, el ser humano es un sistema). Otra definición un poco más completa, dada por el mismo autor, señala que sistema es un grupo de partes y objetos que interactúan y que forman un todo o que se encuentran bajo la influencia de fuerzas en alguna relación definida.

En el mismo orden de ideas Bertalanffy (2006) indica que un sistema puede ser definido como un complejo de elementos interactuantes, en donde el término complejo puede ser comprendido como una suma de elementos considerados aisladamente. Sin embargo, en un sistema no solo hay que conocer los elementos pertenecientes a este, sino las relaciones existentes entre ellos, de donde la palabra interacción indica que los elementos (p) pertenecientes a un sistema presentan relaciones (R), de tal forma que el comportamiento de un elemento p en R es diferente de su comportamiento en otra relación R'. Si los comportamientos en R y R' no son diferentes, no se produce interacción, y los elementos se comportan independientemente con respecto a las relaciones R y R'. Igualmente, los elementos presentan dos tipos de características, que para ser comprendidas requieren no solo del conocimiento de las partes sino de sus relaciones, a saber:

• Sumativas: son aquellas que poseen un elemento dentro y fuera del complejo. Se obtienen a partir de la suma de características y de su comportamiento individual.

• Constitutivas: son aquellas que dependen de las relaciones específicas presentadas dentro del complejo.

Así, la expresión "el todo es más que la suma de las partes", simplemente indica que las características constitutivas no son explicables a partir de las características de elementos aislados, de tal forma, las características del complejo, comparadas con las de los elementos, aparecen como nuevas o emergentes. Pero, si se conoce el total de elementos contenidos en un sistema y la relación existente entre ellos, el comportamiento de dicho sistema es derivable a partir del comportamiento de los elementos. Asimismo un sistema, como resultado de un número de elementos interrelacionados, puede concebirse como un compuesto con características particulares, entre las cuales se mencionan:

• Propósito (objetivo): todo sistema tiene uno o varios propósitos. Los elementos y sus relaciones definen una distribución que siempre busca alcanzar un objetivo.

• Globalismo (totalidad): un cambio en uno de los elementos del sistema tiene una probabilidad de producir cambios en otro. El efecto total se presenta como un ajuste a todo el sistema (existe una relación de causa/efecto). De estos cambios y ajustes se derivan dos fenómenos: entropía y homeostasis.

- Entropía: es la tendencia de los sistemas a desgastarse, a desintegrarse, a obviar los estándares, y a aumentar la aleatoriedad (los eventos en la naturaleza física tienden en dirección a un estado de máximo desorden). La entropía aumenta a medida que transcurre el tiempo. Si aumenta la cantidad de información disminuye la entropía, ya que la información es la base de la configuración y del orden. De aquí nace la neguentropía, o sea, la concepción de la información como medio o instrumento de ordenación del sistema.

- Homeostasis: es el equilibrio dinámico entre los elementos del sistema. Los sistemas tienen una tendencia a adaptarse con el fin de alcanzar un equilibrio interno frente a los cambios externos del entorno.

Tales características se presentarán en mayor o menor medida dependiendo del tipo de sistema, estos pueden clasificarse en dos categorías: de acuerdo con su constitución y de acuerdo con su naturaleza: a) de acuerdo con su constitución, pueden ser sistemas físicos o concretos, constituidos por elementos tangibles como equipos, maquinaria, objetos y cosas reales (en pocas palabras, el hardware), o sistemas abstractos, constituidos por elementos intangibles como conceptos, planes, hipótesis, ideas. Generalmente solo existen en el pen-sarmiento de las personas (en pocas palabras, el software); b) de acuerdo con su naturaleza, pueden ser sistemas cerrados, que no presentan intercambio con el medioambiente que los rodea. Son herméticos a cualquier influencia ambiental, no reciben ningún recurso externo, y no producen nada para enviar hacia afuera del mismo sistema. Aunque en realidad este tipo no existe, se da el nombre de cerrados a aquellos sistemas cuyo comportamiento es determinista y programado, y que operan con un muy pequeño intercambio de energía y materia con el ambiente. Esta definición se aplica a los sistemas estructurados, donde los elementos y las relaciones se combinan de una manera particular y rígida produciendo una salida invariable, tal es el caso de las máquinas o sistemas abiertos, que presentan intercambio de energía, materia o información con el medioambiente que los rodea a través de entradas y salidas. Se pueden adaptar a las circunstancias del medioambiente para que puedan subsistir, esto es conocido como adaptabilidad (continuo proceso de aprendizaje y de autoorganización). Su estructura es óptima cuando el conjunto de elementos del sistema se organiza (operación de adaptación).

Un sistema (obviamente dinámico y abierto), se caracteriza generalmente por poseer ciertos componentes básicos como son: a) entrada, insumo o impulso (input): es la fuerza de arranque del sistema, que provee la materia o la energía necesaria para la operación del mismo. b) Salida, producto o resultado (output): es el logro de la interacción entre los diferentes elementos del sistema; los resultados son las salidas, las cuales deben ser coherentes con el objetivo del sistema. Los resultados de los sistemas son finales, mientras que los resultados de los subsistemas son intermedios. c) Procesamiento, procesador o transformador (throughput): es el fenómeno o componente que produce cambios en la materia o energía de entrada; es el mecanismo de conversión de las entradas en salidas o resultados. Generalmente es representado como una caja negra en la que entran los insumos y salen cosas diferentes, que son los productos. d) Retroalimentación, realimentación, retroacción o retroinformación (feedback): es un proceso mediante el cual una cierta proporción de la señal de salida de un sistema se redirige de nuevo a la entrada. Se usa con frecuencia para controlar el comportamiento dinámico del sistema. Típicamente se busca comparar la salida con un criterio preestablecido, manteniéndola controlada a partir de aquel estándar o criterio. e) Ambiente: es el medio que envuelve externamente al sistema y que se encuentra en constante interacción con este. Un sistema recibe entradas del ambiente, las procesa y se las devuelve transformadas. La supervivencia de un sistema depende de su capacidad de adaptarse, de cambiar y de responder a las exigencias y demandas del ambiente externo. Aunque el ambiente puede ser un recurso para el sistema, también puede ser una amenaza.

A continuación se muestran los componentes principales de un sistema (Figura 1).

Un sistema puede estar constituido por un conjunto de indicadores que de modo armonizado se interrelacionan en torno a un factor, como puede ser la calidad de la gestión curricular. Estos han sido utilizados desde la década de los ochentas para definir de una manera objetiva la calidad, eficiencia y productividad de la educación, y como un mecanismo a través del cual las instituciones pueden dar cuenta del cumplimiento de su responsabilidad educativa (accountability).

Desde la óptica de la evaluación se han buscado diferentes definiciones para el término "indicador". Es así como en un trabajo realizado por el Institutional Management in Higher Education Programm (2005, p. 15), se define indicador como "un valor numérico utilizado para medir algo difícil de cuantificar". Por su parte, otros autores lo definen como un instrumento utilizado para medir, comparar, dar seguimiento y apoyar el avance de resultados y representar medidas sobre aspectos que no son directamente mensurables.

Sin embargo, la realidad de un sistema educativo es enormemente compleja, por lo que ningún indicador particular podría abarcarla en su globalidad; la complejidad se refiere a qué tipo de evaluación resulta más adecuada dada la naturaleza del objeto de estudio que constituye la calidad y productividad de las instituciones educativas. Para intentarlo se necesitan muchos indicadores que, en conjunto, cubran sus múltiples dimensiones; es fácil contar con información sobre el número de docentes, de alumnos o de libros en la biblioteca, y construir indicadores como el de alumnos por docente o el de libros por alumno. Sin embargo, no se cuenta habitualmente con información suficiente para evaluar aspectos más complejos -pero esenciales si se quiere tener una visión completa de la calidad-, tales como el grado en que se logran efectivamente los objetivos curriculares, tanto en el dominio cognoscitivo como, con mayor dificultad aún, en el afectivo.

Los indicadores tienen el atractivo de su claridad pero su limitante radica en que no es posible traducir a términos numéricos, con precisión, las complejidades del proceso de interacción que se da en la docencia. Por esta razón, solamente se proponen indicadores de evaluación de la calidad y de la productividad para algunas áreas, ya que en otras, por su fuerte contenido subjetivo, no es posible establecer indicadores y menos aún estándares.

Para facilitar que la ejecución de un proyecto esté acorde con el plan prefigurado, es necesaria la utilización de indicadores. Estos permiten conocer el grado de cumplimiento de lo propuesto o de lo pretendido. Según Domínguez (2004), un indicador se define como "un distintivo que permite señalar el grado de cumplimiento de una misión o de una acción encomendada, o el logro de un objetivo". En esta perspectiva, un indicador será aquel criterio objetivo, es decir, que se aplica de la misma forma a todos los involucrados en el proceso, y permite al gestor reconocer los aspectos que se deben mejorar, y diseñar planes de contingencia. Así, los indicadores pueden ser clasificados en dos tipos: a) De gestión, que miden el logro asociado con el desarrollo de la sociedad de modo que constituyen una herramienta para calcular la obtención de objetivos sociales o institucionales de la organización y deben satisfacer las condiciones de logro, de recursos y de calidad; b) de resultado, los cuales miden el logro asociado con el producto. Al tiempo que los indicadores de gestión permiten conocer qué tan lejos o cerca se encuentra una organización del objetivo, los indicadores de resultados permiten conocer qué tan lejos o cerca está en la producción u obtención de productos derivados de sus actividades.

Por su parte, González (2004) alude a la dificultad para establecer una definición generalizada del concepto indicador, de modo que realiza un análisis acerca de la necesidad de clarificar la función del mismo a partir de la respuesta que se da a interrogantes tales como qué debe ser medido y para qué, con el fin de estimar la calidad de un aspecto determinado del sistema educativo. En esta línea plantea que el término se refiere, generalmente, a aquellos factores que pretenden medir el grado de consecución de los objetivos perseguidos por la sociedad, de forma que permitan una mejor evolución de resultados y un mayor conocimiento en el momento de la adopción de decisiones. En educación esta medida, de acuerdo con De Landsheere (González, 2004), informa sobre la calidad y el funcionamiento del sistema, sobre lo que los alumnos conocen, sobre lo que son capaces de hacer y sobre las diferencias interinstitucionales en el desarrollo de los procesos.

El mismo autor expone que el indicador en el campo de la educación puede ser considerado como:

un dato o información (no forzosamente de tipo estadístico) relativo al sistema educativo o a alguno de sus componentes, capaces de resolver algo sobre su funcionamiento. Esta información aumenta la capacidad de comprensión de los fenómenos educativos y proporciona una base lo más sólida posible para la toma de decisiones". (De Landesheere, citado por González, 2004).

De este modo, la formulación de indicadores se constituye en una tarea compleja que incluye consensuar las unidades de medida de un concepto por evaluar al tiempo que describe los factores susceptibles de ser medidos a través de esta. Así, se proponen unos criterios a los que deberá responder el contenido del indicador: a) significatividad: asociado a la relación entre el indicador y las propiedades del objeto que se señala; b) relevancia: se constituye en un aspecto significativo del conjunto de indicadores, porque lo que mide es más atribuible al objeto con el que se relaciona, que lo medido por otros indicadores; c) teleologicidad: la definición del indicador está en función de los objetivos y de los fines pretendidos; d) utilidad: en tanto el indicador contribuye a la definición del objeto por estudiar, describe situaciones, define problemas que le atañen y permite hacer predicciones, y e) complementariedad: ya que este no puede ser interpretado individualmente sino en relación con el sistema en el que interactúa.

Desde estos aspectos, la construcción de un sistema de medición que sea aplicable a la evaluación de diferentes características que conforman una organización educativa deberá contar con características como: a) definir el objeto que se va a medir: los indicadores deben tener un referente cuantificable, deben relacionarse con algún aspecto concreto de la realidad; b) permanecer estableces en el tiempo y susceptibles a los cambios que puedan originarse: los indicadores deben relacionarse con aspectos de la organización educativa que a partir de la medida y descripción nos permitan establecer su tendencia por medio de análisis longitudinales; c) surgir del consenso de los agentes implicados en el proceso de evaluación: los indicadores deben ser de fácil comprensión en su definición para todos los actores de la organización educativa, de modo que su medición sea pertinente; d) de fácil elaboración: los indicadores deben ser fáciles de obtener, de modo que en su elaboración deben describir las operaciones de modo sencillo y comprensible; e) aportar datos válidos: la información aportada debe ser confiable y válida de modo que los indicadores faciliten efectuar valoraciones sobre la calidad de las organizaciones y tomar decisiones (Oakes, citado por González, 2004).

A su vez estos pueden clasificarse en dos grupos: a) indicadores de desempeño: miden la eficiencia y el desempeño de las operaciones o los procesos dentro de la organización; y b) indicadores de gestión: miden los esfuerzos de la gerencia para influenciar el desempeño de la organización. Permiten ver la situación del proceso en todo momento y administrar los recursos necesarios para cumplir con la meta de las acciones y optimizar los procesos que están limitando o que se han considerado como límites.

Para instituciones pequeñas y medianas será suficiente con concentrarse inicialmente en la selección de indicadores de desempeño, dado que la experiencia ha demostrado que estos son los que albergan los mayores potenciales de ahorro económico y mejoras en las acciones de la organización, mientras que las grandes organizaciones pueden complementar estos indicadores con los de gestión para así influenciar la dinámica de gestión institucional.

Así, el concepto Indicador de Gestión Curricular fue entendido como: un elemento informativo de carácter cuantitativo o cualitativo, sobre las determinaciones vinculadas a los procesos de enseñanza y a los aprendizajes, que contempla el diseño, la planeación y evaluación curricular, los cuales se organizarán en un sistema de indicadores de calidad y significativos orientados a servir de fundamento para elaborar juicios acerca de la gestión curricular de calidad en las instituciones educativas de Acodesi.

El método utilizado en el desarrollo de esta investigación (de corte cualitativo) puede considerarse como mixto, ya que combina diferentes estrategias para los procesos de recolección y análisis de información. A continuación se describen las características principales de dicho método.

Esta investigación es de tipo exploratorio-descriptivo, debido a que se pretende realizar un análisis de los indicadores cualitativos de gestión curricular teniendo como base los principios de la formación ignaciana. Se abordó a partir de un enfoque cualitativo, por medio de la técnica de análisis de contenido de los datos textuales aportados por las narrativas de los participantes que en distintos momentos y de manera voluntaria contestaron preguntas abiertas dirigidas a conocer las concepciones que sobre currículo, sus elementos y modos de gestión se manejan en las instituciones educativas de Acodesi. A lo largo de la investigación, y en cada una de las fases desarrolladas se tomaron decisiones que permitieran perfilar el problema por investigar, los casos, el tiempo y el contexto de estudio (Valles, 1999).

Esta investigación contó con la participación del secretario ejecutivo de la Asociación de Colegios Jesuitas de Colombia, y los diez directores académicos de las instituciones educativas de Acodesi.

Para la recolección de información se utilizaron técnicas como fichas documentales, guiones para entrevistas semiestructuradas y en profundidad y encuestas.

Esta investigación se desarrolló en tres grandes fases, de acuerdo con la propuesta metodológica de Valles (1999), quien argumenta que la metodología requiere de la descripción explícita del procedimiento con el fin de contribuir al incremento de su validez y al aumento de la confiabilidad de los hallazgos.

Primera fase: formulación del problema. Esta abarca todo un proceso de elaboración que va desde la idea inicial de investigar acerca de los indicadores de gestión curricular, hasta la conversión de esta en un problema investigable.

Segunda fase: decisiones muestrales (selección de contextos, casos y fechas). En esta se realizó una selección de contextos relevantes al problema de investigación, así como la selección de casos, de donde se escogieron como casos individuales las diez instituciones educativas de Acodesi, por contar con criterios de heterogeneidad (características sociodemográficas de su población y regiones) y accesibilidad (facilidad para establecer contacto). Al mismo tiempo, se decidió que las personas para entrevistar serían aquellas vinculadas directamente con el proceso de gestión, de modo que aportaran la información más relevante acerca de las concepciones que de currículo y componentes auriculares subyacen al proceso educativo que en estas se adelanta.

Tercera fase: selección de estrategias de obtención, análisis y presentación de datos. La ruta de la investigación se enmarca principalmente en las siguientes estrategias:

• Análisis de contenido de la entrevista en profundidad: las entrevistas y el análisis de contenido se desarrollaron en seis fases según la técnica de análisis de contenido propuesta por Coffey y Atkinson (2003):

1. Acercamiento: se inició con la aproximación a los miembros de Acodesi que de manera voluntaria quisieran responder a la entrevista y que permitieran la transcripción de sus respuestas de manera textual.

2. Establecimiento de las unidades de análisis: en estafase se acordó que los núcleos con significado propio objeto de estudio serían las frases completas de cada uno de los testimonios aportados por los informantes.

3. Establecimiento de las unidades de contexto: una unidad de contexto es un marco interpretativo de la relevancia de las unidades de registro detectadas por el análisis. De tal modo, las unidades de contexto fueron los testimonios de los miembros de Acodesi (secretario ejecutivo, directores académicos de las instituciones).

4. Codificación de los datos: con el fin de organizar, manipular y recuperar los segmentos más significativos de los testimonios aportados, a cada reporte se le asignó una etiqueta o membrete que permitiera conocer la concepción de currículo y sus componentes:

- CC. Concepción de currículo

- GE. Gestión de la evaluación

- CMP. Componente del currículo

- RSP. Responsable

- GD. Gestión del diseño

- DST. Destinatario

- CND. Condición

5. Categorización de los datos: consistió en efectuar una clasificación de las unidades de registro de acuerdo con el criterio temático deductivo.

6. Análisis documental: con miras al reconocimiento de las concepciones de currículo y los componentes de este considerados en los lineamientos institucionales de Acodesi, se realizó un análisis de los documentos de fundamentación y práctica de la propuesta educativa de la Compañía de Jesús. Esta tarea interpretativa se realizó mediante el método de análisis de contenido, el cual surge como un análisis documental aplicado en sus inicios a la investigación histórica, desde la que se buscaba la descripción de hechos sin intención de analizar más allá de lo observado en estos textos, ampliándose su aplicación a la investigación descriptiva de hechos o situaciones de vigencia actual con impacto reconocido en el campo de la educación y de la psicología.

Este análisis, como proceso dinámico y creativo, ayuda a describir concepciones y requerimientos específicos de Acodesi así como a descubrir las tendencias existentes, e identificar intereses y creencias relacionadas con la propuesta educativa, así como con los componentes del currículo. En esta vía, se hace explícito que se trata de obtener una comprensión más profunda del currículo y se continúan refinando las interpretaciones para llegar al sentido del fenómeno. Básicamente, este análisis comprende tres etapas diferenciadas. La primera es la fase de descubrimiento en progreso para identificar temas y desarrollar conceptos y proposiciones. La segunda incluye la codificación de los datos y el refinamiento de la comprensión del tema en estudio. La tercera etapa aborda la relativización de los descubrimientos mediante la comprensión de los datos en el contexto de la investigación.

Para cumplir con esta tarea metodológica se implementó un análisis en el que la significación se aborda desde los puntos de vista relacional, cooperativo y cualitativo. Lo que busca esta perspectiva, en resumen, es investigar las relaciones de asociación o la presencia concurrente, dentro de un determinado contexto, de las unidades significativas. Los documentos fueron analizados en busca de coincidencias conceptuales con aquellas emanadas de las entrevistas realizadas a los participantes, la acción concreta consistió en que los documentos fueron analizados en busca de tales coincidencias, y se enriqueció con aquellos detalles conceptuales que no aparecieron en las mismas.

El análisis de las entrevistas y de los documentos aportados por Acodesi permitió reconocer las categorías emergentes, las cuales se tomaron como referentes para la elaboración de los indicadores cualitativos del sistema propuesto.

Teniendo como marco de referencia los fundamentos teóricos mencionados con anterioridad, principalmente los correspondientes a sistemas, se ha construido un sistema de indicadores (de tipo abierto) cuyo propósito primordial es facilitar la evaluación de la calidad de la gestión curricular en un ambiente específico: las instituciones educativas de Acodesi. Este sistema posee los siguientes dos elementos de entrada:

• Parámetros de evaluación curricular: pertinencia, sistematización, impacto, trascendencia y grado de satisfacción.

• Componentes curriculares: principios, criterios, plan de estudios, programas y proyectos, metodologías, gestión y acompañamiento.

A partir del establecimiento de relaciones diferentes (interacción) entre cada uno de los elementos de entrada (cruce entre cada uno de los parámetros de evaluación curricular y cada uno de los componentes curriculares), y del procesamiento de la información característica contenida en cada uno de ellos, se obtuvo un producto particular denominado Indicador de Gestión Curricular. Por ejemplo, relacionando el parámetro de evaluación curricular pertinencia y el componente curricular principios, se obtiene el indicador denominado pertinencia de los principios (P.P.).

El diagrama presentado en la Figura 2 ilustra el cruce entre los elementos de entrada, sus relaciones y la codificación utilizada para cada uno de los indicadores de gestión. En él se puede observar que los componentes curriculares se han organizado de tal modo que permiten observar momentos del ciclo de gestión en el que son prioritariamente tenidos en cuenta. Cada parámetro se asocia con cada componente curricular dando origen a un sistema de relaciones que se complementan unas con otras.

Es decir, aunque cada elemento posee sus propias características dentro y fuera del sistema (características sumativas), el establecimiento de las diferentes relaciones entre cada uno de ellos permite la aparición de otras características propias del sistema (características constitutivas). Por ejemplo, aunque existe una relación específica entre el parámetro de evaluación curricular pertinencia y el componente curricular programas y proyectos, o entre la pertinencia y las metodologías, sería imposible desconocer que para poder ejecutar coherente y satisfactoriamente un programa y/o un proyecto en un determinado contexto, se debe establecer previamente una metodología acorde con la Propuesta Pedagógica Ignaciana.

De tal forma, se puede decir que el sistema cumple con el principio de globalidad o totalidad, pues un cambio en uno de sus elementos producirá cambios en otro y exigirá el ajuste del sistema. Asimismo, la información encontrada a partir de los diferentes indicadores puede convertirse en un insumo para la retroalimentación del sistema e incluso para la reformulación posterior de los indicadores sugeridos inicialmente, así cada indicador tiene su respectivo nombre, justificación, forma de medición y escala de valoración.

Una vez formulado el sistema se realizó un procedimiento de validación por jueces, directores académicos de las instituciones, quienes conocen ampliamente los principios de la educación de la Compañía de Jesús, los lineamientos con los cuales se organiza los planes de estudios, los programas y proyectos y, en general, son quienes tienen el conocimiento profundo del funcionamiento del currículo en sus respectivas instituciones.

Para la validación se diseñó un instrumento en el que se solicitaron los datos personales de quien diligenció el formato, y posteriormente se presentaron los indicadores con sus respectivas escalas de valoración ante las cuales los jueces evaluaron cuatro aspectos para cada uno de los indicadores, estos fueron:

• Comprensión: en caso de que el ítem no fuera claro para el lector debía señalarse en la casilla correspondiente.

• Facilidad de respuesta: indagaba el conocimiento de los procesos curriculares por la comunidad educativa. En caso de encontrar elementos de no muy fácil acceso debía señalarse la casilla correspondiente.

• Redacción: preguntaba por la claridad en la formulación del indicador o de la escala de valor, con el fin de permitir una lectura fluida y su comprensión. En caso de no cumplir con este requerimiento debía señalarse la casilla correspondiente.

• Pertinencia: se refería a la conveniencia del indicador para medir un aspecto curricular determinado. Los jueces debían marcar la casilla si consideraban no pertinente el indicador o su escala.

Los instrumentos fueron entregados en una reunión de directores académicos de Acodesi y fueron analizados en las respectivas instituciones. De diez instrumentos entregados se recibieron nueve, con los cuales se realizó la validación correspondiente; entre las conclusiones que se destacan se encuentran:

El reconocimiento acertado en la formulación del sistema de indicadores cualitativos debido a la existencia, en las instituciones educativas de Acodesi, de un sistema de indicadores predominantemente cuantitativo. A la vez, permitió identificar una falencia asociada con la definición del concepto pertinencia, pues en las instrucciones no se hizo explícito el interés por que el evaluador reconociera la conveniencia del indicador dentro de la propuesta educativa de Acodesi, en su lugar parece que fue interpretado como el parámetro de evaluación curricular denominado pertinencia.

Por otra parte, la redacción de los indicadores, así como su organización en el sistema, aparece como una sugerencia frecuente entre los evaluadores, lo que podría ser interpretado como que el concepto de contexto debe ser aclarado o relacionado con las definiciones que la institución considere del mismo en su PEI, y en algunos casos, como que la posibilidad de confusión se dio debido a la similitud en la redacción de los indicadores.

Además, se hizo explícita la necesidad de utilizar un lenguaje cotidiano propio de la institución, de modo que el evaluador comprendiera el indicador en el contexto; también se recomienda revisar la gradación de las escalas con el fin de diferenciar los niveles de presentación del indicador.

La inclusión de otros actores educativos -por ejemplo los estudiantes- es considerada relevante por algunos evaluadores, así como la necesidad de disgregar conceptualmente indicadores que abarcan más de un aspecto.

Durante los últimos años, las instituciones que conforman la Asociación de Colegios Jesuítas de Colombia (Acodesi) han obtenido la certificación por parte del Instituto Colombiano de Normas Técnicas y Certificación (Icontec) con la norma ISO 9001-2000. Dicha certificación permite una descripción detallada de los diferentes procesos realizados en ellas tales como: matrículas, definición de la estructura del Proyecto Integrado de Área (PIA), definición de los programas y proyectos, entre otros. Sin embargo, la definición de los procesos y la reglamentación que exige la norma ISO 9000-2001, no necesariamente garantiza el aseguramiento de la calidad del currículo. Las diferentes actividades que hacen parte de este se gestionan por la evaluación de sus resultados o sencillamente indicando si fueron o no realizadas, pero se deja de lado el verdadero fundamento de las mismas y, sobre todo, se desconoce si dichas actividades logran el objetivo que se proponen. De ahí que el enfoque que tienen los indicadores de este sistema de gestión curricular complemente la visión que se tiene sobre el currículo en el sistema de gestión de la calidad de cada colegio. Por lo anterior, se está proponiendo un instrumento que verdaderamente colabore con una gestión sobre el currículo de la institución.

El instrumento construido toma como base los adelantos académicos en gestión, indicadores, currículo, investigación cualitativa, pero al mismo tiempo recupera elementos propios de la espiritualidad ignaciana, ya que este es el fundamento de la propuesta educativa de las instituciones de Acodesi. Si bien esta herramienta propone una evaluación con los criterios básicos de evaluación curricular: pertinencia, impacto y trascendencia, como lo sugiere Alvares de Zayas (2001), también incluye un parámetro de sistematización dado que todos los elementos del sistema requieren estar bien documentados con el fin de conocer y explicitar los procedimientos que deben realizarse para la gestión del currículo y facilitar su acceso a la comunidad educativa. Además, tiene un componente llamado grado de satisfacción, cuyo interés es medir el sentir de la comunidad educativa en relación con el centro de la acción educativa: el currículo.

Si bien en la espiritualidad ignaciana un indicador necesario para confirmar una decisión al final de un discernimiento es el grado de tranquilidad que puede sentir el sujeto con respecto a la decisión tomada, proponemos analógicamente que al final de un proceso curricular, todos los sujetos relacionados con él puedan decir que están satisfechos con la labor realizada. Así, el alumno estará de acuerdo y compartirá los criterios con los que se propone su formación, el docente estará de acuerdo y compartirá los criterios con los que colabora en el proceso educativo, los directivos y empleados estarán de acuerdo y compartirán los diseños y la ejecución de la propuesta educativa, y de igual manera será el sentir de las personas vinculadas con las acciones curriculares. Consideramos que este aporte desde la espiritualidad ignaciana, que puede ser muy difícil de medir, será uno de los elementos del sistema que en últimas dará mayor información sobre la calidad del currículo.

Con respecto a los componentes curriculares sobre los cuales se aplican los criterios de evaluación se puede ver que surgieron principalmente de los puntos de vista de las personas responsables del currículo en las instituciones de Acodesi. Existe, sin embargo, en los documentos y en las percepciones de los directores académicos un interés primordial por un proceso que es transversal a todas las actividades desarrolladas en los colegios de la Asociación, este es el acompañamiento. La propuesta educativa de la Compañía de Jesús basa su éxito en la relación persona-persona que supone la formación del sujeto. En una concepción en la cual todo lo que educa de manera intencional hace parte del currículo, no puede desconocerse el proceso de acompañamiento personal, pues este vínculo será el que permitirá dar cuenta del avance de los procesos de formación en la institución. La exaltación que se hace de las relaciones personales y el reconocimiento de cada sujeto en su integralidad son puntos básicos de análisis para examinar la calidad del desarrollo curricular desde la perspectiva de Acodesi, y de ahí su integración como componente curricular a partir del análisis realizado.

Un sistema de gestión como el que se ha planteado tiene la ventaja de poseer como base algunos procesos cercanos a la gestión de la calidad, lo cual facilita la comprensión de su aplicación pero, al mismo tiempo, exige una mirada comprensiva pues es un instrumento de carácter cualitativo que va en contra de la apetencia general de cuantificar resultados en las instituciones. Los resultados de carácter cualitativo tienen también su validez en cuanto recogen la mirada subjetiva de cada actor educativo, pero en conjunto dichas miradas permiten conocer lo que ellos piensan y sienten con respecto al ejercicio curricular. Si currículo es todo lo que intencionalmente educa, ¿cómo esperar que fórmulas cuantitativas describan la formación recibida en una institución de Acodesi? Para ello es importante reconocer que la formación va más allá de cualquier medida, y que las aproximaciones conceptuales pueden permitir determinar la calidad del currículo desde una perspectiva cualitativa.

El diseño de un Sistema de Indicadores de Gestión Curricular es una labor que partió de las inquietudes de la medición de la calidad en las instituciones educativas, pero al presentar esta versión, se reconoce que responde de manera básica a una tarea de la comisión gestora del Proyecto Educativo Común (PEC) de las instituciones Educativas de la Compañía de Jesús en América Latina. Dicha comisión, como encargada de velar por la educación de la Compañía de Jesús en América Latina se ha propuesto el diseño de los instrumentos técnicos necesarios para realizar la evaluación de las instituciones y asociaciones de colegios, de acuerdo con los criterios de calidad de la propuesta educativa jesuita, que han sido tenidos en cuenta para el diseño del Sistema de Indicadores de Gestión Curricular para las instituciones de Acodesi. De ahí, esta investigación puede considerarse un aporte importante para el desarrollo de esa tarea, que si bien no será igual para todas las instituciones de América Latina, sí tiene unos fundamentos teóricos generales que pueden ser aplicables al contexto de cada institución o asociación dependiendo de la visión de currículo que ellas tengan.

La participación de los directores académicos de las instituciones de Acodesi, como personas responsables de la gestión curricular, fue de vital importancia en el desarrollo de esta investigación para la formulación del Sistema de Indicadores de Gestión Curricular. Sus aportes significativos condujeron a un instrumento claro, comprensible y que da información concreta sobre los elementos claves de los componentes curriculares que deben ser analizados para garantizar el cumplimiento del currículo. Aportaciones tales como la claridad de las escalas tipo liker (diferencias entre moderado y débil), sugerencias sobre el parámetro gestionado (calidad de vida de la institución o convivencia escolar), precisión conceptual (gestión de calidad o gestión ignaciana), entre otros, ayudaron a realizar los cambios que se consideraron pertinentes y a argumentar sólidamente la propuesta realizada desde la interpretación de los documentos corporativos de la Compañía de Jesús.

Aunque el Sistema de Indicadores de Gestión Curricular presentado hace un compendio de los puntos del currículo que es necesario gestionar desde diferentes categorías, algunas de estas son más cercanas al punto de vista de los directivos o de los docentes. Por tanto, el desarrollo del Sistema de Indicadores de Gestión puede continuar su marcha con la vinculación del punto de vista de otros actores educativos como son padres de familia, docentes, estudiantes, personal de apoyo de las instituciones y egresados. Ellos pueden dar sus aportes para que exista un instrumento adecuado en lenguaje, perspectiva y contexto, que sea particular a cada estamento, y se pueda tener de este modo la valoración de cada componente del currículo según la misma categoría, pero desde las diferentes visiones que pueden tener cada uno de los actores educativos.

De igual modo como se construyó el presente sistema de indicadores para las instituciones educativas que conforman la red Acodesi, se invita a adoptar la metodología aplicada utilizada en esta investigación para desarrollar instrumentos de gestión curricular que permitan reconocer en otras instituciones y con sus particulares características aquellos elementos de la propuesta educativa que son susceptibles de mejorar, con el fin de lograr instituciones que se preocupen por la puesta a punto de su propuesta pedagógica, y aseguren la ejecución de calidad de aquello que en sus fundamentos se proponen como prestación de un servicio educativo.

Addine Fernández, F. (2000). Diseño Curricular. La Habana: Instituto Pedagógico Latinoamericano y Caribeño.         [ Links ]

Aguilar Tamayo, M. F. (2004). El Mapa Conceptual. un texto a interpretar. Pamplona: First International Conference on Concept Mapping (CMC2004).         [ Links ]

Álvarez de Zayas, C. M. (2001). El diseño curricular. La Habana: Editorial Pueblo y Educación.         [ Links ]

Álvarez, G., Cabra, F. y Lagos, J. (2003). Panorama de las reformas educativas en América Latina. En Pereda, V. C. (coord.). Hacia una educación de calidad. aspectos comparativos. Bilbao: Universidad de Deusto.         [ Links ]

Álvaro Page, M. (1993). Los indicadores de calidad de educación. Revista de Psicología General y Aplicada, 46 (2), 221-232.         [ Links ]

Asamblea Nacional Constituyente (1991). Constitución Política de Colombia. Bogotá: El Pentágono Editores.         [ Links ]

Asociación de Colegios Jesuitas de Colombia (Acodesi) (2002). La formación integral y sus dimensiones. Texto didáctico. Bogotá         [ Links ].

Asociación de Colegios Jesuitas de Colombia (Acodesi) (2003a). Documentos Corporativos. Bogotá         [ Links ].

Asociación de Colegios Jesuitas de Colombia (Acodesi) (2003b). La formación integral y sus dimensiones. Texto didáctico. Bogotá         [ Links ].

Asociación de Colegios Jesuitas de Colombia (Acodesi) (2004). Acta de reunión de Directores Académicos. Bucaramanga.         [ Links ]

Asociación de Colegios Jesuitas de Colombia (Acodesi) (2005). Proyecto Educativo Común de la Compañía de Jesús en América Latina. Bogotá         [ Links ].

Barbosa, O. (2001). Los indicadores de gestión y su contexto. Bogotá: ESAP.         [ Links ]

Barreto, N. (2005). Sobre mitos y tendencias en la formación del currículo. Revista Sapiens, 1 (6), 137-145.         [ Links ]

Bertalanffy, L. V. (2006). Teoría General de los Sistemas. México: Fondo de Cultura Económica.         [ Links ]

Borrero, A. (2002). Simposio permanente sobre la universidad. Conferencia XXXV. planeación, autoevaluación y acreditación de instituciones de educación superior. Bogotá: Pontificia Universidad Javeriana.         [ Links ]

Buendía Eisman, L., Colás Bravo, P. y Hernández Pina, F. (1999). Métodos de investigación en psicopedagogía. Madrid: McGraw-Hill.         [ Links ]

Cabeza, M. A. (2004). Indicadores de gestión en la educación superior como herramienta de la planificación estratégica. Revista venezolana de análisis de coyuntura, 2 (10), 105-116.         [ Links ]

Cassasus, J. (2000). Problemas de la gestión educativa en América Latina: la tensión entre los paradigmas de tipo A y el tipo B. Santiago: Unesco.         [ Links ]

Castillo, M. et al. (1996). Características de calidad: hacia una universidad autorregulada. Medellín: Universidad de Antioquia.         [ Links ]

Coffey, A. y Atkinson, P. (2003). Encontrar el sentido a los datos cualitativos. En Estrategias complementarias de investigación. Medellín: Editorial Universidad de Antioquia.         [ Links ]

Consejo Nacional de Ciencia y Tecnología (Conacyt) (2003). Indicadores de desempeño y glosario de términos. Recuperado el 4 de febrero de 2012 de: (http://planeacion.cicese.mx/planeacion/INDICADORES%20GLOSARIO%202003.doc).         [ Links ]

Correa de Molina, C. (2004). Gestión y evaluación de la calidad en la educación: referentes para la acreditación. Bogotá: Cooperativa Editorial Magisterio.         [ Links ]

Díaz Barriga, A. (2003). Currículum. Tensiones conceptuales y prácticas. Revista Electrónica de Investigación Educativa, 2 (5), 81-93.         [ Links ]

Domínguez, G. (2004). Indicadores de gestión y resultados: un enfoque sistémico. 5 ed. Medellín: Biblioteca Jurídica Dike.         [ Links ]

Dussel, I. (2006). Estudio sobre gestión y desarrollo curricular en América latina. Flacso. Argentina: Oficina Regional de Educación de la Unesco para América Latina y el Caribe Orealc/Unesco. Santiago. Recuperado el 26 de enero de 2012 de: (http://www.unesco.cl/medios/biblioteca/documentos/estudio_sobre_gestion_desarrollo_curricular_paises_america_latina_dussel.pdf).         [ Links ]

García-Pelayo, R. (1987). Pequeño Larousse ilustrado. Buenos Aires: Ediciones Larousse.         [ Links ]

Gimeno Sacristán, J. (1989). El currículo: una reflexión sobre la práctica. 2 ed. Madrid: Ediciones Morata.         [ Links ]

González, I. (2004). Calidad en la Universidad. Evaluación e Indicadores. Salamanca: Ediciones Universidad de Salamanca.         [ Links ]

Icetex - Universidad Nacional de Colombia (2006). Medición de impacto del crédito educativo Acces en la cobertura, la permanencia y el desempeño académico en la educación superior en Colombia. Bogotá: Icetex. Revolución educativa, Colombia aprende: Universidad Nacional de Colombia.         [ Links ]

Indicadores de gestión (2005). Bogotá: Pontificia Universidad Javeriana.         [ Links ]

Indicadores de gestión para las universidades públicas: Documento de trabajo / Sistema de Universidades Estatales. (2001). Bogotá: Universidad Nacional de Colombia.         [ Links ]

Instituto Colombiano para el Fomento de la Educación Superior (1984). Autoevaluación Institucional. Bogotá         [ Links ].

Johansen Bertoglio, O. (1998). Introducción a la Teoría General de Sistemas. México: Limusa.         [ Links ]

McCormick, R. y James, M. (1997). Evaluación del currículum en los centros escolares. Madrid: Ediciones Morata.         [ Links ]

Microsoft Corporation (1999). Enciclopedia Microsoft Encarta gg [CD-ROM]. Washington: Microsoft Corporation.         [ Links ]

Ministerio de Educación Nacional (1995). Ley General de Educación. Bogotá: Ecoe Ediciones.         [ Links ]

Moreno M. H. (2004). Diseño Curricular. Bogotá: Ediciones SEM.         [ Links ]

Noguera, M. et al. (2003). La gestión escolar y el desarrollo curricular: implicancias, desafíos y propuestas. Revista Persona y Sociedad, 1 (17), 51-63.         [ Links ]

Padrón, J. 2002. Acerca de la Investigación exploratoria. Disponible en: http//www.geocities.com/josepadron.geo/InvestExploratoria.         [ Links ]

Pérez, J. (2001). Hacia una educación de calidad. Madrid: Narcea.         [ Links ]

Posner, G. (2005). Análisis de currículo. 3 ed. México: McGraw-Hill Interamericana.         [ Links ]

Rinaudo, U. (2004). Evaluación del accionar institucional. Bogotá: Universidad Piloto de Colombia, Grupo de Investigación Gi-MGU, Maestría en Gestión Urbana.         [ Links ]

Selltiz, C. y Yahoda, M. (1970). Métodos de investigación en las relaciones Sociales. 4 ed. Madrid: Rialp.         [ Links ]

Valles, M. (1999). Técnicas cualitativas de investigación social. Reflexión metodológica y práctica profesional. España: Síntesis Sociológica.         [ Links ]

Vásquez, C., S.J. (2006). Propuesta educativa de la Compañía de Jesús. Bogotá: Editorial Kimpres.         [ Links ]

Yzaguirre Peralta, L. E. (2005). Calidad Educativa e ISO 9001:2000 en México. REICE. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1 (3), 421-431.         [ Links ]

Recepción: 2012-06-25
Aceptación: 2013-02-25

Para citar este artículo / To reference this article / Para citar este articulo

Gómez, H. N. y Sánchez, V. (2013). Indicadores cualitativos para la medición de la calidad en la educación. Educ. Educ. Vol. 16, No. 1, pp. 9-24.