A. Eficiencia en la educación

En cuanto a la teoría de la producción, Hanushek ha establecido ampliamente la relación existente entre el comportamiento de la teoría de la producción y el desempeño en la educación, haciendo énfasis en el desempeño individual (del estudiante) (Hanushek, ¹⁹⁷⁹; ¹⁹⁹⁷) y grupal (de la institución) (^{Hanushek, 2002}; ^{Hanushek y Luque, 2003}). Dichos estudios esbozan las funciones de producción educativa y examinan el nexo entre las diferentes entradas al proceso educativo y los resultados de dicho proceso, según sea el caso establecido.

Las instituciones educativas son objeto de análisis destinados a definir, medir y mejorar la eficiencia; por ello, para referirse a los estudios realizados sobre instituciones educativas desde el enfoque de la eficiencia, se debe mencionar “El informe Coleman, 50 años después” (^{Morales, 2016}). Las afirmaciones hechas en este informe generaron una serie de discusiones que motivaron el desarrollo de investigaciones en esta línea, a causa del impacto y trascendencia en términos del desarrollo socioeconómico.

Desde entonces, la línea de investigación se ha trabajado desde dos perspectivas (^{Thieme et al., 2011}). La primera es en relación con la educación y la psicología, la cual se enfoca en las connotaciones directas e indirectas de los procesos de enseñanza-aprendizaje de la academia (^{Teddlie y Reynolds, 2001}). La segunda perspectiva es en relación con la economía pública, haciendo énfasis en la eficiencia técnica; analizando unidades de decisión evaluadas según los diferentes factores y recursos (inputs) en correspondencia con los resultados (outputs) obtenidos por estos.

Este estudio hace referencia a la eficiencia de las instituciones educativas desde la perspectiva de la eficiencia técnica vinculada con la economía pública. En ese sentido, se detalla la revisión de literatura realizada por ^{Worthington (2001)} en la cual lista una serie de trabajos mencionados hasta 1998. Entre estos, están aquellos autores que hicieron uso del modelo SFA, como ^{Sengupta (1987)}, ^{Barrow (1991)}, ^{Deller y Rudnicki (1993)}, ^{Cubbin y Zamani (1996)} y ^{Bates (1997)}; y los que usaron el modelo DEA, como Charnes et al. (¹⁹⁷⁸, ¹⁹⁸¹), Sengupta y Sfeir (¹⁹⁸⁶, ¹⁹⁸⁸), ^{Ganley y Cubbin (1992)}, ^{Beasley (1995)} y ^{Haksever y Muragishi (1998)}.

El enfoque de la economía pública define un suministro eficiente cuando se utilizan los recursos de la mejor forma posible. Es decir, un sistema educativo presenta ineficiencias (o falta de eficiencia) cuando se pueden lograr mejoras en el nivel de resultados obtenidos, haciendo uso del mismo nivel dado de insumos (orientado al output); o si para el mismo nivel de resultados dado se logra disminuir el nivel de insumos (orientado al input) (^{Bessent y Bessent, 1980}). La investigación de ^{Sengupta y Sfeir (1986)} establece un punto de partida, en educación, para el examen de las técnicas de medición de la eficiencia en la frontera al realizar un estudio con un conjunto de datos utilizando el enfoque de frontera SFA y DEA.

En cuanto a Latinoamérica, ^{Miranda y Araya (2003)} muestran la eficiencia del programa para el mejoramiento de la calidad y el cubrimiento de la educación, en el área austral de Chile. ^{Ibáñez-Martín et al. (2017)} analizan el rendimiento académico de los estudiantes mediante la estimación de fronteras de eficiencia, método que permite distinguir el efecto de características del alumno y su entorno en Argentina. En México, ^{Becerril-Torres et al. (2012)} estiman una frontera de producción a través del método DEA, mostrando que la eficiencia promedio de la educación en México está cerca al 70%.

Para Colombia, el Departamento Nacional de Planeación estimó una frontera de producción departamental a través del DEA. En ella, determina cómo la inversión en educación, los contratos privados y el número de docentes deben fomentar alumnos con mejores calificaciones. El estudio fue hecho para la educación media, en el que se demostraron resultados contrarios en materia de eficiencia para los departamentos. Entre las debilidades de este estudio se encuentra que el método utilizado no tiene en cuenta los errores estocásticos que se presentan en el proceso de aprendizaje (^{Rodríguez-Murillo, 2014}).

Por otro lado, el estudio de ^{Melo-Becerra et al. (2017)} evalúa el desempeño de las instituciones de educación superior de Colombia, mediante la estimación de una frontera de posibilidades de producción, que permite evaluar la eficiencia relativa y sus determinantes; midiendo los factores externos que pueden influir en la calidad de la educación en Colombia.

^{Visbal-Cadavid et al. (2017)} presentan los resultados de un estudio de eficiencia de universidades públicas colombianas en el 2012, ejecutado con el método DEA. Dichos resultados prueban hasta qué punto los resultados de las instituciones de educación superior ineficientes podrían mejorarse y la posible causa de esta ineficiencia, analizando el cambio en la productividad del 2011 al 2012, aplicando el índice de Malmquist.

Por último, pero no menos importante, está la disyuntiva en llevar a cabo un análisis donde el sistema de agregación puede traer valor agregado e implicaciones notorias sobre el planteamiento inicial. Para el caso educativo, aunque los componentes particulares cambien, el análisis de la asociación entre variables de los niveles de agregación puede ser de consideración (^{Fertig y Wright, 2005}).

Para ^{Johnes (2014)} los resultados sugieren que, los DEA de nivel agregado proporcionan puntajes de eficiencia que reflejan los esfuerzos y las características tanto de los estudiantes como de la institución y el departamento. Así, en cuanto a la eficiencia en el campo de la educación existe una progresiva cantidad de estudios que están aplicando esta técnica para evaluar los diferentes aspectos relacionados con la eficiencia de los centros de educación (Giménez et al., ²⁰¹⁷, ²⁰¹⁹; ^{Portela y Thanassoulis, 2001}; ^{Thanassoulis et al., 2011}).

Se pueden identificar situaciones en que los niveles de efectividad escolar de un alumno están representados en su mayor parte por el margen de rendimiento de las escuelas. Así mismo, se relacionan los niveles de logros de las instituciones en la medida en que los logros de esos objetivos estén dados por el alumno (^{Thanassoulis y Portela, 2002}). Esto muestra el vínculo directo que existe entre el desempeño del estudiante y la institución.

B. Metodologías utilizadas para medir eficiencia

Aunque existen distintas metodologías para medir y analizar la eficiencia productiva, se presenta en este documento un enfoque a los métodos de frontera. Estos métodos se han establecido como fiables, puesto que obtienen una función de producción relacionando los productos obtenidos y los insumos de las unidades productivas consideradas en la evaluación. Dicha función determina el límite de posibilidades de producción, por lo cual la eficiencia de una unidad productiva viene dada por la distancia que la separa de la mencionada frontera. Una característica fundamental de estas funciones es la optimización, en el sentido de Pareto, pues todas ellas especifican el valor óptimo de la función que puede ser logrado bajo ciertas condiciones impuestas; es decir, una frontera (^{Cooper et al., 2006}). Cuando el óptimo está definido por la función de producción, la medida de eficiencia obtenida se denomina eficiencia técnica. Si la comparación se realiza considerando un óptimo definido en términos de un objetivo económico determinado, la medida de eficiencia obtenida se denomina eficiencia económica (^{Lovell et al., 1994}).

En los procesos de estimación, por medio de los métodos de frontera, se realizan generalmente mediante dos tipos de técnicas básicas (^{Dong et al., 2014}; ^{Murillo-Melchor, 1999}): paramétricas (técnicas que especifican la tecnología mediante una forma funcional conocida) y no paramétricas (técnicas que formulan las características de la tecnología mediante supuestos sobre el conjunto de producción). Hay dos grandes modelos dentro de los métodos de frontera (^{Caiazza et al., 2016}; ^{Greco et al., 2018}; ^{Prior, 1992}):

Ambos modelos de frontera tienen sus propios méritos y limitaciones. Una de las ventajas de aplicar análisis de frontera con respecto a las técnicas econométricas tradicionales es que provee medidas específicas de ineficiencia, que no siempre son el resultado del comportamiento directo de la unidad de producción. Así, las desviaciones pueden estar originadas en eventos que se encuentran bajo o fuera del control de dichas unidades (^{Melo-Becerra y Espinosa-Rodríguez, 2005}).

C. Estudios de eficiencia en educación en relación con procesos gubernamentales

Para visualizar una posible relación entre eficiencia educativa y gobierno, se deben identificar los distintos puntos de vista que han dado los investigadores en dicho contexto. Así, la medición de la eficiencia en la educación puede connotar distintos efectos en el ámbito gubernamental, haciendo uso de dicha medida como un instrumento aplicable o argumentativo en las acciones y decisiones gubernamentales. En este orden de ideas, en el cuadro 1 se muestran cuatro enfoques discutidos en cuanto a esta relación: instrumentos de desarrollo social, ajuste financiero, legislación política y, por último, competitividad, categorización y profesorado. Se identifican el tipo de relación, los autores que efectuaron el estudio, la región en la que se centró el estudio y el año de publicación del artículo de investigación.

Cuadro 1. Estudios de eficiencia en educación en relación con procesos gubernamentales 

Fuente: elaboración propia.

A. Antecedentes del método

En este estudio se plantea un método que, aparte de ser novedoso y una alternativa prometedora ya que es estocástico, semiparamétrico y no requiere una suposición explícita a priori sobre la forma funcional de la función de producción (^{Andor y Hesse, 2014}), apunta a uno de los objetivos de investigación más importantes en este campo: cerrar la brecha entre el SFA y el DEA (^{Johnson y Kuosmanen, 2011}). Este método viene ganando protagonismo en la literatura correspondiente a medición de eficiencia; abriendo camino en la medición de eficiencia en la educación.

El método StoNED difiere de los tratamientos paramétricos del SFA en que no se hacen suposiciones sobre la forma funcional, sino que se construye sobre las restricciones de forma global (monotonicidad y concavidad). Estas restricciones son equivalentes a los axiomas de libre disposición y convexidad del DEA. Por otro lado, el método StoNED difiere en su tratamiento de la ineficiencia y del ruido (^{Kuosmanen y Johnson, 2010}) del DEA, ya que este es sensible a los valores atípicos y al ruido. El método StoNED utiliza la información contenida en toda la muestra de observaciones para estimar la frontera e infiere el valor esperado de ineficiencia en una moda probabilística (^{Kuosmanen y Kortelainen, 2012}).

Hay dos diferencias importantes a resaltar cuando se plantea la comparación entre los modelos SFA y DEA con el método StoNED (^{Kuosmanen et al., 2015}). Primera, los métodos de estimación de eficiencia buscan estimar la función de producción subyacente; así, mientras que el SFA (paramétrica) requiere una suposición sobre la forma funcional de la función de producción, en el DEA (no paramétrica) la construcción de la frontera solo está restringida a través de su base axiomática (concavidad, monotonicidad, ineficiencia y no limitación de ruido), siendo esta la principal desventaja de SFA frente al DEA. El método StoNED (semiparamétrico) evita esta deficiencia mediante el uso de mínimos cuadrados convexos no paramétricos (convex nonparametric least squares, CNLS); los cuales no suponen una forma funcional particular, sino que eligen una función de la familia de funciones cóncavas continuas crecientes de manera monótona que mejor se ajustan a los datos. Por lo tanto, estos supuestos son comparables con los del DEA, pero son menos restrictivos que los del SFA.

Segunda, el supuesto sobre la composición del factor de error. Mientras que el método determinista (DEA) supone que toda la desviación es atribuida a la ineficiencia, los métodos estocásticos (SFA y StoNED) estiman la eficiencia técnica, al tiempo que admiten que podría haber ruido aleatorio en los datos, mediante el método de momentos (^{Aigner et al., 1977}), la técnica de máxima verosimilitud o seudomáxima verosimilitud (^{Fan et al., 1996}). En la determinación de la eficiencia técnica para cada unidad, los métodos estocásticos, utilizando las estimaciones previas (el término de error, la relación de ruido e ineficiencia) pueden estimar la eficiencia individual. El método determinista no considera el ruido aleatorio y la eficiencia técnica en la desviación completa de la frontera estimada.

En este sentido, ^{Johnson y Kuosmanen (2011)} establecen que al construir un estimador basado en el método StoNED (que combina la frontera axiomática, no paramétrica, estilo DEA, con el tratamiento probabilístico, estilo SFA, de ineficiencia y ruido) se tienen varias ventajas para estimar los efectos de las variables contextuales. Cabe destacar que este estimador de frontera es insesgado y estadísticamente consistente bajo supuestos más generales que los requeridos por otros métodos; de hecho, permanece constante incluso cuando el término de ruido no tiene límites y las variables están correlacionadas con las entradas. Así, las características ya mencionadas solventan el problema de la endogeneidad que se produce cuando la variable explicativa se correlaciona con el término de error en una regresión, lo cual implica que el coeficiente de regresión va a estar sesgado (^{Johnson y Kuosmanen, 2011}; ^{Kuosmanen y Johnson, 2017}); algo común en estudios de esta línea de investigación.

Para ^{Afsharian (2017)} el método StoNED puede extenderse como un estimador en el análisis de eficiencia de metafronteras. Igualmente, este método permite la estimación de tecnologías de producción conjunta que implican múltiples productos (^{Kuosmanen y Johnson, 2017}); así, en comparación con el SFA y el DEA, al analizar la medida en que se puede aplicar una función de producción para modelar tecnologías con entrada y salida multidimensional para StoNED, este conduce a resultados plausibles, aunque algo complicados (^{Schaefer y Clermont, 2018}).

Este método ha sido aprovechado en estudios de análisis de eficiencia en regulación y rentabilidad de energía eléctrica en distintos países (como China, Finlandia y Noruega) (^{Cheng et al., 2014}; ^{Dai y Kuosmanen, 2014}; ^{Kuosmanen, 2012}; ^{Kuosmanen et al., 2013}; ^{Li et al., 2016}). También hay estudios en los que hacen uso de este método aplicado a eficiencia de precios y elasticidades de la demanda agrícola (^{Shen y Lin, 2017}), eficiencia en la producción de maíz (^{Chaovanapoonphol y Somyana, 2018}), eficiencia intertemporal de los equipos de ventas en bancos (^{Eskelinen y Kuosmanen, 2013}) y eficiencia de la administración tributaria (^{Nguyen et al., 2020}).

Hay un estudio de ^{Louca y Demosthenous (2015)} en el que, por medio del método StoNED como método de análisis de eficiencia productiva, se sustenta la discusión en torno a las teorías en medición de la eficiencia en la educación, dimensiones sociales, económicas y culturales, como contribución al crecimiento económico sostenible, aplicado en la agricultura. Los autores sugieren que la eficiencia en la educación debe medirse para lograr un crecimiento económico sostenible y proponen emplear StoNED como una herramienta en la medición de la eficiencia en la educación.

Lo presentado establece una serie de estudios enfocados al análisis de eficiencia que hacen uso del método StoNED; indicando con esto dos situaciones. Una, que es novedoso, relevante y útil para la medición de eficiencia, a pesar de ser un método nuevo. Dos, que en el ámbito académico no hay evidencia de que se haya realizado un trabajo de análisis de eficiencia en relación con instituciones educativas; aunque se plantea la posibilidad de servirse de este método para ejecutar dicho análisis. De esta manera, lo mencionado abre una brecha de investigación correspondiente a la medición de la eficiencia de la productividad de las instituciones educativas; planteamiento que se desarrolla en este documento.

Por último, en el sentido de contextos educativos, se hace precisión sobre posibles aspectos favorables y desfavorables que pueden existir al utilizar el método StoNED para este análisis. Como ventajas, se debe tener en cuenta que el análisis de ineficiencia es más fuerte que el que plantea un SFA, pero menos severo que el que propone un DEA; siendo un punto medio útil en el planteamiento educativo por los factores externos que se pueden presentar y ser parte del estudio (^{Kuosmanen y Kortelainen, 2012}). Por otro lado, como inconveniente, se debe considerar que en el contexto educativo es útil hacer uso de varios outputs dependiendo del análisis que se desee trabajar y, en este caso, el método StoNED presenta complicaciones y no es fácil el proceso para este análisis (^{Kuosmanen y Johnson, 2017}).

B. Desarrollo metodológico

Este modelo propone un nuevo método de dos etapas. La primera conlleva aplicar CNLS para estimar la forma de la frontera sin suposiciones sobre su forma funcional o suavidad. En la segunda las expectativas condicionales de ineficiencia se estiman con base en los residuos de CNLS, utilizando el método de los momentos o técnicas de cuasiverosimilitud (^{Kuosmanen y Johnson, 2010}).

El estimador StoNED se plantea en cuatro pasos, que no necesariamente se deben ejecutar:

Dependiendo de las estimaciones que se deseen realizar, estimar los parámetros CNLS en el paso 1 puede ser suficiente. Los otros pasos no influyen en las estimaciones de productos marginales de los factores de entrada, los coeficientes o la clasificación de eficiencia relativa de las unidades.

El paso 2 es necesario si se requiere el nivel de ineficiencia promedio para la muestra, el paso 3 es necesario para imponer una extrapolación mínima y el paso 4 es necesario si se demandan las estimaciones cardinales de ineficiencia específicas de las instituciones (^{Ray et al., 2015}).

C. Datos y variables

En Colombia, los estudiantes del último curso de la educación media presentan la prueba Saber 11, requisito indispensable para ingresar a los programas de educación superior en pregrado, de conformidad con la Ley 30 de 1992 de la legislación colombiana. Sin embargo, es preciso aclarar que, conforme con las disposiciones legales vigentes, las pruebas Saber 11 no constituyen un requisito indispensable para obtener el grado de bachiller, que indica el fin de la educación media.

No obstante, la Ley 1324 de 2009 señala la obligación para las instituciones educativas de presentar a todos sus estudiantes, salvo circunstancias excepcionales como la incapacidad médica del estudiante. En contraste con lo anterior, puede darse la existencia de un sesgo de selección, por parte de las directivas institucionales, como consecuencia de la elección de los estudiantes que se presentan a la prueba; sin tener alguna excepción válida (^{Hofflinger y Von-Hippel, 2020}). Dicha situación da lugar al planteamiento alterno que se tendrá en cuenta en los modelos, como en la discusión de los resultados, de este estudio.

Esta investigación se diseña haciendo uso de los resultados de las pruebas Saber 11 del año 2016, como primer año del periodo comprendido entre 2016 y 2019¹⁰. Por tanto, de los aproximadamente 574000 estudiantes de las cerca de 9700 instituciones educativas de Colombia, este estudio emplea los datos de 552673 estudiantes de 9212 instituciones educativas (5834 públicas y 3378 privadas) de 1009 municipios en los 33 departamentos de Colombia. La decisión de emplear estos datos corresponde a las instituciones educativas de las cuales se logró encontrar la información pertinente y necesaria para todas las variables que se han de considerar en el modelo.

La información mencionada sobre las instituciones, utilizada para este estudio, se obtuvo de dos fuentes. La primera, de la base de datos del Icfes (21 de septiembre del 2022), correspondiente a Saber 11 en el repositorio correspondiente a investigadores y divulgación. Esta base de datos contiene información acerca del estudiante, su familia y la institución educativa relacionada durante el periodo estudiado. La segunda, de la base de datos del Departamento Administrativo Nacional de Estadística (Dane) en su catálogo de microdatos del Archivo Nacional de Datos sobre educación formal (^{Dane, s.f.}). Esta base de datos contiene distintos módulos de información respecto a las instituciones educativas del país, donde se exponen particularidades más detallas sobre estudiantes, docentes, administrativos e instituciones.

En el modelo se utilizarán como unidades de decisión las instituciones educativas, las cuales se relacionarán por medio de los puntajes obtenidos por sus estudiantes en las pruebas Saber 11. De esta manera, se manejarán dos niveles de agregación, un primer nivel por institución educativa y un segundo nivel por departamentos. Por otro lado, entendiendo por eficiencia la comparación entre los valores observados y los óptimos, la comparación se hará orientada al output; es decir, la comparación entre el output máximo alcanzable y el realmente alcanzado, para un cierto nivel dado de inputs.

Se plantea el modelo con cinco variables distribuidas en un output y cuatro inputs. Siguiendo la línea en eficiencia en educación (^{De Witte y López-Torres, 2015}; Giménez et al., ²⁰¹⁷, ²⁰¹⁹; ^{López-Torres y Prior, 2016}; ^{Sagarra et al., 2017}) se hará uso de los puntajes de las pruebas como output. Se marca la discrepancia, a este nivel de agregación entre los estudiantes matriculados que deberían haber presentado la prueba y la cantidad de estudiantes que realmente presentaron la prueba; en consecuencia, se realizan dos modelos. Uno se desarrolló empleando como output el puntaje acumulado presentado, calculado con la suma acumulada de los puntajes de los estudiantes que presentaron la prueba de cada institución. El otro se desarrolló usando como output el puntaje acumulado de cada institución, calculado con el producto entre el puntaje promedio de cada institución y la cantidad de sus estudiantes matriculados aptos para presentar la prueba, que no es la misma cantidad de estudiantes que presentaron la prueba en cada institución, ni la misma cantidad de estudiantes matriculados en la institución.

Este planteamiento se estableció al observar que, en los datos, la cantidad de estudiantes que presentaron la prueba no coincidía con la cantidad de estudiantes matriculados en cada institución, en el año de escolaridad, aptos para presentar la prueba. Esta observación traza la posibilidad de estudiar dos escenarios. Uno en que se penalice la decisión de la institución de enviar solo algunos estudiantes a presentar la prueba, siendo más exigente, y otro en el que, siendo más flexible, se asuma un promedio general con todos los estudiantes matriculados en la institución aptos para presentar dicha prueba (^{Gómez-Silva, 2016}; ^{Hofflinger y Von-Hippel, 2020}; ^{Iregui et al., 2007}). Además, aunque esta prueba se puede presentar en más de una oportunidad, solo se tomaron los datos de aquellos estudiantes que han presentado la prueba por primera vez.

Los inputs con que se elabora este estudio son acordes con las variables utilizadas en la línea de eficiencia en la educación, los cuales se pueden encontrar en la literatura: cantidad de alumnos matriculados (aptos o que presentaron la prueba), cantidad de docentes, equipos electrónicos, así como un índice socioeconómico (categorizados de uno a cuatro, que incluyen distintas características tanto de los estudiantes, en su ambiente individual, como de la institución, en su ambiente colectivo). El cuadro 2 relaciona los inputs tomados, con los autores y año de publicación del artículo.

Cuadro 2. Inputs en la literatura de eficiencia educativa 

Fuente: elaboración propia.

A. Resultados

En concordancia con el método StoNED, se identifica que, en promedio, la verificación de la asimetría está en la dirección correcta; dado que para una función de producción debería ser mayor que cero (^{Kuosmanen y Kortelainen, 2012}). Sin embargo, es preciso aclarar que algunos de estos valores estimados corresponden a cero, lo cual indica que hay situaciones presentes de ineficiencia en ambos modelos presentados (^{Afsharian, 2017}).

En aras de la integridad, teniendo en cuenta que la productividad se estimó utilizando el método StoNED haciendo uso del estimador de momentos aplicado a los valores calculados por la regresión de CNLS, el ajuste empírico del modelo se puede medir empleando los parámetros convencionales (^{Kuosmanen, 2012}). Para ello se presentan en el cuadro 3 los parámetros de varianza estimados de los términos de ineficiencia, los términos de ruido, los valores esperados de ineficiencia y los respectivos coeficientes de determinación.

De esta manera, haciendo uso de la información que se observa en el cuadro 3, se expone el análisis empírico correspondiente a los modelos desarrollados; considerando que uno trata el escenario con los estudiantes que se presentaron a la prueba y el otro con todos los estudiantes matriculados en el colegio y aptos para acudir a la prueba.

En promedio, el valor esperado del término de la ineficiencia es menor en el primer escenario; lo cual muestra que la eficiencia esperada para el primer escenario ha de ser mayor que para el segundo. Este resultado podría explicar por qué algunas instituciones hacen una selección previa de los estudiantes que envían a las respectivas pruebas; ya que, de esta forma, podrían mostrar una mayor eficiencia de sus procesos educativos (^{Hofflinger y Von-Hippel, 2020}). De manera dual, nótese que, en promedio, el valor esperado de la eficiencia de producción es mayor en el primer escenario. Esto concuerda con la implicación en que el primer escenario pueda verse como una ventaja en términos de eficiencia y, por tanto, en términos evaluativos en relación con las instituciones; ya que resultados obtenidos en las pruebas pueden generar beneficios directos para estas.

Cuadro 3. Estimaciones de parámetros 

Fuente: elaboración propia.

Por otro lado, la varianza del término del error compuesto está dada por la suma de las varianzas del término de ineficiencia y del término del ruido. En ambos escenarios el comportamiento del término del ruido es mayor y corresponde al 99.56% y al 99.64%, respectivamente, de la varianza total. Este resultado pone en evidencia la ventaja de los métodos paramétricos sobre los no paramétricos, los cuales al basarse en planteamientos estadísticos permiten considerar el ruido aleatorio generado por errores de medición (^{Lotero y Castellanos, 2008}) o por alguna equivocación en el reporte de los datos de las instituciones educativas.

Sin embargo, es claro que el segundo escenario evidencia mayor nivel de varianza de ambos términos (de ineficiencia y de ruido), lo cual implica un mayor nivel de varianza total; mostrando una menor volatilidad en el contexto del primer escenario (15.91%) que en el segundo (84.21%). Este resultado sustentaría la implicación del castigo realizado en los datos del modelo, al establecer un segundo escenario donde los puntajes totales no corresponden únicamente a los alumnos que acudieron a la prueba. Así, la volatilidad presentada podría implicar que si las pruebas se efectuaran con la totalidad de los estudiantes aptos para poderla presentar, los resultados obtenidos finalmente podrían distar mucho de los resultados obtenidos con los pocos estudiantes que hicieron realmente la prueba.

Dado que el método StoNED se basa en la regresión de mínimos cuadrados, el ajuste empírico del modelo se puede analizar utilizando el método convencional del coeficiente de determinación (R²) (^{Kuosmanen y Johnson, 2010}). En este contexto, este coeficiente mide la proporción de la varianza explicada por el modelo, indicando, para este caso de estudio, que los modelos tienen una capacidad explicativa significativa, al explicar más del 99% en el primer escenario y más del 87% en el segundo escenario. Además, este resultado indica que en el primer escenario el modelo explica mejor el comportamiento de los datos con relación al segundo escenario; lo cual coincide y corrobora lo analizado en el valor esperado de la eficiencia y en la varianza en términos de eficiencia y ruido.

Por último, debido a que cada observación solo se relaciona una vez en los datos de sección transversal (año 2016), las clasificaciones de eficiencia que resultan al analizar los residuos son consistentes. En este sentido, las aplicaciones de la calificación de las instituciones por ineficiencia, en promedio, son a menudo las medidas de interés primario (en particular para la evaluación del año en mención). Estos resultados confirman la bondad que presenta la implementación del método StoNED en la medición de eficiencia y, de manera particular en la educación, dado el caso de estudio que se trata en este documento.

Lo anterior, tiene que ver con que las suposiciones poco restrictivas del método StoNED implican un rango más amplio de aplicabilidad, lo que hace que StoNED sea más robusto tanto para la especificación incorrecta del modelo como para el ruido (^{Kuosmanen y Kuosmanen, 2009; Mekaroonreung y Johnson, 2012}). Además, por construcción, la frontera StoNED maximiza el ajuste empírico bajo los axiomas postulados (^{Kuosmanen et al., 2015}), de forma que ninguna otra función de productividad que satisface la disponibilidad libre, la convexidad, la heterocedasticidad y los rendimientos constantes puede lograr una estadística R² más alta.

B. Discusión

Una vez validados los resultados obtenidos, presentados y analizados, se plantea ahora un enfoque en relación con el primer nivel de agregación que se tuvo en cuenta en este estudio, la eficiencia con respecto a las instituciones educativas. Desde este punto de vista, se puede establecer que el 58.50% de estas instituciones educativas presenta coeficientes de eficiencia técnica de la productividad educativa. Es decir, un poco más de la mitad de las instituciones evaluadas parecen demostrar una mejor gestión de los recursos, en términos absolutos, al identificar que están obteniendo el máximo rendimiento de los recursos asignados a sus planteles educativos.

De estas instituciones educativas, tan solo el 2.80% son de naturaleza oficial y el 3.25% corresponden a centros educativos localizados en zona rural. Esto muestra que la mayoría de las instituciones que parecen presentar eficiencia se encuentran en la zona urbana y son de naturaleza no oficial. Este resultado es bastante inquietante, cuando se tiene en cuenta que el 63.33% de las instituciones evaluadas en este estudio son de naturaleza oficial y que el 29.41% se ubican en la zona rural de Colombia. Esto indica que puede no ser correspondiente la relación de las instituciones con los lineamientos dados desde las secretarías de educación gubernamentales de cada departamento; puesto que, si la mayoría de las instituciones de naturaleza oficial presentan ineficiencia, las directrices enviadas desde las secretarías de educación no están siendo las adecuadas o no están cumpliendo con el propósito trazado de eficiencia en las instituciones.

Lo anterior puede darse en principio por dos razones. La primera es que las directrices dadas por medio de políticas educativas de forma general a todo un departamento pueden no tener en cuenta los contextos individuales de las instituciones educativas, tanto en relación con la diferencia de ser oficial y no oficial, como con la diferencia de la ubicación de la institución, en cuanto a ser urbana o rural; más aún, cuando estudios previos destacan la importancia de esta diferenciación sobre el desempeño de los estudiantes (^{MEN, 2014}; ^{OCDE, 2016}). La segunda razón puede estar relacionada con las diferentes implementaciones que buscan dar beneficios a las instituciones educativas que muestren bondades en sus procesos de productividad educativa, aunque este resultado no sea necesariamente el correcto. Una forma de establecer dichos resultados pueden ser los componentes de la medición de los índices del Icfes, como lo es la promoción de estudiantes, la graduación de estudiantes (o en el mismo sentido, la deserción) o las valoraciones de pruebas estandarizadas; las cuales, como es el caso de la última, podrían no garantizar los propósitos establecidos para las instituciones educativas y, por ende, para los alumnos de estas.

Ahora, al hacer un análisis de los resultados obtenidos teniendo en cuenta el segundo nivel de agregación, es decir por departamentos, cabe resaltar que los departamentos que tienen mayor porcentaje de instituciones que parecen presentar eficiencia son Bogotá, Antioquia y Caldas. Así mismo, tal como se puede evidenciar en el cuadro 4, los departamentos que tienen menor porcentaje de instituciones que presentan eficiencia son San Andrés, Guaviare, Vaupés, Vichada y Guainía. Estos resultados demuestran la centralización existente en cuanto a desarrollo y gestión de recursos, ya que los dos departamentos que revelan mayor eficiencia son los departamentos más sobresalientes de Colombia, en muchos aspectos (no solo en lo educativo); más aún cuando se comparan con el tercer departamento del cuadro, en adelante.

Cuadro 4. Porcentajes de instituciones por departamento 

Fuente: elaboración propia.

Otro indicador de la centralización y margen imparcial que se evidencia (^{Tsai et al., 2017}) es que, sin contar los dos departamentos con mayor eficiencia, solo nueve departamentos (27.27%) están por encima del promedio del porcentaje de instituciones que presentan eficiencia por departamento (1.77 %). Esto quiere decir que veintidós departamentos se encuentran en el caso contrario (por debajo del promedio) con una diferencia entre ellos de 1.73 puntos porcentuales; mostrando que la diferencia en estos departamentos es compacta, en comparación con los departamentos que están por encima del promedio que se comportan de una manera mucho más dispersa, con una diferencia de 7.08 puntos porcentuales. Este resultado, de alguna manera, puede ser esperado; ya que en la mayoría de los países de Latinoamérica existe una gran centralización en diversos aspectos, tales como economía, desarrollo, inversión y educación (^{OCDE, 2016}; ^{OCDE/Unesco, 2016}).

En cuanto a la gestión de las secretarías departamentales se conoce que el direccionamiento de estas desempeña un papel importante en el desarrollo y, por tanto, son relevantes en la eficiencia de las instituciones educativas (^{MEN, 2014}). Lo anterior se puede evidenciar al estudiar los planes de desarrollo de gobierno de los departamentos de Bogotá (“Bogotá mejor para todos” 2016- 2019¹¹) y Antioquia (“Pensando en grande” 2016-2019¹²), los cuales evidencian una correspondencia con los resultados obtenidos. En estos planes trazan directrices en cuanto a garantías de apoyo a los procesos formativos de los estudiantes, cobertura y articulación en la calidad de los ciclos lectivos de las instituciones, garantías de fortalecimiento y capacitación de docentes y funcionarios, infraestructura, oportunidades de dotación y modernización para el aprendizaje desde enfoques diferenciales de tecnología y afines, bienestar estudiantil y gestión educativa institucional, entre otros tópicos.

Esto no significa que departamentos como Vichada y Guainía no tengan planes estructurados desde sus secretarías de gobierno (“Construyamos Vichada” 2016-2019¹³ y “Vamos pa’lante Guainía” 2016-2019¹⁴), pero los resultados muestran que la ejecución de dichos planes o su desarrollo no fue igual de relevante en ambos casos. Esto puede implicar una marcada diferencia en la gestión de las directrices y planes establecidos desde los estamentos de gobierno departamental; puesto que, aunque se tiene una estrategia trazada no se logra llevar a cabo o, por lo menos, no se logra obtener los resultados que se buscaban con ella.

Además, ante el hecho de que solo se evaluó el año 2016 (año de inicio de los gobiernos departamentales) se debe precisar que el efecto que pudo llegar a notarse en los resultados obtenidos no necesariamente es fruto de las secretarías departamentales de ese momento, que fueron las evaluadas. Esto tiene que ver con dos aspectos. Un primer aspecto es el importante rol que ejerce el empalme entre la administración saliente y la gestión ejecutada por esta; ya que, tras dicho empalme no se alcanza a ver reflejada completamente la implementación de la estrategia de la nueva administración, sino que alcanza a haber algún residuo de las estrategias planteadas por la administración anterior.

El segundo aspecto es el hecho de que los resultados arrojaron que la mayoría de las instituciones que presentaron eficiencia no fueron de naturaleza oficial. Lo que puede indicar una connotación particular del desarrollo de las instituciones educativas independiente del direccionamiento de las secretarías; es decir, un comportamiento puntual de las instituciones no oficiales, gracias a la autonomía y libertad de cátedra de las que pueden gozar. Sin embargo, este es un resultado importante, como un claro punto de partida para la continuación de la evaluación en el resto del periodo administrativo, logrando visualizar una posible relación entre las directrices de las secretarías de educación y los resultados de la eficiencia en las instituciones educativas.

A. Conclusiones

El método StoNED es un método estable y consistente con el desarrollo de la medición de eficiencia en instituciones educativas bajo las condiciones descritas en este documento. Este método permite que el ruido estocástico se modele de manera probabilística, la heterogeneidad de las instituciones y sus entornos operativos sean tenidos en cuenta y puedan aplicarse pruebas estadísticas convencionales y acordes con la literatura. Además, es de destacar que este estimador de frontera cierra la brecha existente entre métodos paramétricos (como el SFA) y no paramétricos (como el DEA), perfilándose como un método más adecuado para la medición de eficiencia; y, más aún, al tener en cuenta que este estimador es insesgado y estadísticamente consistente bajo supuestos más generales que los requeridos por otros métodos, presenta bondades que por lo general son vistas como dificultades al trabajar con otros métodos. De esta manera, con la utilización del método StoNED en este estudio se contribuye a la apertura de un nuevo camino en las investigaciones de la medición de eficiencia técnica, especialmente en la línea de educación, puesto que permite entrar a comparar resultados obtenidos con otros métodos utilizados en la medición de eficiencia.

Se encuentra que hay una ligera ventaja en la cantidad de instituciones que reportan una eficiencia técnica con respecto a la cantidad de instituciones que no la presentan, en ambos escenarios. Sin embargo, según la teoría desarrollada en el marco de este estudio no es errado esperar un resultado semejante, a causa de que la forma en que se implementan las evaluaciones del sistema educativo de las instituciones está enfocada en la calidad y no en la eficiencia; por lo que se puede estar presentando una situación en la que las instituciones busquen cumplir, aunque dicho cumplimiento no sea el óptimo. Por tanto, al considerar que se realizó una medición orientada al output, se está identificando que la optimización de recursos por parte de las instituciones educativas no está siendo la adecuada, y aunque es posible que los recursos con los que cuenten estas instituciones no sean los mejores, se está evidenciando que se podría hacer un mejor uso de estos.

En más detalle, se logra establecer que la mayoría de las instituciones educativas que no presentan eficiencia técnica son aquellas de naturaleza oficial. Este resultado permite llegar a una conclusión con dos enfoques. Un primer enfoque es el sinsabor que deja el análisis de la gestión de las secretarías de educación de cada departamento del país, ya que es en las entidades de esta naturaleza que más se debería notar el impacto que generan las directrices dadas por dichas secretarías, al tener una implicación directa del ente gubernamental. El segundo enfoque implica que, dado que la mayoría de las instituciones que presentaron eficiencia eran de naturaleza no oficial, pueden existir factores de gestión interna responsables de la eficiencia que se presenta en las instituciones; lo cual complementa la anterior aseveración, dando lugar a que aquellas instituciones que presentan mayor eficiencia la presentan porque se están dando directrices de manera particular, ajenas a las dictadas por las secretarías departamentales.

De manera semejante, se establece que la mayoría de las instituciones educativas que no reportan eficiencia técnica son aquellas ubicadas en zona rural. Este hallazgo es muy sensible y de mucha importancia, puesto que muestra la falta de gestión no solo de las directivas de las instituciones y de las secretarías de educación departamental sino también del Ministerio de Educación como máximo organismo de educación en Colombia y como ejecutor de las directrices, en el ámbito educativo, de los planes de desarrollo establecidos que buscan cobertura y fortalecimiento en las áreas rurales del país. Sin embargo, esto no exime la responsabilidad directa de las secretarías y directivas, puesto que el objetivo trazado es optimizar los recursos con los que se cuentan; que, haciendo hincapié, si bien no han de ser los mejores recursos posibles, por condiciones socioeconómicas del país en estas regiones, podría conseguirse un mejor resultado con ellos.

Por otro lado, la decisión de algunas instituciones de solo enviar a algunos estudiantes a la prueba, en lugar de a todos los estudiantes matriculados y aptos para hacer la prueba, puede verse como una ventaja que se busca tener en cuanto a la evaluación de la institución a realizar. Esto se puede inferir, ya que al hacer el análisis en este escenario se puede visualizar que los índices de eficiencia que arrojan las instituciones que tienen dicha práctica son mejores en comparación con las otras instituciones que no acostumbran este proceder. Este es un resultado de gran cuidado, más aún si se considera que en el planteamiento de la metodología que se siguió en este estudio se buscó penalizar esta práctica y, aun así, los resultados arrojaron una diferencia significativa en los índices de eficiencia entre ambos tipos de instituciones en este escenario. Lo cual da muestra de la prelación que llevarían estas instituciones en términos comparativos y, por tanto, una posible explicación del porqué se realiza esta práctica; más si se piensa en la evaluación enfocada en la calidad y no en la eficiencia.

Por último, desde una perspectiva más general, con este estudio se abre camino en la investigación sobre la posibilidad de analizar el impacto que pueden generar los direccionamientos dados por parte de las secretarías de educación y la relación de la gestión de estas con la eficiencia técnica que pueden presentar las instituciones educativas de los diferentes departamentos. Este documento constituye un primer paso en el desarrollo de políticas de educación establecidas con base en tres aspectos. Uno, en cuanto a la forma de hacer la evaluación de las instituciones, para no solo plantear una medición que defina la calidad o eficacia de la institución, sino que se pueda complementar dicha evaluación con la medición de la eficiencia que presentan las instituciones; de cara a volverlas más competitivas y a conseguir desarrollar un mejor uso de los recursos dados para la educación. Dos, en cuanto al cumplimiento de los objetivos del MEN en relación con las instituciones educativas; lo cual implicaría dar seguimiento a las directrices dadas por el MEN para ser implementadas en las instituciones, logrando la cobertura de educación de naturaleza oficial en zonas rurales y llevando la educación a un nivel de competitividad adecuado, consiguiendo homogeneizar la educación en Colombia. Tres, en cuanto a conservar aquellos factores de acción identificados como buenas prácticas, ya sea por parte de la gestión de las secretarías departamentales como por parte de las directivas, que permitieron alcanzar la eficiencia en ciertas instituciones; esto con el ánimo de seguir manteniendo la eficiencia obtenida en estas instituciones, así como de implementar dichas prácticas en las instituciones que continúen presentando una ineficiencia técnica, de cara a incrementar cada periodo la cantidad de centros educativos que presente eficiencia en su gestión.

B. Limitaciones

Como en muchas investigaciones empíricas, uno de los limitantes más fuertes que se tiene es la base de datos con que se trabaja. En este caso, aunque se trabajó con las bases de datos otorgadas por las autoridades nacionales en el tema (Icfes y Dane), puede llegar a darse que los datos registrados por parte de las instituciones o de las autoridades locales no hayan sido los correctos o que haya habido algún tipo de error en su digitalización. Por otro lado, dado que este estudio efectúa un análisis teniendo como variable, para la unidad de medida, a los estudiantes de las instituciones educativas por medio de los puntajes obtenidos por estos en las pruebas en mención, puede existir un sesgo dado por el comportamiento de ciertas instituciones al no presentar a todos sus estudiantes a la realización de la prueba con el fin de inflar las estimaciones; sin embargo, en este caso, esto se puede evidenciar y contrarrestar al plantear los dos escenarios al momento de ejecutar el método.

C. Líneas futuras

A partir de este estudio se deja abierta la posibilidad de dar continuidad a lo planteado en este documento para el año 2019, dado que es el último año del periodo; formalizando un estudio final donde se analice el cambio en la eficiencia a través del tiempo, desde el 2016 al 2019, que sería completo el periodo de administración local. Así mismo, implementar un estudio donde se utilice una variable z adicional (quizá como bad output) para controlar mejor la heterogeneidad de las instituciones y sus entornos operativos.