http://dx.doi.org/10.15446/innovar.v24n54.46720

Análisis de la eficiencia técnica y su relación con los resultados de la evaluación de desempeño en una Universidad Chilena

Analysis of Technical Efficiency and its Relation with Performance Evaluation Results in a Chilean University

Analyse de l'eff icience technique et sa relation avec les résultats de l'évaluation de comportement dans une université chilienne

Análise da eficiência técnica e a sua relação com os resultados da avaliação de desempenho em uma universidade chilena

Hernán Cáceres V.^I, Werner Kristjanpoller R.^II, Jorge Tabilo A.^III

^I Universidad Católica del Norte, Antofagasta, Chile. Correo electrónico: hcaceres@ucn.cl

^II Universidad Tecnica Federico Santa María, Valparaiso, Chile. Correo electrónico: wener.kristjanpoller@usm.cl

^III Universidad Católica del Norte, Antofagasta, Chile. Correo electrónico: jtabilo@ucn.cl

Correspondencia Werner Kristjanpoller R. Universidad Tecnica Federico Santa María. Departamento de Industrias. Av. España 1680, Valparaiso, Chile.

Citación: Cáceres, H., Kristjanpoller, W., & Tabilo, J. (2014). Análisis de la eficiencia tecnica y su relación con los resultados de la evaluación de desempeño en una Universidad chilena. Innovar, 24(54), 199-217.

Clasificación JEL: C67, I21, I22, I23.

Recibido: Julio 2012; Aprobado: Diciembre 2013.

Resumen:

La preocupación por el uso eficiente de los recursos y la maximización de la contribución a la sociedad, de parte de las instituciones de educación superior, está cada vez más presente en el debate nacional. Así, el objetivo de esta investigación se centra en la medición de la eficiencia tecnica de las Unidades Academicas de una Universidad chilena utilizando el metodo de Análisis Envolvente de Datos (DEA). Se establece un marco metodológico que se adapta a la disponibilidad de información y a la tecnología productiva de la institución, aplicando procedimientos que permiten la reducción de variables a una cantidad apropiada para que los resultados del DEA sean confiables, y condiciones de borde para atender a los objetivos supuestos para la Universidad y no sólo a los de sus Unidades. Además, se plantean cursos de acción para la mejora de la eficiencia. Luego, los resultados se contrastan con el instrumento de evaluación de actividad academica que en la actualidad posee la Universidad. Como conclusión se identifica discordancia entre ambos resultados, estableciendose las modificaciones que se debieran hacer por parte de la Universidad en sus instrumentos de evaluación hacia la mejora de la eficiencia, lo que es aplicable a otras instituciones de educación superior chilenas y latinoamericanas.

Palabras clave: eficiencia, análisis envolvente de datos, DEA, educación superior, desempeño universitario.

Abstract:

Discussion of how to ensure the efficient use of resources and maximize the contribution made to society by higher education institutions is growing in importance. In response, this research uses data Envelopment Analysis (Déa) to measure the technical efficiency of Academic Units in a Chilean university. A methodological framework was developed that was adapted to the availability of information and productive technologies by applying procedures that allow for the reduction of variables to an appropriate quantity to ensure the reliability of the DEA results and to ensure that the boundary conditions enable the objectives of the university as a whole to be addressed and not just those of the Academic Units. Courses of action are also proposed to improve efficiency. Subsequently, the results are compared with the academic evaluation mechanisms currently used by the university. The conclusions identify a discordance between the results and identify the modifications the university should make to its evaluation tools in order to improve their efficiency. These results are applicable to other Chilean and Latin American higher education institutions.

Key words: Efficiency, Data Envelopment Analysis (DEA), higher education, university performance.

Résumé:

La preoccupation pour l'utilisation efficiente des ressources et l'optimisation de la contribution à la société par les institutions d'education supérieure est toujours plus presente dans le débat national. Ainsi, l'objectif de cette etude est centre sur la mesure de l'efficience technique des Unités universitaires d'une université chilienne en utilisant la methode d'analyse d'enveloppement des donnees (AED). Il est etabli un cadre methodologique qui s'adapte à la disponibilite de l'information et à la technologie productive de l'institution en appliquant des procedures qui permettent la reduction de variables à une quantite appropriee pour que les resultats de l'AED soient fiables, et les conditions aux limites pour repondre aux objectifs supposes pour l'Universite et pas seulement à ceux de ses Unites. En outre, sont prevus des cours d'action pour l'amelioration de l'efficience. Ensuite, les resultats sont compares à l'instrument actuel devaluation d'activite de l'Universite. Comme conclusion apparait une discordance entre les deux resultats, et sont etablies les modifications qui devraient être faites par l'Universite dans ses instruments d'evaluation pour une amelioration de l'efficience, ce qui est applicable à d'autres institutions d'education superieure chiliennes et latino-americaines.

Mots-clés: Efficience, analyse d'enveloppement des donnees -AED-, education superieure, comportement universitaire.

Resumo:

A preocupação pelo uso eficiente dos recursos e a maximização da contribuição à sociedade, por parte das instituições de ensino superior, está cada vez mais presente no debate nacional. Assim, a finalidade desta pesquisa está centrada na medição da eficiência tecnica das unidades académicas de uma universidade chilena utilizando o metodo de análise envolvente de dados (DEA). Fica estabelecido um marco metodológico que se adapta à disponibilidade de informação e à tecnologia produtiva da instituição, aplicando procedimentos que permitem a redução de variáveis, ate uma quantidade apropriada, para que os resultados da DEA sejam confiáveis, e condições de contorno para atender os objetivos supostos para a universidade e não só aos das suas unidades. Alem disso, são propostos cursos de ação para a melhora da eficiência. Depois, os resultados são contrastados com o instrumento de avaliação de atividade acadêmica que a universidade tem atualmente. Como conclusão, e identificada a discordância entre ambos os resultados, estabelecendose as modificações que deveriam ser feitas por parte da universidade nos seus instrumentos de avaliação para a melhora da eficiência, o que e aplicável a outras instituições de ensino superior chilenas e latino-americanas.

Palavras-chave: Eficiência, análise envolvente de dados, DEA, ensino superior, desempenho universitário.

Introducción

Los últimos acontecimientos a nivel nacional e internacional muestran el interes por el uso eficiente de los recursos públicos asignados a las instituciones de educación superior y la contribución de estas a la sociedad. La productividad academica se hace más relevante para cada país, ya que se reconoce como fundamental en la formación profesional, en la generación de conocimiento y en el desarrollo de las naciones.

Este interes ha llevado a diferentes decisiones y análisis en el caso de Chile: rankings independientes que tienen como objetivo mejorar la información a la que acceden los postulantes al sistema universitario, utilización de indicadores academicos para clasificar a las Universidades del Consejo de Rectores en los distintos tramos del Arancel de Referencia, repartición del 5% variable del Aporte Fiscal Directo en base a criterios de productividad científica de las instituciones, uso de criterios de producción científica en los procesos de acreditación, etc.

Los sistemas de evaluación del desempeño implementados por las universidades buscan alinearse con la productividad y calidad científica, aunque, cuando se analizan en la práctica a nivel de Unidad Academica, las evidencias de productividad científica no guardan completa relación con las calificaciones obtenidas.

Por otro lado, la medición de la productividad academica posee complejidades, como por ejemplo la definición de los indicadores a medir, ponderaciones, características propias de cada disciplina, valorización de las características de los academicos, forma de incluir la calidad de la producción academica generada, entre otras. Debido a las debilidades del conocimiento en estas materias es importante establecer marcos referenciales que permitan analizar de mejor manera la eficiencia academica así como tambien respecto a las interpretaciones de los resultados obtenidos.

Este artículo se enmarca en la medición de eficiencia tecnica entre las Unidades Academicas al interior de una Universidad chilena¹ utilizando Análisis Envolvente de Datos (DEA). Este análisis permite caracterizar a cada una de las Unidades Academicas mediante una única puntuación de eficiencia, proponiendo oportunidades de mejora para cada una, ya que permite identificar las fuentes y magnitudes de ineficiencia. El análisis DEA posee la capacidad de manejar situaciones de múltiples inputs y outputs expresados en distintas medidas.

Los resultados obtenidos mediante el análisis DEA serán contrastados con la evaluación de desempeño academico, instrumento utilizado para evaluar la actividad academica de la Universidad, para el periodo 2006 a 2010.

El estudio de la eficiencia en la Educación Superior en Chile no ha sido desarrollado con este análisis, lo cual genera una oportunidad de ampliación en el futuro de este estudio, como tambien para otros países e instituciones de Latinoamerica.

El sistema educacional chileno es descentralizado y su administración, para todos los niveles de enseñanza (nivel preescolar, nivel básico, nivel medio y nivel de educación superior), se realiza a traves de instituciones del Estado, autónomas, municipales, particulares y fundaciones, que asumen ante este la responsabilidad de dar educación y mantener un establecimiento educacional². En Chile existen 176 instituciones de educación superior (IES) dividas en tres categorías: 60 universidades, 45 institutos profesionales (IP) y 68 centros de formación tecnica (CFT). Entre el grupo de las universidades, 25 funcionan bajo el alero del Consejo de Rectores de la Universidades Chilenas (CRUCH), de las cuales 16 pertenecen al Estado chileno y otras 9 son universidades privadas subsidiadas por el Estado.

En las pasadas dos decadas, la educación superior en Chile ha experimentado un incremento dramático en la cantidad de estudiantes y un rápido crecimiento en la variedad de instituciones y programas que estas ofrecen. Generalmente, si a todos los jóvenes de Chile se les dejara escoger libremente, las prioridades de sus preferencias serían de la manera siguiente: 1 universidad CRUCH; 2 universidad privada; 3 IP; 4 CFT³. Este ranking refleja el prestigio relativo de las instituciones y el potencial que se percibe en ellas. Además, las universidades del CRUCH son las responsables de casi el 90% de la productividad científica del país, concentrando en sus instituciones la mayor parte de los recursos humanos y las capacidades científicas del país en este campo⁴.

La Universidad en estudio es una de las universidades del CRUCH, y como tal se espera de ella docencia de pregrado y posgrado de calidad y productividad científica en concordancia con los nuevos requerimientos del país. Así, se hace creciente la necesidad de revisar y mejorar sus mecanismos de medición del desempeño entre sus academicos, lo que impulsa la realización de este estudio.

Marco Conceptual

Análisis Envolvente de Datos (DEA)

El DEA surge como una extensión del trabajo realizado por Farrell (1957), que propuso una forma objetiva de medir la eficiencia tomando como base las Unidades⁵ de una organización, considerando todos sus productos e insumos. Es una tecnica de programación matemática que permite la construcción de una superficie envolvente, frontera eficiente o función de producción empírica, a partir de los datos disponibles del conjunto de Unidades objeto de estudio, de forma que las Unidades que determinan la envolvente son denominadas Unidades eficientes y aquellas que no permanecen sobre la misma son consideradas Unidades ineficientes. Si bien en un principio los modelos DEA fueron empleados para evaluar la eficiencia relativa de organizaciones sin ánimo de lucro, con el tiempo, y dada la naturaleza interdisciplinar de la metodología DEA, su uso se extendió rápidamente al análisis del rendimiento en organizaciones lucrativas.

Modelo DEA-CCR⁶

El modelo DEA-CCR proporciona medidas de eficiencia radiales, orientadas a input u output y rendimientos constantes de escala. Para medir la eficiencia relativa de cualquier Unidad, Charnes, Cooper y Rhodes (1978) proponen resolver el siguiente problema de optimización:

donde se consideran n Unidades (j=1, ..., n), cada una de las cuales utiliza los mismo inputs (en diferentes cantidades) para obtener los mismos outputs (en diferentes Unidades) x_ij; representa la cantidad del input i consumido por la Unidad j(x_ij ≥ 0),x_j0 representa la cantidad del input i consumido por la Unidad que es evaluada; y_rjrepresenta la cantidad del output r producido por la Unidad j(y_rj, ≥ °)^;y,0; representa la cantidad del output r producido por la Unidad que es evaluada; y u_ry v_jrepresentan los pesos (o multiplicadores) de los output e inputs respectivamente (r = 1.....s ; i = 1.....m).

Si la solución óptima es h₀* =1 indicará que la Unidad que está siendo evaluada es eficiente en relación con las otras Unidades. Si h₀* < 1, la Unidad será ineficiente. Andersen y Petersen (1993) desarrollan la metodología del DEA no parametria) con el objetivo de solucionar el problema de la clasificación de las unidades eficientes con un valor unitario.

Al poco de publicar su primer trabajo Charnes, Cooper y Rhodes sustituyen la condición de no-negatividad (u_r ,v_i≥ 0) del modelo fraccional por una condición de positividad extricta (u_r,v_j≥ε), donde e es un infinitesimo no-arquimideo (Charnes, Cooper & Rhodes, 1979). El motivo no es otro que evitar que una Unidad, pese a presentar h₀* =1 , sea incorrectamente caracterizada como eficiente al obtener en la solución óptima algún peso u_ry/o v_i en valor cero siendo, en consecuencia, el correspondiente input y/u output obviado en la determinación de la eficiencia.

El modelo anterior puede ser expresado linealmente para facilitar su resolución.

Para esta forma del modelo se definirá a cómo el input virtual y a cómo el output virtual. De este modo, lo que se ha hecho en el modelo es normalizar el input virtual a uno. Para la Unidad evaluada los valores de los i n-puts y outputs virtuales expresan información sobre la importancia que una Unidad atribuye a determinados inputs y outputs al objeto de obtener su máxima puntuación de eficiencia. En consecuencia, es posible determinar la importancia (contribución) de cada input respecto del total , así como la contribución de cada output u*y_r0 a la puntuación de eficiencia . Estos resultados proporcionan indicación de la medida en que las variables input y output han sido usadas en la determinación de la eficiencia, jugando un papel como medida de la sensibilidad (Boussofiane, Dyson, & Thanassoulis, 1991).

Un inconveniente que plantea el modelo presentado es que genera un número infinito de soluciones óptimas. Si (u*, v*) es óptimo, entonces tambien es óptimo (Charnes, Cooper, Lewin, & Seiford, 1994). Adicionalmente, para que la metodología DEA tenga poder discriminatorio es necesario que la cantidad de Unidades de decisión sea superior al número de inputs y outputs considerados. En la literatura al respecto existen algunas reglas, donde destacan la regla referida por Golany y Roll (1989), en la que n debe ser mayor o igual a 2 * (s + m), o la mencionada por Charnes, Cooper, Lewin y Seiford (1994), donde se indica que n debe ser mayor o igual a 3 * (s + m). Por otro lado, tambien está la fórmula presentada por Murias Fernández (2005), que considera que n debe ser lo más superior posible s * m.

Modelo DEA-BCC⁷

El modelo DEA-BCC considera rendimientos variables a escala, lo cual permite describir de mejor forma los efectos de economía de escala. Al estudiar la eficiencia de un grupo de Unidades se hace necesario identificar la naturaleza de los rendimientos de escala que caracteriza la tecnología de producción. Los rendimientos de escala indican los incrementos de la producción que son resultado del incremento de todos los factores de producción en el mismo porcentaje.

En la Ilustración 1 se muestra el caso para un único input y un único output. Se representan dos Unidades, A y B, y las fronteras DEA más comúnmente estimadas, a saber: frontera de rendimientos constantes a escala (RCE), rendimientos variables a escala (RVE) y rendimientos no crecientes a escala (RNCE).

A partir de la Ilustración 1, y tomando como referencia la Unidad B, se puede ver cómo la frontera estimada bajo RVE está más cerca de la envoltura lineal convexa que la frontera estimada suponiendo RNCE y esta, a su vez, está más próxima que la de RCE. Por tanto, la eficiencia tecnica Input/Output pura, estimada mediante el modelo DEA-BCC, que considera RVE, es no-menor que la eficiencia tecnica Input/Output estimada mediante el modelo DEA-CCR, que considera RCE. Esta última es una medida de eficiencia tecnica global (ETG) que, como se verá a continuación, puede ser descompuesta en eficiencia tecnica pura (ETP) y eficiencia escala (BE). La noción económica de rendimientos a escala está relacionada con la eficiencia de escala (EE) (Banker & Thrall, 1992). Continuando con la representación de la Ilustración 1, y considerando una orientación Input, puede observarse cómo la eficiencia de la Unidad B viene dada por el cociente CB2/CB (la ineficiencia vendrá dada por la distancia B2B) bajo los supuestos de rendimientos constantes o no crecientes a escala mientras que si la Unidad B opera con tecnología de rendimientos variables, la eficiencia vendría dada por CB1/CB. La diferencia entre una medida y otra, es decir, la distancia B2B1, es la EE, que puede ser interpretada corno la parte de la ineficiencia presente en ETG que obedece a la escala de producción de la Unidad que se evalúa (Grifell-Tatje, Prior & Salas, 1992b), es decir, es el resultado de descontar a la ETG la ETP (Pastor, 1996).

Por lo tanto se tiene,

De la expresión anterior puede deducirse que si EE = 1 entonces ETG = ETP, lo que indica que la Unidad no presenta ineficiencias de escala y, por tanto, opera en una escala óptima. Si la Unidad B presentase ineficiencia de escala (EE <1) se tendría que comparar la frontera de rendimientos variables con la frontera de rendimientos no crecientes para determinar si dicha Unidad opera bajo rendimientos crecientes o decrecientes a escala (ver Ilustración 1).

La forma fraccional del modelo DEA-BCC, en su versión input orientada, puede expresarse como:

Si se compara el problema dado con el DEA-CCR, se observa cómo la definición de la medida de eficiencia, bajo el supuesto de rendimientos variables a escala , es similar a aquella que supone rendimientos constantes escala

La diferencia entre una y otra medida de eficiencia estriba en que en el primer caso al valor del output ponderado (output virtual) se le suma un termino constante k₀ (que en el supuesto de rendimientos constantes toma el valor cero). Este termino constante es el valor del intercepto k en el eje output y de la proyección de cada segmento que define la frontera de producción, como puede verse en la Ilustración 2.

Por tanto, la formulación general de la medida de eficiencia es:

De manera que si en la solución óptima del modelo para la Unidad 0 (que se supone eficiente) k* > 0 para todas las soluciones óptimas, prevalecen rendimientos crecientes a escala; si k'₀ = 0 para cualquier solución óptima, prevalecen rendimientos constantes a escala; y si k* < 0 para todas las soluciones óptimas, prevalecen rendimientos decrecientes a escala.

Restricción de pesos de los factores

Si bien una propiedad importante del DEA es que las unidades eligen la importancia que le otorgan a cada variable, cuando todas las unidades pertenecer a una misma organización (como las Unidades Academicas en este estudio, resulta) inapropiado que las unidades asignen importancias ampliamente diferentes a una misma variable. Golany y Roll (1989) resumen una amplia gama de metodos para moderar el peso de los factores. En particular para este estudio, y al igual que la aplicación hecha por Kao y Hung (2008), se utilizarán límites para las razones entre los pesos de los factores.

Una definición típica para las restricciones de las razones entre los pesos es a_ru₁ ≤ u_r≤a_ru₁. Esta formulación no especifica un orden de magnitud numerico al conjunto de pesos. Sin embargo, despues de resolver el modelo DEA el conjunto completo de pesos puede ser multiplicado por un valor deseado. Controlar los pesos de los factores a partir de las razones requiere una atención especial en las unidades en los que los respectivos factores se miden. Esta dificultad se puede resolver al transformar todos los factores a valores con los mismos órdenes de magnitud.

Método para la omisión de variables

Como ya se ha mencionado, para que la metodología DEA tenga poder discriminatorio es necesario que la cantidad de unidades de decisión sea superior al número de inputs y outputs considerados. Luego, cuando esta condición no es satisfecha, se hace necesario contar con un marco conceptual que guíe la omisión de variables. Los primeros intentos por reducir el número de variables aparecieron al observar que a menudo algunas estaban fuertemente correlacionadas, por lo que simplemente se omitían. Jenkins y Anderson (2003) proponen, para lograr reducir el número de variables, retener sólo aquellas variables que representen, tanto como sea posible, la información contenida en el grupo original de variables.

Así, si existe una alta correlación entre los inputs o entre los outputs (o ambas) sería suficiente razón para considerar la omisión de algunas de las variables; y, si así fuese, se debe seleccionar la variable más apropiada de omitir. A pesar de que la decisión final sobre cuál variable se debe omitir depende del estudio en particular, y la importancia que la administración pueda atribuir a esa particular variable, en lo que sigue se utilizarán herramientas de estadística multivariada para identificar que variable puede ser omitida con la menor perdida de información. La medida a utilizar para cuantificar dicha información será la varianza de un input u output alrededor de su media, en vista de que si este valor es pequeño entonces no aporta en distinguir una unidad de otra. Por el contrario una alta varianza indica una importante influencia.

Análisis de sensibilidad utilizando booststrap

A pesar de que el análisis DEA posee importantes propiedades, sus resultados son sensibles a la composición de la muestra utilizada. Si existe incertidumbre en la frontera observada, la aplicación de un modelo exacto puede conducir a resultados incorrectos. Para superar este problema Simar y Wilson (1998) utilizan bootstrap como una forma para analizar la sensibilidad de las medidas de eficiencia DEA respecto a variaciones en el muestreo. El bootstrap está basado en la idea de que, en ausencia de conocimiento sobre el proceso de generación de datos para una muestra, dicho proceso puede ser estimado al utilizar la muestra observada para generar un conjunto de muestras bootstrap a partir de los cuales los parámetros de interes pueden ser calculados. Luego, es posible obtener una distribución muestral de la eficiencia, con la que se pueden construir intervalos de confianza y desarrollar pruebas estadísticas sobre significancia.

Análisis DEA en la Educación Superior

Martín-Rivero (2007), en su estudio sobre la eficiencia productiva en el ámbito universitario, indica que el metodo DEA ocupa un lugar destacado entre los metodos desarrollados para cuantificar la eficiencia de las instituciones sin fines de lucro. Como principales ventajas del DEA destacan:

• su capacidad de adaptarse a sectores caracterizados por la presencia de múltiples inputs y múltiples outputs,
• su capacidad de ajustarse a la situación de ausencia de precios,
• la posibilidad de expresar los inputs y los outputs en unidades de medida diferentes y
• la posibilidad de evitar la imposición de una forma funcional determinada para la función de producción.

Sin embargo, tambien señala que la aplicación del DEA tiene ciertas limitaciones: su carácter determinístico; la necesidad de que las Unidades comparadas sean homogeneas; la posible saturación del modelo si no se mantiene la proporción óptima entre Unidades a analizar y variables utilizadas, o la propia flexibilidad del modelo. A pesar de ello, en los últimos años, el desarrollo de nuevas extensiones del modelo ha permitido ir superando los inconvenientes que presenta este en la práctica, convirtiendose en una herramienta cada vez más utilizada, no sólo para la evaluación y análisis de la eficiencia tecnica, sino tambien como punto de partida para la toma de decisiones, dada la riqueza de la información que entrega.

En muchos países, y tambien en Chile, el sector de la Educación Superior obtiene parte de sus ingresos desde recursos públicos lo que hace esencial medir la eficiencia de las instituciones que componen este sector.

Johnes (2006) realiza un estudio sobre la eficiencia de las instituciones de educación superior de Inglaterra, analizando más de 100 establecimientos con una colección de datos correspondiente a los años 2000 y 2001, aplicando inicialmente el DEA a toda la muestra con seis inputs y tres outputs. Utiliza un metodo estadístico para descartar a dos inputs, en vista de que los resultados en las puntaciones del DEA no cambian significativamente. En este estudio se opta por rendimientos variables de escala y una orientación al output por la premisa de que las instituciones no tendrían grados de libertad para influir en los input, pero sí en los outputs, concluyendo que el nivel de eficiencia de las universidades inglesas es alto.

Kuah y Wong (2011) analizan la eficiencia entre las Universidades de Malasia, utilizando un modelo DEA-CCR modificado para considerar de forma separada la eficiencia en la docencia y la eficiencia en la investigación, que conforman la eficiencia de la institución. El resultado obtenido muestra una fuerte discriminación al diferenciar entre las Universidades eficientes y las ineficientes de las 30 Universidades analizadas, distinguiendo entre las Universidades orientadas a la docencia y las orientadas a la investigación. siendo las Universidades que puntúan bien en docencia e investigación las mejores en eficiencia global.

En Australia, Abbott y Doucouliagos (2003) condujeron un estudio sobre las Universidades de ese país encontrando que, a pesar de las combinaciones entre inputs y outputs, las instituciones mostraban altos niveles de eficiencia relativa entre ellas. en Australia la mayor parte de las Universidades pertenecen al Estado; sin embargo, son autónomas con considerables grados de libertad. El gobierno federal influye en ellas a través de la asignación de fondos centrales. Para las Universidades no deja de ser relevante este aporte, que en promedio alcanza el 61%. de ahí el interés en estudiar la eficiencia del sistema.

Moreno y Tadepalli (2002) indican que la eficiencia de las Unidades académicas dentro de una Universidad es difícil de medir debido a que cada una de éstas tratará de destacar criterios en los que mejor se desempeña, es por ello que optan por utilizar Déa, ya que ofrece la posibilidad de que las particularidades de cada Unidad sean tomadas en cuenta.

Si bien la docencia y la investigación son consideradas las principales tareas de una Universidad, éstas son difíciles de medir. Una dificultad de la aplicación al interior de una Universidad es la de la calidad de la medición. Hay ausencia de bases comunes para comparar la calidad de los distintos trabajos de investigación y la subjetividad está siempre presente (Kao & Hung , 2008).

Rivero (2006) evalúa la eficiencia técnica de los departamentos no experimentales de una Universidad espanola con el fin de facilitar la gestión universitaria. En la investigación midió la eficiencia de 29 departamentos no experimentales para el curso académico 2002-2003, con un modelo orientado a los output, concluyendo que este análisis permite a cada Unidad realizar su planificación de objetivos a través del conocimiento de su posición respecto del resto de los departamentos para conocer sus puntos débiles y fuertes, con el fin de poder tomar medidas correctoras.

Kao y Hung (2008) realizan un análisis de la eficiencia de los 41 departamentos de la Universidad Nacional de Cheng Kung, considerando la docencia y la investigación como las dos grandes tareas que realiza la Universidad. El análisis estuvo orientado hacia el output y rendimientos variables de escala. Los resultados de eficiencia son descompuestos en tres categorias: de docencia, de investigación y generales, indicando para cada Unidad Académica el ranking en cada categoria. acerca del método, concluyen que les permitió identificar los departamentos ineficientes, además de posibilitar a la jefatura de los departamentos identificar las áreas en que se deben enfocar para aumentar su eficiencia de manera significativa.

En el Anexo 1 se presenta un listado con diferentes estudios de Educación Superior aplicando DEA.

Aplicación del DEA y Análisis de Resultados

Haciendo una adaptación adhoc del ordenamiento Metodológico COOPER, (Emrouznejad y De Witte, 2010) en este estudio se siguieron los siguientes pasos para la evaluación de la eficiencia técnica de las Unidades Académicas de la Universidad:

• Análisis de la información disponible.
• Selección de variables.
♦Determinación del número ideal de variables.
♦Reducción de variables inputy output.

• Restricción de pesos o multiplicadores.
• Selección de la orientación y escala de rendimiento.
• Aplicación del DEA.
• Comparación con el sistema de evaluación de desempeño.

Análisis de la información disponible

La organización académica de la Universidad es de carácter clásico dentro del contexto universitario y comprende Facultades, Departamentos, Escuelas, Institutos y Centros. En estas Unidades Académicas radican las funciones de docencia de pregrado y postgrado, investigación, vinculación con el medio y asistencia técnica, coordinadas por el Gobierno Central Universitario. En este estudio se analizan quince Unidades, las cuales se describen a nivel general en la Tabla 1.

Usualmente, los inputs son determinados por los recursos o los factores que afectan el desempeño de las Unidades: número de empleados, gastos administrativos, remuneraciones, gastos operacionales, servicios estudiantiles, energia, entre otros. Por otro lado, los outputs son considerados como beneficios obtenidos del desempeño de las Unidades: libros, libros editados, monografias, articulos, patentes, presentaciones, publicaciones, número de tesis supervisadas, cantidad de clases realizadas, entre otros.

Selección de variables

Los inputs considerados para la Universidad son (1) gastos de funcionamiento, (2) gastos de personal, (3) jornadas completas equivalentes de académicos y (4) jornadas completas equivalentes de personal de apoyo a la academia. Para los outputs se considera (1) cantidad de inscripciones-créditos de pregrado, (2) porcentaje de cursos con buena evaluación docente, (3) cantidad de nuevos estudiantes de pregrado matriculados, (4) ingresos por matricula de pregrado, (5) publicaciones ISI, (6) publicaciones SCIELO, (7) publicaciones no indizadas, (8) ponencias nacionales, (9) ponencias internacionales, (10) ingresos por proyectos de extensión, (11) ingresos por proyectos de investigación, (12) ingresos por asistencia técnica, (13) ingresos por capacitación, (14) ingresos por proyectos concursables y (15) ingresos por proyectos recursos por Unidad.

Dado que sólo serán evaluadas quince Unidades, resulta inconveniente usar todas las variables en la aplicación de la metodologia DEA, puesto que ésta necesita que se consideren menos variables que Unidades. Asi, y con el fin de acotar la cantidad de variables, se realizan las siguientes acciones: (1) se agregaron las variables "Publicaciones ISI" y "Publicaciones SCIELO" en una denominada "Publicaciones". Dicha agregación considera la suma ponderada donde la razón entre "Publicaciones ISI" y "Publicaciones SCIELO" es 3:1 que justamente es la forma en que la Universidad agrega estos indices en evaluaciones anteriores de otros tipos (esta razón es bien conocida y aceptada dentro de la Institución); (2) se agregaron las variables "Ingresos por proyectos de extensión", "Ingresos por proyectos de investigación", "Ingresos por asistencia técnica", "Ingresos por capacitación", "Ingresos por proyectos concursables" e "Ingresos por proyectos recursos Unidad" en una sola variable denominada "Ingresos propios". Dicha agregación considera la sumatoria de los montos de cada una de las variables, que dado a que son montos monetarios es posible realizar la suma directa; (3) se descartó el uso de las variables "Publicaciones no indizadas", "Ponencias nacionales" y "Ponencias internacionales" en vista de que no son de principal relevancia para la Administración de la Universidad; y (4) se descartó el uso de la variable "Porcentaje de cursos con buena evaluación docente", puesto que esta variable considera los cursos de pregrado solamente y una de las Unidades consideradas en el estudio sólo realiza docencia de postgrado. Asi, no es posible considerar la variable dado que para dicha Unidad el ratio representado por la variable es indefinido en dicha Unidad.

Con lo anterior, es posible resumir las variables input en:

1. Castos de funcionamiento. Contempla principalmente los gastos en materiales varios, servicios contratados, servicios básicos, mantención, soporte, transporte, publicidad, suscripciones, arriendos, seguros, patentes, gastos financieros.
2. Castos de personal. Considera remuneraciones de la planta académica y de apoyo a la academia permanente y temporal, profesores hora, ayudantes, indemnizaciones y vacaciones proporcionales.
3. Jornadas completas equivalente de personal académico. Suma de la cantidad de académicos ponderando por la fracción de la jornada respecto de la jornada completa de 44 horas.
4. Jornadas completas equivalente de personal de apoyo a la academia. Suma de la cantidad de personal de apoyo a la academia ponderando por la fracción de la jornada respecto de la jornada completa de 44 horas.

Las variables output se resumen en:

1. Cantidad de inscripciones de pregrado. Representa, para cada Unidad, la sumatoria del producto entre la cantidad de estudiantes inscritos en una asignatura y la cantidad de créditos presenciales asociados a la misma a través de todas las asignaturas que dicta dicha Unidad, es decir, donde n_i y c_i son la cantidad de estudiantes y los créditos de la asignatura iy m la cantidad de asignaturas de dicha Unidad.
2. Matrícula estudiantes nuevos de pregrado. Representa la cantidad de estudiantes de primer ano matriculados a las carreras asociadas a la Unidad.
3. Ingresos propios. Incluye los ingresos percibidos por proyectos de financiamiento externo tales como extensión, investigación, asistencia técnica, capacitación, matricula de postgrado. Además considera los ingresos por proyectos concursables.
4. Publicaciones. Representa la cantidad de publicaciones ISI que produce la Unidad. Se adicionan además, las publicaciones SCIELO pero con una ponderación de un tercio.
5. Ingresos por matrícula de pregrado. Contempla el monto correspondiente a los ingresos percibidos por concepto de matricula de todos los estudiantes de pregrado de las carreras de la Unidad.

Ya definidas las variables disponibles se aplican las principales reglas para estudiar si la proporción entre la cantidad de variables y la cantidad de Unidades es apropiada, que se resumen en la Tabla 2. Se observa que, en la aplicación de las tres reglas, la cantidad de variables consideradas supera el estándar respectivo. Dado que la cantidad de Unidades no puede ser modificada, sólo resta estudiar la posibilidad de reducir la cantidad de variables a utilizar.

Por ende, se debe analizar la reducción de inputs y outputs. En primer lugar se estudia la relación entre las variables inputs, calculando el coeficiente de correlación para cada una de las combinaciones de pares de variables inputs para cuantificar el grado de relación lineal que existe entre ellas.

En los resultados que muestra la Tabla 3 se observa que existen suficientes razones para eliminar algunas de la variables inputs del análisis, debido a que existe alta correlación entre algunas de ellas. A pesar de que la decisión final sobre cuál variable se debe omitir depende del estudio en particular, y la importancia que la administración pueda atribuir a esa particular variable, en lo que sigue se utilizarán herramientas de estadistica multivariada para identificar qué variable puede ser omitida con la menor pérdida de información.

La medida a utilizar para cuantificar dicha información será la varianza de un input u output alrededor de su media, en vista de que, si este valor es pequeño, entonces no aporta en distinguir una Unidad de otra. Por el contrario una alta varianza indica una importante influencia. Utilizando el enfoque estadistico multivariado para reducir el número de variables propuesto por Jenkins y Anderson (2003) se calculó la varianza o información retenida para todas las combinaciones de eliminación posibles (ver Tabla 4). Asi, al tratar de omitir dos variables, la omisión del par de variables inputs 3 y 4 es la que permite la mayor retención de información, por lo que son estas dos las que se dejan fuera del análisis DEA.

Para analizar los outputs, primero se estudia si las variables outputs están correlacionadas, calculando el coeficiente de correlación para cada una de las combinaciones de pares de variables. El análisis de correlación indica una alta correlación entre los outputs 2 y 5, lo que sugiere eliminar una de las dos variables (ver Tabla 5).

Utilizando nuevamente el enfoque estadistico multivariado se observa que al omitir la variable output 5 se obtiene mayor retención de información, por lo que es esta la variable que debe ser omitida (ver Tabla 6).

Con las variables omitidas de input y output se hacen nuevamente las pruebas de cantidad de variables. Si bien no se satisfacen las tres reglas, se satisfacen dos de las pruebas, quedando sólo cumplir las restricciones de los multiplicadores para hacer que la aplicación del DEA sea efectiva en el sentido de discriminar entre las eficiencias de las quince Unidades.

Según los ajustes realizados en la sección anterior se utilizarán, para la medición de las quince Unidades, seis variables en total: dos inputs (m = 2) y cuatro outputs (s = 4). El detalle se muestra en la Tabla 8.⁸

Restricción de pesos o multiplicadores

Los factores a utilizar, tanto inputs como outputs, tienen importancia relativa entre si. Ahora bien, Roll y Golany (1993) explican cómo en las aplicaciones reales, ya sean en el sector productivo o de servicios, donde se requiera medir la eficiencia relativa de diferentes unidades tomadoras de decisión, el uso de multiplicadores (peso de los factores) con restricciones es usualmente inaceptable. Sin embargo, también consideran inapropiado acordar pesos totalmente diferentes a un mismo factor. La elección de una técnica en particular depende principalmente en el tipo y cantidad de información que se quiera adicional al análisis. Para definir la forma en que pueden variar los pesos de las variables, que definen la importancia que la unidad le otorga a ese factor⁹, se utilizará el método de imposición de limites a los pesos de los factores que define limites para razones entre los pesos. Una definición tipica para las restricciones de este tipo es a_ru₁≤ u_r≤ aru₁. Esta formulación no especifica un orden de magnitud numérico al conjunto de pesos. Sin embargo, después de resolver el modelo DEA el conjunto completo de pesos puede ser multiplicado por un valor deseado. Con el fin de que las relaciones radiales que se detallan en esta sección posean sentido, los inputs y los outputs han sido normalizados por el promedio de cada uno para obtener una medida estandarizada y adimensional, requisito del método a aplicar. La aplicación de este método es la usada en el estudio de Kao y Hung (2008).

Para la administración de la Universidad existe una importancia relativa entre los inputs a considerar. El gasto en remuneraciones es de alrededor del 70% del presupuesto de la Universidad, por lo que este input se convierte preponderante en cualquier estudio de eficiencia. Ahora bien, no existen muchos grados de libertad para cambiar el gasto de remuneración, pero otros tipos de gastos. En resumen, se considera apropiado que el gasto de personal sea al menos cinco veces más importante que el gasto de funcionamiento, pero que dicha importancia no puede ser superada en veinte veces, esto es 5 ≤ v₂/ v ≤ 20, que da lugar a dos restricciones que adicionan al modelo DEA.

Los distintos outputs también tienen importancia relativa para la administración de la Universidad, donde las diferencias no tienen que ver tanto con un tema presupuestario, como el caso de los inputs, sino más bien con la visión que la administración de la Universidad tiene sobre su quehacer. Asi, se considera apropiada la inclusión de tres criterios: (1) la importancia relativa de la docencia (inscripciones y matricula de pregrado) y la investigación (publicaciones e ingresos por proyectos) es similar, por lo que ninguna deberia ser dos veces más importante que la otra, esto es 1/2 ≤ (u, + u₂)/(u₃+ u₄) ≤ 2; (2) la importancia de la docencia y de la investigación deben ser mayor a la del nivel de matricula de pregrado, pero esta importancia no debe ser superior a cuatro veces, esto es 1 ≤ u₁/ u₂ ≤ 4 M ≤ u₄ / u₂ ≤ 4; y (3) la importancia de la docencia y de la investigación deben ser mayor a la del nivel de ingresos propios, pero esta importancia no debe ser superior a cuatro veces, esto es 1≤ u / u₃ ≤ 4M≤ u₄ / u₃ ≤ 4. La consideración de los tres criterios anteriores da a lugar la inclusión de diez restricciones al modelo DEA.

Selección de la orientación y escala de rendimiento

Dado que en la Universidad los presupuestos son fijados una vez al ano y que además éstos muy rara vez son reducidos, se espera que las unidades aumenten en la mayor medida los productos que ofrecen: mayores y mejores clases de pregrado, mayores niveles de publicaciones, mayor adjudicación de proyectos, mayores niveles de matricula de estudiantes nuevos, entre otros. Johnes (2006), Martin Rivero (2006) y Kao y Hung (2008) coinciden en que en una Universidad no existen muchos grados de libertad para influir en los inputs. Asi, la orientación seleccionada para este estudio es hacia el output.

En relación a la selección de la escala de rendimiento, es necesario considerar rendimiento variables de escala dada la heterogeneidad de los tamaños de las unidades. En combinación con el modelo de rendimientos constantes de escala, se estudiarán las eficiencias de escala de las unidades.

Aplicación del DEA

Una vez aplicado el modelo se obtienen los resultados presentados en la Tabla 9. Del análisis se puede observar que 5 de las 15 Unidades exhiben, en el ano 2010, una eficiencia (eficiencia técnica pura) relativa igual a 1, lo que significa que para sus niveles individuales de inputs, ninguna de las otras Unidades en la Universidad puede ofrecer mejores outputs. Asi, estas Unidades están sobre la frontera eficiente. Cada una de las 10 Unidades restantes exhibe una eficiencia relativa menor a 1, lo que las ubica al interior de la frontera eficiente indicando que al menos una de las otras Unidades de la Universidad puede ofrecer mejores outputs para niveles comparables de inputs.

TABLA 9

Respecto de la eficiencia de escala, es posible observar que la mayoria de las Unidades opera a una escala adecuada. Si utilizamos el input 2 mostrado en la Tabla 8 como indicador del tamaño de las unidades, podemos ver en la Tabla 9 cómo las unidades más grandes presentan bajas eficiencias de escala. Esto indica que las inversiones en contratación de nuevo personal tendrán mejores rendimientos en las unidades pequenas, que tienen mejores rendimientos de escala, en especial si son crecientes. Resalta también el rendimiento de la unidad 6 que es perfectamente natural: se trata de una unidad nueva que cuenta, al ano 2010, con muy pocos académicos y con sólo una generación de nuevos estudiantes, variable que explica casi completamente su nivel de eficiencia. En la medida que la Unidad 6 entre en régimen, se deberia observar una transición de la importancia otorgada al factor Nuevos Estudiantes hacia el factor Pregrado. Finalmente, las Unidades que exhiben rendimientos crecientes de escala deberian considerar el escalamiento de su operación de tal forma que provoque un aumento en su productividad y, a su vez, de la Institución.

Si se observan la descomposición de la eficiencia en el pregrado vemos cómo la mayoria de las unidades otorgan mayor importancia a dicho factor. Esto es razonable dado que la Universidad ha estado concentrada más en el área docente que en la investigación. Sin embargo, es preciso notar que la administración de la Universidad está realizando esfuerzos por desarrollar competencias en el área investigativa; vemos, por ejemplo, cómo las unidades 10, 11 y 15 otorgan más importancia relativa a dicha área.

La Ilustración 3 muestra la descomposición de eficiencia que se indica en la Tabla 9. Además, en la misma ilustración se muestran intervalos de confianza del 95% para la eficiencia de cada Unidad obtenidos a través de procedimiento Bootstraping¹⁰ que ayuda a distinguir si las diferencias entre los resultados de eficiencia entre las Unidades son significativas o no. Los intervalos de confianza para las 4 Unidades eficientes tienen longitud nula.

Se puede apreciar que en la mayoria de los casos, la docencia de pregrado explica la mayor parte del puntaje obtenido al calcular eficiencia técnica. Para el caso de las publicaciones, se observa que no constituye un factor preponderante en muchas de las Unidades, sólo las Unidades 10, 11 y 15 otorgan un aporte significativo a la eficiencia. Luego, existen asimetrias entre las Unidades respecto de la capacidad que poseen para producir publicaciones.

Para ordenar las Unidades eficientes se utiliza la Supereficiencia, obteniendo como resultados una dispersión de la eficiencia a través de las Unidades. Ocho de las quince Unidades presenta una puntuación menor al 75%, al mismo tiempo que cinco de ellas clasifica como eficiente. Se puede visualizar espacio para la mejora de las Unidades ineficientes. Las estratégicas a seguir para aprovechar estas oportunidades de mejora se analizarán más adelante (ver Ilustración 4).

Considerando Supereficiencia, para el periodo 2006-2010 se obtienen los puntajes de eficiencia que se muestran en la Tabla 10.

Se puede observar que la Unidad 1 presentó la mejor puntuación de eficiencia en los primeros cuatro ano, pero en el 2010 cayó fuertemente, posicionándose en los últimos lugares. Unidades como la 9 o la 10 mantienen su posición relativa. Otras, como la Unidad 2 o la 15, la disminuyen de forma sistemática.

Relación de DEA con evaluación de desempeño

El objetivo fundamental del proceso actual de evaluación de la Universidad es propender al mejoramiento continuo de la actividad académica en la Universidad. La evaluación se realiza a partir de un plan de trabajo que es concordado de mutuo acuerdo entre los académicos y sus jefaturas, es decir, mide la capacidad de los académicos para cumplir sus metas.

La eficiencia DEA mide la capacidad relativa de una Unidad para obtener productos a partir de los recursos con los que cuenta, calificando como eficiente, para cada ano, a aquellas Unidades que obtengan una combinación de productos que ninguna otra Unidad pueda obtener a partir de una misma combinación de recursos. La comparación se puede observar en la Tabla 11.

Al combinar la eficiencia DEA y el promedio de los resultados de la evaluación de desempeño para cada Unidad en el periodo 2006-2010 se puede apreciar que no existe correlación entre dichos factores (ver Ilustración 5), cuya prueba de hipótesis se muestra en la Tabla 11. Tanto Unidades eficientes como ineficientes pueden obtener un resultado medio de la evaluación de desempeño alrededor del 4,5.

Existe una razón fundamental para haber obtenido el resultado anterior: el análisis DEA y la evaluación de desempeño miden diferentes aspectos. La evaluación de desempeño mide la capacidad para cumplir las metas, en cambio, la eficiencia DEA mide la capacidad para generar productos a partir de los recursos disponibles. Si bien la evidencia que utilizan ambos métodos es la misma -los productos-, la diferencia radica en el hecho que utilizan base distinta: una, las metas definidas a comienzo de cada ejercicio anual; la otra, los recursos disponibles en cada ano.

Si bien el instrumento de evaluación de la Universidad busca medir el rendimiento de sus académicos, al agregarlos por unidades y realizar la comparación con el análisis DEA basado en la productividad de los recursos disponibles, vemos que no se cumple el fin de contar con un instrumento de evaluación: aumentar la productividad institucional. Aun cuando realizar grandes cambios en estos instrumentos es algo dificil, es necesaria la incorporación, al menos gradual, de técnicas como la del DEA para asistir de mejor forma la toma de decisiones, la distribución de los recursos y la asignación de incentivos.

Conclusiones

Entre los atributos más relevantes del DEA es que caracteriza a cada una de las Unidades mediante una única puntuación de eficiencia, propone oportunidades de mejora para cada una de las Unidades al facilitar la identificación de las fuentes y magnitudes de ineficiencia, y posee la capacidad de manejar situaciones de múltiples inputs y outputs expresados en distintas medidas. Por otro lado, el DEA posee algunas debilidades: dado que se trata de una aproximación determinista, no toma en cuenta influencias sobre el proceso productivo de carácter aleatorio e imposibles de controlar ni la incertidumbre. Asi, la precisión de los resultados alcanzados (puntuaciones de eficiencia relativa) dependerá de la exactitud de las medidas de los inputs y outputs considerados. Si la incertidumbre está presente, los resultados pueden ser erróneos y conducir a la clasificación de Unidades como ineficientes cuando realmente no lo son. Además, DEA es sensible a la existencia de observaciones extremas y toda desviación respecto de la frontera es tratada como ineficiencia, lo que puede derivar en una sobrestimación de la misma.

El análisis sobre la actividad productiva de las instituciones universitarias permite detectar un conjunto especial de rasgos que han de ser consideradas a la hora de evaluar su eficiencia. La inexistencia de precios de los productos (docencia e investigación) debido a la ausencia de mercado -que dificulta la determinación del grado de cumplimiento de sus objetivos-, la existencia de múltiples objetivos, a menudo ambiguos, y la multidimensionalidad del output educativo y su carácter intangible dificultan la especificación de una magnitud que se podria identificar con la idea de producto educativo. Igualmente, el desconocimiento de la función de producción, es decir, de la relación entre los inputs y los outputs universitarios, asi como la dificultad en la diferenciación entre los que son realmente inputs y outputs del proceso educativo representan también cuestiones a considerar. Es por eso que el DEA ocupa un lugar destacado entre los métodos desarrollados para cuantificar la eficiencia de este tipo de instituciones, dado que da solución a cada una las particularidades mencionadas.

Con respecto al nivel teórico de la metodologia DEA, hay una innovación a partir de trabajos como Simar y Wilson (1998, 2000a, 2000b), enfocándose en la parametrización de la técnica, permitiendo corregir el sesgo inherente a los coeficientes DEA de los modelos radiales.

Al aplicar el DEA se obtienen cinco Unidades eficientes, correspondiente al 33% del total de Unidades. De ellas sólo tres presentan eficiencia global, lo que indica que las otras dos funcionan con menores niveles de productividad a causa del tamaño de sus operaciones. El resto presenta ineficiencias técnica y global muy variables, aun cuando sus eficiencias de escala están a niveles aceptables. Esto indica que la mayoria de las Unidades funciona en concordancia con su escala pero pueden acrecentar su producción, sea en docencia, en investigación o ambas. La descomposición de la eficiencia en eficiencia de cada output permite evaluar el desempeño para producir cada uno de ellos, lo que permite vislumbrar las oportunidades de mejora. La relevancia hacia el aumento de output más que a la reducción de los input se explica al hecho que las Unidades Académicas cuentan con presupuestos fijos que casi no cambian a través de los años. Es por esto que la mayor capacidad de gestión de las Unidades se concentra en sus outputs más que en sus inputs.

Para completar una serie de cinco años de evaluaciones de eficiencia se evalúa al mismo grupo de Unidades en cada uno de los años del 2006 al 2009. Esto permite observar la evolución de los desempeños relativos y se detectan Unidades que sistemáticamente han disminuido su desempeño, junto con otras que sistemáticamente lo han aumentado o mantenido. Esta mirada transversal de la eficiencia entre los años habilita la identificación de Unidades que han profundizado sus problemas de productividad, lo que deberia encausar un cambio de gestión de la Unidad junto al establecimiento de un nuevo plan de desarrollo basado en las recomendaciones para la mejora que el DEA establece.

La introducción de modificaciones al modelo clásico del DEA, moderando la importancia relativa que cada Unidad le otorga a los inputs y outputs, logra enfocar la evaluación de la eficiencia hacia los resultados que se han supuesto en este trabajo que la Universidad busca. Además, esta moderación reduce la cantidad de Unidades eficientes en el resultado final, mitigando la dificultad enfrentada ante el reducido número de Unidades a evaluar.

Ahora bien, para dar respuesta a la interrogante central de este estudio se han de comparar los resultados obtenidos por la aplicación del DEA con aquellos de la evaluación del desempeño académico desde 2006 hasta 2010. El resultado es claro, no existe correlación entre la eficiencia técnica y los resultados de la evaluación del desempeño. Los resultados de la evaluación del desempeño no pueden ser usados como factor preponderante al momento de asignar recursos, dado que éstos deben ser desviados hacia aquellas Unidades que presentan los mayores niveles de eficiencia. Se sugiere que la institución revise su instrumento de evaluación del desempeño académico e incorpore metas que encaminen a las Unidades a funcionar lo más cerca posible de la frontera de producción, es decir, incorporar los resultados del análisis DEA en el método de evaluación.

Las modificaciones al sistema de evaluación del desempeño deben incluir el establecimiento de metas de productividad para cada Unidad acorde a las propias metas de la Universidad, tomando en cuenta las capacidades académicas de la Unidad. También es necesario revisar los estándares que debe alcanzar la Unidad de acuerdo a sus pares nacionales o internacionales dependiendo del grado de madures de la Unidad. Al tener claro las metas de la Unidad esas metas se deben desplegar a nivel de las personas, de esta manera se mejorará notablemente la correlación de la evaluación y la eficiencia DEA. Asi, se hace necesario reformar el sistema de evaluación incorporando metas concordadas para la Unidad, para que luego los respectivos directores o decanos establezcan las metas individuales de los académicos de acuerdo a sus jerarquias y al plan de trabajo de la Unidad.

Debido a las particularidades de la función de producción subyacente al sector de Educación Superior, la necesidad de trabajar con restricciones en las ponderaciones hace adecuada la metodologia aplicada, aunque con un análisis de sensibilidad bootstrap hubiera minimizado las debilidades de la metodologia determinista, siendo una alternativa metodológica válida.

Se propone como una linea futura de investigación, dado Simar y Wilson (2007), el realizar un análisis de los determinantes de la eficiencia, mediante un procedimiento double-bootstrap, para determinar la influencia de variables externas o ambientales en la eficiencia alcanzada por las DMUs.

Pie de página

¹La cual se mantiene en anonimato debido a cláusulas de confidencialidad.
²Diario Oficial de la República de Chile, Ley N° 18.956. 1990.
³Banco Mundial and OCDE, La Educación Superior en Chile. 2009: Ministry of Education, Chile.
⁴Consejo de Rectores de las Universidades Chilenas, Planteamientos sobre Políticas Nacionales de Ciencia, Tecnologia e Innovación. 2008.
⁵Diferentes autores emplean el termino Unidad tomadora de decisión o decision making unit (DMU) para referirse a entidades sin fines de lucro (Charnes, Cooper, & Rhodes, 1978); sin embargo, el termino se ha extendido para referirse a cualquier tipo de productor o Unidad de producción: empresas, industrial, personas, regiones, países, etc. En este documento se usará el termino "Unidad" para hacer dicha referencia.
⁶Se denomina de esta forma por haber sido desarrollado por Charnes, Cooper y Rhodes (1978).
⁷Se denomina de esta forma por ser desarrollado por Banker, Charnes y Cooper (1984).
⁸Para la resolución dl Modelo DEA se utilizó el software EMS: Efficiency Measurement System.
⁹Es posible determinar la importancia (contribución) de cada input respecto del total , asi como la contribución de cada output u"_ry_r0a la puntuación de eficiencia . Estos resultados proporcionan medida de la sensibilidad de como han sido usadas las variables input y output en la determinación de la eficiencia (Boussofiane, Dyson & Thanassoulis, 1991).
¹⁰Los intervalos de confianza son estimados con el software PMIsoft, utilizando un ancho de banda

Referencias bibliográficas

Abbott, M., & Doucouliagos, C. (2003). The efficiency of Australian universities: a data envelopment analysis. Economics of Education Review 22, 89-97.         [ Links ]

Agasisti, T., Catalano, G., Landoni, P. & Verganti, R. (2012). Evaluating the performance of academic departments: an analysis of research-related output efficiency. Research Evaluation 21(1), 2-14.         [ Links ]

Agasisti, T., Dal Bianco, A., Landoni, P., Sala, A. & Salerno, M. (2011). Evaluating the Efficiency of Research in Academic Departments: an Empirical Analysis in an Italian Region. Higher Education Quarterly 65(3), 267-289.         [ Links ]

Alexander, W. R. J., Haug, A. A. & Jaforullah, M. (2010). A two-stage double-bootstrap data envelopment analysis of efficiency differences of New Zealand secondary schools. Journal of Productivity Analysis 34(2), 99-110.         [ Links ]

Álvarez Pinilla, A. (2002). La medición de la eficiencia y la productividad. Madrid: Ediciones Pirámide, S.A.         [ Links ]

Andersen, P. & Petersen, N. C. (1993). A Procedure for Ranking Efficient Units in Data Envelopment Analysis. Management Science 39(10), 1261-1264.         [ Links ]

Anderson, T. R., Daim, T. U., & Lavoie, F. F. (2007). Measuring the efficiency of university technology transfer. Technovation 27(5), 306-318.         [ Links ]

Avkiran, N. K. (1999). Productivity Analysis in the Service Sector with Data Envelopment Analysis. Camira: N.K. Avkiran.         [ Links ]

Avkiran, N. K. (2001). Investigating technical and scale efficiencies of Australian Universities through data envelopment analysis. Socio Economic Planning Sciences 35(1), 57-80.         [ Links ]

Banker, R. D. & Natarajan, R. (2004). Statistical Tests Based on DEA Efficiency Scores. En Handbook on Data Envelopment Analysis (págs. 299-321). Norwell, MA: Kluwer Academic Publishers.         [ Links ]

Banker, R. D. & Thrall, R. M. (1992). Estimation of returns to scale using Data Envelopment Analysis. European Journal of Operational Research 62(1), 74-84.         [ Links ]

Banker, R., Charnes, A. & Cooper, W. (1984). Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management Science 30(9), 1078-1092.         [ Links ]

Banker, R., Charnes, A., Cooper, W., Swarts, J. & Thomas, D. (1989). An introduction to data envelopment analysis with some of its models and their uses. Research in Governmental and Nonprofit Accounting 5, 125-163.         [ Links ]

Bougnol, M. L. & Dulá, J. (2006). Validating DEA as a ranking tool: An application of DEA to assess performance in higher education. Annals of Operations Research 145(1), 339-365.         [ Links ]

Boussofiane, A., Dyson, R. G. & Thanassoulis, E. (1991). Applied data envelopment analysis. European Journal of Operational Research 52(1), 1-15.         [ Links ]

Carrington, R., Coelli, T. & Rao, D. S. (2005). The performance of australian universities: conceptual issues and preliminary results. Economic Papers 24(2), 145-163.         [ Links ]

Celik, O. & Ecer, A. (2009). Efficiency in accounting education: evidence from Turkish Universities. Critical Perspectives on Accounting 20(5), 614-634.         [ Links ]

Chao, G. H., Hsu, M. K. & James, M. L. (2009). An efficiency comparison of MBA programs: top 10 versus non-top 10. Journal of Education for Business 84(5), 269-274.         [ Links ]

Charnes, A., Cooper, W. & Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research 2, 429-444.         [ Links ]

Charnes, A., Cooper, W. & Rhodes, E. (1979). Short communication: Measuring efficiency of decisionmaking units. European Journal of Operational Research 3(4), 339.         [ Links ]

Charnes, A., Cooper, W., Lewin, A. & Seiford, L. (1994). Data envelopment analysis: theory, methodology, and application. Boston: Kluwer Academic Publishers.         [ Links ]

Coelli, T., Prasada Rao, D. S. & Battese, G. E. (1998). An Introduction to Efficiency and Productivity Analysis. Boston: Kluwer Academic Publishers.         [ Links ]

Colbert, A., Levary, R. R. & Shaner, M. C. (2000). Determining the relative efficiency of MBA programs using DEA. European Journal of Operational Research 125(3), 656-669.         [ Links ]

Colin Glass, J., McCallion, G., McKillop, D. G., Rasaratnam, S. & Stringer, K. S. (2006). Implications of variant efficiency measures for policy evaluations in UK higher education. Socio-Economic Planning Sciences 40(2), 119-142.         [ Links ]

Dyson, R., Allen, R., Camanho, A., Podinovski, V., Sarrico, C. & Shale, E. (2001). Pitfalls and protocols in DEA. European Journal of Operational Research 132(2), 245-259.         [ Links ]

Eckles, J. (2010). Evaluating the Efficiency of Top Liberal Arts Colleges. Research in Higher Education 51 (3), 266-293.         [ Links ]

Eff, E. A., Klein, C. & Kyle, R. (2012). Identifying the Best Buys in U.S. Higher Education. Research in Higher Education 53(8), 860-887.         [ Links ]

El-Mahgary, S. & Lahdelma, R. (1995). Data envelopment analysis: Visualizing the results. European Journal of Operational Research 83(3), 700-710.         [ Links ]

Emrouznejad, A. & De Witte, K. (2010). COOPER-framework: A unified process for non-parametric projects. European Journal of Operational Research 207, 1573-1586.         [ Links ]

Farrell, M. (1957). The Measurement of Productive Efficiency. Jo urnal of the Royal Statistical Society, Series A, 120, Part III, 253-290.         [ Links ]

Fernández, P. M. (2005). Metodologia de aplicación del Análisis Envolvente de Datos: Evaluación de la eficiencia técnica en la Universidad de Santiago de Compostela. Eduga: revista galega do ensino 46, 737-746.         [ Links ]

Fernando, B. I. & Cabanda, E. C. (2007). Measuring efficiency and productive performance of colleges at the university of Santo Tomas: a nonparametric approach. International Transactions in Operational Research, 217-229.         [ Links ]

Friedman, L. & Sinuany-Stern, Z. (1998). Combining ranking scales and selecting variables in the DEA context: The case of industrial branches. Computers & Operations Research 25(9), 781-791.         [ Links ]

Fu, T. T., & Huang, M. Y. Measuring the Performance and Relative Efficiency of Departments in the College of Commerce using DEA. In Forth workshop on knowledge economy and electronic commerce (pp. 42-62).         [ Links ]

Giménes, V. & Martinez, J. L. (2006). Cost efficiency in the university - A departmental evaluation model. Economics of Education Review 25, 543-553.         [ Links ]

Glass, J. C., McCallion, G., McKillop, D. G., Rasaratnam, S. & Stringer, K. S. (2006). Implications of variant efficiency measures for policy evaluations in UK higher education. Socio-Economic Planning Sciences 40, 119-142.         [ Links ]

Golany, B. & Roll, Y. (1989). An application procedure for DEA. Omega 17(3), 237-250.         [ Links ]

Grifell-Tatjé, E., Prior, D., & Salas, V. (1992). Eficiencia de empresa y eficiencia de planta en los modelos frontera no paramétricos. Aplicación a las cajas de ahorro en España: 1989-1990. Fundación Fondo para la Investigación Económica y Social. Documento de trabajo, (92).         [ Links ]

Haktanirlar Ulutas, B. (2011). Assessing the relative performance of university deparments: teaching vs research. Ekonometri ve Istatistik Sayi 13, 125-138.         [ Links ]

Jenkins, L. & Anderson, M. (2003). A multivariate statistical approach to reducing the number of variables in data envelopment analysis. European Journal of Operational Research 147, 51-61.         [ Links ]

Johnes, J. (2006). Data envelopment analysis and its application to the measurement of efficiency in higher education. Economics of Education Review 25, 273-288.         [ Links ]

Johnes, J. (2006). Measuring Efficiency - A Comparison of Multilevel Modelling and Data Envelopment Analysis in the Context of Higher Education. Bulletin of Economic Research 58, 75-104.         [ Links ]

Johnes, J. & Yu, L. (2008). Measuring the research performance of Chinese higher education institutions using data envelopment analysis. China Economic Review 19(4), 679-696.         [ Links ]

Joumady, O. C. (2005). Performance in European higher education: A non-parametric production frontier approach. Education Economics 13, 189-205.         [ Links ]

Kao, C. & Hung, H. T. (2008). Efficiency analysis of university departments: An empirical study. Omega 36, 653-664.         [ Links ]

Katharaki, M., & Katharakis, G. (2010). A comparative assessment of Greek universities' efficiency using quantitative analysis. International Journal of Educational Research 49(4), 115-128.         [ Links ]

Kõksal, G. & Nalçaci, B. (2006). The Relative Efficiency of Departments at a Turkish Engineering College: A Data Envelopment Analysis. Higher Education 51 (2), 173-189.         [ Links ]

Kong, W. H. & Fu, T.-T. (2012). Assessing the performance of business colleges in Taiwan using data envelopment analysis and student based value-added performance indicators. Omega 40(5), 541-549.         [ Links ]

Koopmans, T. C. (1951). Analysis of production as an efficient combination of activities. Activity analysis of production and allocation, 13, 33-37.         [ Links ]

Kounetas, K., Anastasiou, A., Mitropoulos, P. & Mitropoulos, I. (2011). Departmental efficiency differences within a Greek university: An application of a DEA and Tobit analysis. International Transactions in Operational Research 18(5), 545-559.         [ Links ]

Kuah, C. T. & Wong, K. Y. (2011). Efficiency assessment of universities through data envelopment analysis. Procedia Computer Science 3, 499-506.         [ Links ]

Lee, B. L. (2011). Efficiency of research performance of Australian Universities: A reappraisal using a bootstrap truncated regression approach. Economic Analysis and Policy 41(3), 195.         [ Links ]

Leitner, K. H., Prikoszovits, J., Schaffhauser-Linzatti, M., Stowasser, R. & Wagner, K. (2007). The Impact of Size and Specialisation on Universities' Department Performance: A DEA Analysis Applied to Austrian Universities. Higher Education 53(4), 517-538.         [ Links ]

Lu, W.-M. (2012). Intellectual capital and university performance in Taiwan. Economic Modelling 29(4), 1081-1089.         [ Links ]

Martin Rivero, R. (2006). La evaluación de la eficiencia. Una aplicación del DEA a la Universidad de la Laguna. XV Jornadas de la Asociación de la Economia de la Educación, 217-228.         [ Links ]

Martin Rivero, R. (2007). La eficiencia productiva en el ámbito univer-sitario: aspectos claves para su evaluación. Estudios de Economia Aplicada 25, 793-812.         [ Links ]

Miranda, R., Gramani, M. C. & Andrade, E. (2012). Technical efficiency of business administration courses: a simultaneous analysis using DEA and SFA. International Transactions in Operational Research 19(6), 847-862.         [ Links ]

Moreno, A. A. & Tadepalli, R. (2002). Assessing academic department efficiency at a public university. Managerial and Decision Economics 23(7), 385-397.         [ Links ]

Murias Fernández, P. (2005). Metodologia de aplicación del Análisis Envolvente de Datos: evaluación de la eficiencia técnica en la Universidad de Santiago de Compostela. Eduga 46, 737-746.         [ Links ]

Murias, P., Miguel, J. C. & Rodriguez, D. (2008). A Composite Indicator for University Quality Assesment: The Case of Spanish Higher Education System. Social Indicators Research 89(1), 129-146.         [ Links ]

Oral, M. & Yolalan, R. (1990). An empirical study on measuring operating efficiency and profitability of bank branches. European Journal of Operational Research 46(3), 282-294.         [ Links ]

Pareto, V. & Bonnet, A. (1909). Manuel d'economie politique. Paris: V. Giard & E. Brière.         [ Links ]

Pastor, T. (1996). Translation invariance in DEA: A generalization. Annals of Operations Research 66, 93-102.         [ Links ]

Ray, S. C. & Jeon, Y. (2008). Reputation and efficiency: A non-parametric assessment of America's top-rated MBA programs. European Journal of Operational Research 189(1), 245-268.         [ Links ]

Roll, Y. & Golany, B. (1993). Alternate methods of treating factor weights in DEA. Omega 21(1), 99-109.         [ Links ]

Sarrico, C. S. & Dyson, R. G. (2000). Using DEA for Planning in UK Universities-An Institutional Perspective. The Journal of the Operational Research Society 51 (7), 789-800.         [ Links ]

Scheel, H. (2000). EMS: Efficiency Measurement System - User's Manual.         [ Links ]

Simar, L. & Wilson, P. W. (1998). Sensitivity Analysis of Efficiency Scores: How to Bootstrap in Nonparametric Frontier Models. Management Science 44(1), 49-61.         [ Links ]

Simar, L. & Wilson, P. W. (2000a). A general methodology for bootstrapping in non-parametric frontier models. Journal of Applied Statistics, 27(6), 779-802.         [ Links ]

Simar, L. & Wilson, P. W. (2000b). Statistical inference in nonparametric frontier models: The state of the art. Journal of Productivity Analysis, 13(1), 49-78.         [ Links ]

Simar, L. & Wilson, P. W. (2007). Estimation and inference in two-stage, semi-parametric models of production processes. Journal of Econometrics, 136(1), 31-64.         [ Links ]

Sohn, S. Y. & Kim, Y. (2012). DEA based multi-period evaluation system for research in academia. Expert Systems with Applications 39(9), 8274-8278.         [ Links ]

Thanassoulis, E., Kortelainen, M., Johnes, G. & Johnes, J. (2011). Costs and efficiency of higher education institutions in England: a DEA analysis. Journal of the Operational Research Society 62(7), 1282-1297.         [ Links ]

Thursby, J. G. & Kemp, S. (2002). Growth and productive efficiency of university intellectual property licensing. Research Policy 31(1), 109-124.         [ Links ]

Turner, D. (2005). Benchmarking in Universities: League Tables Revisited. Oxford Review of Education 31 (3), 353-371.         [ Links ]

Tyagi, P., Yadav, S. P. & Singh, S. P. (2009). Relative performance of academic departments using DEA with sensitivity analysis. Evaluation and Program Planning 32(2), 168-177.         [ Links ]

Ulutas, B. H. (2011). Assessing the Relative Performance of University Departments: Teaching vs. Research. Ekonometri ve Istatistik e-Dergisi 13, 125-138.         [ Links ]

Warning, S. (2004). Performance differences in German higher education: Empirical analysis of strategic groups. Review of Industrial Organization 24(4), 393-408.         [ Links ]

Wolszczak-Derlacz, J. & Parteka, A. (2011). Efficiency of European public higher education institutions: a two-stage multicountry approach. Scientometrics 89(3), 887-917.         [ Links ]