Medición del desempeño y éxito en la dirección de proyectos. Perspectiva del Manager público

Performance and success measurement when managing projects. A public manager perspective

Mesure du rendement et de la réussite en gestion de projets: le cas des cadres de la fonction publique

Medição de desempenho e sucesso na direção de projetos. Perspectiva do administrador público

H. Mauricio Diez-Silva^*
M. Amaya Pérez-Ezcurdia^**
Faustino N. Gimena Ramos^***
Maricela I. Montes-Guerra^****

^*Estudiante de doctorado del Departamento de Proyectos e Ingeniería de la Universidad Pública de Navarra. Ingeniero de Diseño. Universidad de la Salle (Colombia) especialista en Gerencia de Proyectos. Universidad de la Salle (Colombia) Especialista en Administración de Empresas. Universidad EAN (Colombia) Especialista en Administración de Empresas. Universidad Politécnica de Madrid MBA. Universidad Politécnica de Madrid Diploma de Estudios Avanzados. Doctorado en Dirección de Proyectos. Universidad Pública de Navarra.
^**Profesora titular del Departamento de Proyectos e Ingeniería de la Universidad Pública de Navarra. Ingeniera Industrial. Universidad del País Vasco. PhD. Ingeniera Industrial. Universidad Pública de Navarra.
^***Profesor titular del Departamento de Proyectos e Ingeniería de la Universidad Pública de Navarra. Arquitecto. Universidad de Navarra. PhD. Arquitecto. Universidad de Navarra.
^****Estudiante de doctorado del Departamento de Proyectos e Ingeniería de la Universidad Pública de Navarra. Administradora Comercial. Universidad de Pamplona (Colombia) Magister en Paz, desarrollo y resolución de conflictos. Universidad de Pamplona (Colombia) Diploma de Estudios Avanzados. Doctorado en Dirección de Proyectos. Universidad Pública de Navarra.

Fecha de recepción: 9 de agosto Fecha de aprobación: 25 de octubre

Resumen

Este artículo analiza la medición del desempeño en dirección de proyectos y la influencia que este tiene sobre el éxito en el proceso de ejecución. Se ha estudiado la literatura actual, cuerpos de conocimiento y la perspectiva de directores públicos en Colombia. Se examina el impacto del uso de sistemas de medición de rendimiento e indicadores, sobre los resultados de varias intervenciones puestas en marcha recientemente por los entrevistados. A través de un trabajo teórico e interpretativo, se sintetiza la visión de la literatura y de los estándares de asociaciones internacionales de dirección de proyectos. Se desarrolla un trabajo empírico, recolectando información de directores en varios sectores. Se ha analizado la correlación que existe entre las variables que determinan la aplicación de sistemas de medición del desempeño, y las variables que determinan los criterios de éxito. Se ha encontrado una influencia positiva tanto del uso de indicadores como de adopción de sistemas de desempeño, sobre los criterios de éxito. La confrontación de la revisión teórica con el estudio empírico, ha permitido establecer la importancia del uso de herramientas de medición del desempeño como factor de éxito en el proceso de dirección de los proyectos. Se pretende promover el uso de métricas y el desarrollo de aplicaciones metodológicas para mejorar los resultados en procesos y tareas de ejecución y control.

Palabras claves: Dirección de proyectos, Indicadores de desempeño, Sector público.

Abstract

This article analyzes performance measurement in project management and the influence it has upon the success of its execution. Current bibliography, knowledge and perspectives of public directors have been fully studied. Besides, the impact of the use of performance and indicators measurement systems upon the outcomes of the recent several interventions that the interviewers have already made are being analyzed. Through an interpretation and theoretical work, the vision of literature and the standards of international organizations which manage projects. An empirical work has been made collecting information from different directors in several sectors. The correlation among different variables determining the application of performance measurement systems as well as determining the variables to measure success criteria. A positive influence involving the use of indicators for the acquisition of performance systems has been found upon success criteria. The correlation made between the theoretical revision and the empirical has allowed to determine the application of performance measurement tools as a key factor in the process of project management. We also pretend to promote the use of metrical techniques and the development of methodological applications to improve the outcomes in the execution and control of processes and tasks.

Key words: Project management, Performance indicators, Public sector.

Resuméé

Cet article analyse la mesure de la performance de la gestión de projet et l'influence qu'elle peut avoir tant sur le succès du processus que sur sa mise en œuvre. Une étude de la littérature actuelle sur le sujet, des domaines de la recherche ainsi que le point de vue des cadres de la fonction publique en Colombie ont été réalisés. L'impact de l'utilisation des systèmes de mesure des performances et des indicateurs sur les résultáis des différentes interventions récemment mises en place par les personnes interrogées a été examiné. Grâce à un travail théorique et interprétatif la visión de la littérature sur les normes des associations de gestión de projets internationaux a été synthétisée. Un travail empirique de collecte de données provenant de cadres de la fonction publique colombienne de différents secteurs a été effectué. La corrélation entre les variables qui déterminent l'application de systèmes de mesure de rendement et celles déterminant les ciútères de réussite a été analysée. Il a été démontré qu'une influence positive sur les critères de réussite se dégage de l'utilisation d'indicateurs et de l'adoption de systèmes de performance. La confrontation de l'examen théorique à l'étude empirique a permis d'établir l'importance de l'utilisation des outils de mesure de la performance se convertissant en un facteur dé de succès dans le processus de gestión de projet. II s'agit désormais de promouvoir l'utilisation de paramétres ainsi que le développement d'applications méthodologiques pour améliorer les résultáis des processus, les tâches d'exécution et de contrôle.

Mots clefs: Gestion de projet, Performance Indicateurs de rendement, Secteur public.

Resumo

Este artigo analisa a medição de desempenho em direção de projetos e a influência deste no sucesso durante o processo de execução. Estudou-se a literatura atual, corpos de conhecimento e a perspectiva de administradores públicos na Colômbia. Examinou-se o impacto do uso de sistemas de medição de desempenho e indicadores, sobre os resultados de varias intervenções executadas recentemente pelos entrevistados. Através de um trabalho teórico e interpretativo, sintetizou-se a visão da literatura e dos estándares de associações internacionais de direção de projetos. Desenvolveu-se um trabalho empírico, coletando informação de administradores em vários setores. Analisou-se a correlação que existe entre as variáveis que determinam a aplicação de sistemas de medição de desempenho, e as variáveis que determinam os critérios de sucesso. Encontrou-se urna influencia positiva pelo uso de indicadores e a adoção de sistemas de desempenho sobre os critérios de sucesso. A comparação da revisão teórica com o estudo empírico, permitiu estabelecer a importância do uso de ferramentas de medição de desempenho como fator de sucesso no processo de direção dos projectos. Preténde-se promover o uso de métricas e o desenvolvimento de aplicações metodológicas para melhorar os resultados em processos e tarefas de execução e controle.

Palavras chave: Direção de projetos, Indicadores de desempenho, Setor público.

1. Introducción

El rendimiento en gestión se define como la forma en que las organizaciones consiguen sus objetivos (Flapper, Fortuin, & Stoop, 1996). En ese sentido, conocer la capacidad de rendimiento aporta información para orientar el proceso de planificación y control en el nivel organizativo, razón por la cual su adecuada medición aumenta su utilidad. La medición del rendimiento es el proceso de cuantificación de la acción, dentro del cual, la medición corresponde al proceso de cuantificación y la acción es la que conduce a resultados (Neely, Gregory, & Platts, 2005). Según Neely y otros (1977), medir el rendimiento constituye un procedimiento de captura de datos que puede ser usado para informar y favorecer a los responsables por la toma de decisiones.

Dentro de este contexto, en este artículo se entiende que la métrica es una medida cuantitativa del nivel en que un proceso posee cierto atributo, o propiedad medible; y, a su vez, una medida es el número asignado a dicho atributo como resultado de la aplicación de un procedimiento de medición. Así mismo, se entiende que un indicador es la métrica, o conjunto de métricas, que proporcionan conocimientos acerca de los aspectos de un proyecto, ayudando a interpretar los conceptos medibles. Al respecto conviene decir que la medición del rendimiento es un tema que se discute a menudo, pero pocas veces definido (Neely et al., 2005), y se cuantifica a través de medidas que son usualmente denominadas métricas ó indicadores.

Según Flapper y otros (1996), los indicadores son importantes dentro de una organización puesto que dicen lo que debe medirse y cuáles son los límites de control dentro de los que debe estar dicho rendimiento. En tal sentido, el nivel de rendimiento que alcanza una organización está en función de la eficiencia y la eficacia de las acciones que realiza (Neely et al., 2005). La eficiencia se basa en la relación entre producción y entradas, con un enfoque de medidas de productividad del proceso y utilización de recursos, mientras que, la eficacia se basa en la idea de salidas apropiadas del proceso (Radnor & Barnes, 2007).

Con respecto a lo antes mencionado, se puede decir que en el área de gestión, el desempeño en las organizaciones se relaciona, de una parte, con las actividades que se han planificado para conseguir sus objetivos, y de otra, con las rectificaciones que se lleven a cabo después de evaluar el desempeño real de dichas actividades.

Dentro de ese marco, ha de considerarse que, al igual que en otras disciplinas de gestión que utilizan la medición del desempeño, como la gestión de operaciones, gestión de la calidad y gestión estratégica, desde 1980 se ha establecido una discusión en el ámbito de la gestión de proyectos sobre la evaluación del rendimiento, y su impacto sobre el éxito de dicha gestión (D. J. Bryde, 2005). En consecuencia, un proyecto es una entidad, cuya organización es temporal, pero que busca conseguir un objetivo, con lo cual los conceptos genéricos del área de gestión antes mencionados son aplicables en entornos de dirección de proyectos.

Del mismo modo, para el área de conocimiento de la dirección de proyectos la evaluación del rendimiento se basa en la medición y seguimiento de los criterios de ejecución de los proyectos (Barclay & Osei-Bryson, 2010), y tradicionalmente, también el rendimiento de los proyectos se ha visto como función que depende del tiempo, del coste y de la calidad (Pillai, Joshi, & Rao, 2002) (Wi & Jung, 2010). En tal sentido, este artículo se enfoca en los aspectos relacionados con la evaluación cuantitativa del desempeño de proyectos durante la fase de ejecución, para lo cual, por lo general se han utilizado medidas del progreso que permiten tomar acciones correctivas cuando es necesario (Kwak and Ibbs, 2002).

Habitualmente el rendimiento de proyectos es medido a través de métricas, conocidas también como indicadores clave de rendimiento ó Key Performance Indicators (KPI) (Luu, Kim, & Huynh, 2008). Los sistemas de gestión del rendimiento en proyectos se definen como el conjunto de indicadores o medidas de rendimiento, utilizados para cuantificar la eficiencia y la eficacia de las acciones (Lauras, Marques & Gourc, 2010). En ese mismo orden de ideas, la gestión del rendimiento en proyectos consiste en el establecimiento de metas de desempeño, en la elección de una estrategia para mejorarle a través de Factores Críticos de Éxito (FCE), y en la aplicación de un proceso de medición con KPIs para establecer la diferencia entre metas y resultados (Toor & Ogunlana, 2008).

Por otra parte, un proyecto debe ejecutarse dentro del presupuesto, calendario, seguridad y metas de calidad, para ser considerado exitoso (Bayraktar y otros, 2011). En proyectos de construcción por ejemplo, la importancia de medir el rendimiento es esencial en el proceso de control, puesto que permite vigilar el desempeño al alcanzar los objetivos finales (Haponava & Al-Jibouri, 2008), y habitualmente en este sector se estima el desempeño utilizando una estructura basada en indicadores de seguimiento (Yuan y otros, 2011).

Existe cierta divergencia de opiniones sobre lo que constituye "el éxito del proyecto" (Prabhakar, 2008). Según Baccarini (1999) y otros autores debe distinguirse entre éxito del proyecto, medido por el cumplimiento de los objetivos del producto final, y éxito de la gestión del proyecto, medido habitualmente en términos de tiempo, coste y calidad (de Wit, 1988). Al respecto, Cooke-Davies (2002) afirma que debe diferenciarse entre criterios de éxito (las medidas por las que el éxito o fracaso de un proyecto será juzgado) y factores de éxito (las entradas al sistema de gestión que llevan directamente o indirectamente al éxito del proyecto).

De cualquier modo, el debate sobre éxito en proyectos se puede sintetizar en una visión en la cual el enfoque para evaluar la ejecución del proyecto se estructura a partir de tres perspectivas: éxito, rendimiento y medición del proceso (figura 1).

Aunque en la literatura se ha referenciado habitualmente a costes, tiempo y calidad como los criterios de éxito del proyecto, también se ha sugerido la necesidad de considerar nuevos criterios (Agarwal & Rathod, 2006). Por tanto, es preciso indagar por la posibilidad de otros criterios, diferentes de los habituales, que permitan establecer la capacidad de gestión de los responsables de los proyectos.

Algunos estudios muestran que es imposible generar una lista universal de criterios, puesto que varían de un proyecto a otro (Jha & Iyer, 2007; Marques et al., 2010), y otros como Van Der Westhuizen & Fitzgerald (2005) proponen por ejemplo, incluir nuevas dimensiones de las ya tradicionales, como calidad del proceso de gestión y satisfacción de las expectativas de los interesados, para tener una visión más completa del proyecto. En consecuencia, los factores críticos de éxito son reconocidos como un elemento clave para conseguir las metas del proyecto (Meng, Zhao, & Shen, 2011), y aparecen como uno de los aspectos esenciales por analizar.

Para tal efecto, el interés del presente estudio se orienta a explorar todos aquellos factores de éxito, que a través de criterios y métricas permitan evaluar el proceso de gestión, de manera que su resultado pueda ser útil para mejorar la dirección de la ejecución de los proyectos.

Este trabajo de investigación, por tanto, analiza y describe el estado actual del desempeño o rendimiento en la dirección de proyectos, lo que incluye literatura y cuerpos de conocimiento. Se ha llevado a cabo un estudio empírico para entender la perspectiva y adopción de sistemas de medición de rendimiento e indicadores por directores de proyectos públicos en Colombia. El propósito de la fase empírica es analizar el impacto de su uso sobre el éxito de los proyectos. Se pretende contribuir con una nueva aportación cualitativa de categorías, que ayude a los jefes de proyecto con poca formación, a elegir categorías de indicadores para evaluar el desempeño de los proyectos a su cargo.

2. Método de Investigación

Para realizar el estudio se han utilizado estrategias cuantitativas y cualitativas. En la primera etapa se realizó un trabajo de revisión e interpretación de la literatura y cuerpos de conocimiento de la dirección de proyectos. Una vez este fue completado, se diseñó un cuestionario estructurado en tres partes, para recolectar datos de directores de proyectos del sector público. La pregunta de investigación propuesta para definir la hipótesis del trabajo fue: ¿Cómo puede la adopción de sistemas de medición del rendimiento ser un factor clave en el éxito de los proyectos?

Dos aspectos de interés fueron revisados en la literatura: cuerpos de conocimiento y estándares de la dirección de proyectos; contribuciones de revistas científicas como: International Journal of Project Management, Project Management Journal, Journal of Management in Engineering, International Journal of Productivity and Performance Management, Expert Systems with Applications, entre otras. Se utilizaron palabras clave y combinaciones de ellas: project, measurement, performance, management, indicators. Se ha elaborado un marco general, simplificado en una estructura de tabla, que caracteriza los factores de mayor repetividad en la literatura, a partir de los cuales se pueden desarrollar y aplicar indicadores de desempeño para los proyectos.

Terminada la fase de revisión, se diseñó un cuestionario estructurado en tres partes. La primera parte, con diez preguntas (tres abiertas y el resto cerradas), recopila la información general de los directores entrevistados. La segunda parte, con tres preguntas, indaga la información sobre los sistemas de medición del desempeño, evaluando la adopción y nivel de uso. Se han recolectado datos sobre la frecuencia de aplicación y envío de reportes de progreso, procedimientos, uso de indicadores y variables habituales de medición durante el control del proyecto.

La tercera y última parte del cuestionario cuenta con tres preguntas que exploran los resultados finales de un proyecto llevado a cabo por el director entrevistado, y que haya concluido recientemente. Para realizar lo anterior y basados en la revisión de la literatura, se han elegido los seis criterios considerados más relevantes para determinar el éxito en un proyecto (tiempo, coste, calidad, actividades, alcance y satisfacción de beneficiarios e involucrados). Las variables que determinan el éxito fueron relacionadas con las variables que determinan el uso de sistemas de medición del rendimiento, evaluando la existencia de posibles correlaciones.

Utilizando dicho análisis de correlación, se ha estudiado la influencia de la adopción y uso de sistemas de medición de rendimiento e indicadores sobre los resultados de los proyectos. El cuestionario fue enviado a 146 directores de proyectos públicos que recientemente han puesto en marcha intervenciones. La información obtenida de la aplicación de los cuestionarios es analizada y discutida.

3. Revisión e interpretación de literatura

En este apartado se presentan los resultados de la revisión de contribuciones de cuerpos de conocimiento y de la literatura, realizadas a partir del año 2000, sobre aplicación de sistemas de desempeño o indicadores en procesos de gestión de proyectos.

De acuerdo con el Project Management Institute (PMI), el desempeño se evidencia a través de la medición del rendimiento del proyecto. En ese sentido, el informe de rendimiento, según el PMI, es el instrumento idóneo, puesto que resume la situación de las actividades que se llevan a cabo para alcanzar el trabajo previsto en el cronograma del proyecto (Project Management Institute -PMBOKR, 2008). Dichos reportes, según este estándar, buscan medir el avance y la situación de los productos entregables, hacer estimaciones para finalizar, y estimar medidas técnicas alcanzadas (fechas de inicio y finalización de las actividades del cronograma) (Project Management Institute - PMBOKR, 2008).

Del mismo modo, el International Competence Base-line (ICB) del International Project Management Association (IPMA), reconoce la medición del progreso y rendimiento como una competencia técnica denominada "control de informes" (IPMA, 2006). Esta medición, según el ICB, se basa en la comparación de objetivos, planes y contratos planificados del proyecto, contra el rendimiento real como medida para la toma de acciones correctoras.

De forma semejante, en la norma ISO-10006 la información relativa al desempeño del proyecto debe registrarse como parte de un enfoque basado en hechos para toma de decisiones (The International Organization Standardization -ISO-, 2003). Se plantean técnicas de chequeo y medición, utilización de libro de registros y el análisis del valor ganado. Se evidencia también en este estándar, que la medición del desempeño se recalca con importancia y que se aplica a través de técnicas.

En concordancia con los demás estándareas, la Association for Project Management (APM) señala que la medición y supervisión del desempeño se enfoca en el plan línea de base y los indicadores clave de rendimiento (APM, 2006). Para su estimación recomienda la comparación del rendimiento real con los planes y la aplicación de la técnica de Gestión del Valor Ganado.

Por otra parte, en el contenido de algunos Métodos como PRINCE2 (Projects in a Controlled Enviroment) (Office of Government Commerce - OCG-UK, 2009), considerado actualmente también como estándar en gestión de proyectos del Reino Unido, asigna importancia a la comunicación del rendimiento del proyecto como una actividad a efectuar durante la terminación de cada fase y al finalizar el proyecto. Según Prince, este proceso se plantea a través de la comparación del desempeño con las metas planificadas, los niveles de tolerancia, tiempo, coste, alcance, beneficios y riesgo. El método incluye también la técnica del valor ganado como aplicación y el enfoque de progreso del proyecto.

En general, se aprecia un consenso en cuerpos de conocimiento y estándares en gestión de proyectos sobre el desempeño. Sin embargo, se observan algunas diferencias con respecto a los parámetros para su medición, además de pocas indicaciones sobre métricas para su aplicación. Se sintetizan estos conceptos, los parámetros para su estudio, y las técnicas o herramientas sugeridas (Tabla 1)

No obstante al aporte de asociaciones profesionales, cabe señalar que las orientaciones sobre aplicación de métricas concretas para evaluar el rendimiento en gestión de proyectos son escasas, excepto por los índices de rendimiento de la técnica de gestión del valor ganado que aparecen sugeridos en todos los cuerpos de conocimiento. Conviene, por consiguiente, realizar una exploración de la literatura científica sobre aplicaciones relacionadas con métricas o indicadores que hayan sido utilizados en la estimación del rendimiento.

Un enfoque bastante interesante para esta temática, es el expuesta por Toor and Ongulana (2010), que proponen trasladar la medición del desempeño de las medidas tradicionales a una combinación de medidas cualitativas y cuantitativas. Estos autores han propuesto una estructura de indicadores en nueve áreas: tiempo, presupuesto, especificaciones, seguridad, eficiencia, efectividad, libertad de defectos, y satisfacción de expectativas de involucrados.

A partir de lo antes mencionado, se ha evidenciado que en general, la mayor parte de estructuras de indicadores se organizan tomando como base el denominado triangulo de hierro (coste, plazo y calidad) (Ling, 2004; Jha e Iyer, 2007; Sohail y Baldwin, 2004; Wi & Jung, 2010). En relación con este triple conjunto, el número es extendido hacia otras categorías adicionales de acuerdo al sector, tipo de proyecto o intereses particulares. Por ejemplo, estos tres criterios habituales se han utilizado en el sector construcción (Chan, Scott, & Lam, 2002).

Tomando como referencia este grupo de medidas básicas y habituales, se han encontrado aportaciones que proponen indicadores directos de medición o proponen criterios sobre los cuales se pueden hacer las mediciones para apoyar la gestión de los proyectos. Por ejemplo, con respecto a lo antes planteado, Cho y Hyun (2009) a través de una revisión de literatura, categorizaron indicadores en dos áreas: costes (coste de contrato, coste final e incremento de coste), y tiempo (crecimiento and programación). Se puede distinguir allí la propuesta directa de tipos de indicadores.

De igual forma que la anterior propuesta, Sanchez y Perez (2002) han estudiado la utilización de técnicas e indicadores en proyectos de investigación y desarrollo en la industria de España, con categorías de tiempo (total de desarrollo, desviaciones), trabajo en red (comunicación, coordinación), coste y satisfacción del cliente.

En otras áreas como la informática se suelen utilizar métricas para medir el desempeño a través de la evaluación del progreso. Por consiguiente los proyectos de desarrollo de Software han generado propuestas útiles que podrían de hecho ser aplicada en otras áreas. Al respecto, trabajos como el de Presedo y otros (2010) han identificado un grupo de métricas para monitorear la ejecución en las siguientes categorías: esfuerzo, coste, tiempo, horas del staff, cambios y errores.

De la misma manera, otras aportaciones han sugerido las áreas en las cuales se deberían hacer mediciones del desempeño para mejorar la gestión de los proyectos. Partiendo de dicha utilidad, Dey (2000) identificó algunos procedimientos que incluyen la medición del desempeño, con medidas sobre los paquetes de trabajo, tiempo, recursos e índices de resultados del análisis del valor ganado.

A partir de allí se pueden encontrar diversas contribuciones que relacionan factores, categorías, criterios, dimensiones o medidas, que aunque con diversas denominaciones, proponen áreas sobre las cuales se podrían plantear metricas e indicadores. En ese sentido, Westerveld (2003), ha identificado seis áreas organizacionales de factores críticos de éxito que pueden ser clasificados como categorías de evaluación del desempeño. Tales categorías son: liderazgo y equipo, estrategia, gestión de involucrados, recursos, contratación y gestión (calendario, presupuesto, organización, calidad, información y riesgos).

De forma similar, Cheung y Cheung (2004) proponen ocho categorías de medición: personas, costes, tiempo, calidad, seguridad y salud, ambiente, satisfacción del cliente y comunicación. Igualmente, Bryde and Wright (2007), prepararon un perfil de factores de desempeño para proyectos con cinco temas: gestión, eficiencia, clientes y orientación del equipo, involucrados, control y flexibilidad.

Barclay (2008) ha presentado una estructura de seis dimensiones para evaluar proyectos: procesos, beneficios, innovación y aprendizaje, calidad, y perspectiva de los involucrados. De forma simultánea, Luu y otros (2008) establecieron algunas métricas para contratación: coste, tiempo, satisfacción del cliente, calidad, equipo de proyecto, cambios, materiales y seguridad.

Algunas aportaciones, incluso, presentan criterios de medición de difícil cuantificación, como el caso de Barclay y Osei-Bryson (2010), que además de algunos criterios habituales como: gestión y equipo humano, cliente e involucrados, productos y servicios, expone el criterio de preparación para el futuro. Otros como Bernroider e Ivanov (2011) han diseñado un método para proyectos IT que aplica métricas en cinco categorías: presupuesto, tiempo, interesados, directores de proyecto y uso de estándares.

Cao y Hoffman (2011) investigaron sobre el diseño de un sistema de evaluación del rendimiento en proyectos para una empresa de manufactura y tecnología, validando los siguientes indicadores: duración del proyecto, esfuerzo, el personal del proyecto, la prioridad, el número de ingenieros y complejidad técnica.

Por último se han encontrado aportaciones basadas en modelos existentes, o que modifican partes de algún estandar. Tales son, en síntesis, Bryde (2003) que propone un modelo de desempeño con seis criterios, basado en el modelo EFQM de gestión de calidad. Bryde, por tanto, concluye que los criterios para evaluar el rendimiento se relacionan con siete factores: liderazgo, personal, estrategia, recursos, gestión de procesos e indicadores clave de rendimiento.

De igual forma, Stewart (2001) ha aplicado la técnica del Balanced Scorecard, proponiendo que las medidas mínimas de un proyecto incluyan cuatro temáticas: financiera, cliente, proyecto/negocio interno, y crecimiento/innovación. Además de lo anterior recomienda que en caso de utilizar el PMBOK se diseñe un indicador para cada una de las salidas de los grupos de procesos, algo que también es corroborado por Lauras y otros (2010).

Utilizando los resultados del trabajo teórico de revisión, se ha elaborado una síntesis , en la cual se referencian todos los criterios de medición del desempeño de la literatura. La síntesis presentada es una lista cualitativa de categorías con las que se pretende orientar a los directores sobre la medición del desempeño en proyectos. Su contenido se ha elaborado a partir de la interpretación, unificando los enfoques en un elemento de carácter global. Todos los tipos de categorías de métricas han sido clasificados de acuerdo a su tipo y afinidad.

A partir de la caracterización cualitativa de categorías, se ha generado un catálogo de grupos de medición del desempeño con una única denominación. El resultado es una lista cualitativa general de categorías, con mayor especificidad y representatividad. Se presentan dichos resultados, clasificados y ordenados, de acuerdo con la frecuencia con la que son mencionados en la literatura (tabla 3)

Con todo y lo anterior, la categorización de métricas de rendimiento que se presenta y que ha sido elaborado a partir de la revisión e interpretación de la literatura, incluye nuevas alternativas diferentes de las tradicionales. Al respecto conviene decir que su utilidad se enfoca en la orientación para establecer indicadores, proporcionando información para la evaluación de la gestión de los proyectos.

Al mismo tiempo, la síntesis que se ha propuesto puede beneficiar a directores y responsables de proyectos en la estructuración de parámetros de medida del proceso de gestión que llevan a cabo, además de orientar la toma de decisiones y aplicación de acciones correctivas.

Se considera también que el trabajo teórico, descrito en esta primera parte, puede permitir la formulación de líneas de trabajo futuras, corroborando su aplicabilidad en entornos de práctica reales. Por tanto en la segunda parte de este artículo, y utilizando un trabajo empírico, se realizará un estudio sobre el uso y ventajas del grupo de categorías obtenido.

4. Análisis y discusión de resultados

En esta sección se pretende describir el estudio empírico desarrollado, sobre la adopción de sistemas de medición del desempeño e indicadores en una muestra de directores de proyectos públicos de Colombia. Se ha intentado encontrar evidencia preliminar sobre la utilidad de la síntesis obtenida en la revisión teórica de esta investigación y descrita en el apartado anterior.

En tal sentido, una de las razones por las cuales los directores públicos deben medir el desempeño, es para conocer el resultado de programas, personas o proyectos en los que se invierte el dinero de los ciudadanos (Behn, 2003). A partir de ello, la ejecución de un proyecto debe tener claridad en cuanto al trabajo que se debe realizar y su control debe reducir la posibilidad de hacer frente a mayores costos (Kassel, 2008).

Para llevar a cabo el análisis empírico se ha comparado la información reportada por 146 directores de proyectos públicos de Colombia en diferentes sectores. Los entrevistados han ejecutado proyectos en períodos diferentes entre 2003 y 2011. Utilizando la información recolectada a través del cuestionario, descrito en apartados anteriores, se han analizado varios tópicos de interés con el propósito de responder la pregunta e hipótesis de la investigación. Los resultados generales de la muestra han sido clasificados por variable (género, edad, educación, estudios, profesión y ocupación), para determinar si existe alguna relación con el resultado de los proyectos. Otras variables como número de proyectos dirigidos, tipo de proyecto y número de personas del equipo, han sido utilizadas para caracterizar los elementos que determinan la tipología de proyectos de la muestra.

En los resultados generales se puede apreciar que en los directores entrevistados existe representatividad de ambos sexos (hombres 55%, mujeres 45%), lo cual confirma que es una disciplina con pluralidad y muy diversa. Con respecto a la edad, la mayoría de directores se encuentran entre 41 y 50 años, y otros entre 31 y 40, que garantiza en principio la experiencia profesional de los entrevistados. El nivel de formación más representativa es universitario, además una buena parte de los entrevistados tienen una formación adicional a la profesional básica universitaria, y una pequeña proporción (4%) tiene estudios de doctorado. Lo anterior indica que analizamos una disciplina con un grado considerable de cualificación.

También, se ha evidenciado en los resultados generales que la ocupación profesional de los directores se concentra en el área de económicas y empresariales, seguida de Ingeniería, que confirma que estas áreas son las de mayor afinidad con la dirección de proyectos (Figura 2.)

En cuanto a los tipos de proyectos ejecutados se ha encontrado un carácter variado, con mayoría de tecnologías de información y desarrollo de organizaciones. El número de proyectos dirigidos y tamaño del equipo permiten apreciar que los directores cuentan con experiencia en esta área, porque habitualmente en su mayoría han dirigido más de 10 proyectos y equipos de entre seis y 10 personas.

En la segunda parte, relacionada con el desempeño y su tipificación en el trabajo empírico, se han evidenciado una adopción relativamente baja. Con respecto a los sistemas de medición de rendimiento se ha encontrado que un gran número (33%) han adoptado los indicadores clave de desempeño (KPI), y esta es la herramienta más utilizada. La otra herramienta más utilizada son los reportes de progreso, que coincide con los resultados de la interpretación de la literatura. Aproximadamente el 19% de los directores no utilizan ningún sistema de medición del desempeño, en algunos casos porque no utilizan procedimientos. De acuerdo con esto, se puede apreciar la comparación de los resultados sobre la adopción de sistemas de medición del desempeño por parte de los directores consultados figura 3.

Con respecto al uso de los indicadores que se han estructurado en el trabajo de interpretación de la literatura, se puede apreciar que generalmente se utilizan los tradicionales tiempo (71%), coste (82%), y calidad (35%); y en otros casos nuevos indicadores como satisfacción del cliente (25%) y alcance (27%). Es interesante notar que una proporción considerable (18%) habitualmente no utiliza ningún indicador, pese a su condición actual figura 4.

Cabe señalar que se aprecia un énfasis significativo hacia los tópicos relacionados con el manejo de conflictos en los equipos que hacen parte de la ejecución de los proyectos. Aunque no se evidencia un uso considerable de indicadores en este factor, las recomendaciones y sugerencias de los directores que hicieron parte de la muestra han permitido establecer la importancia del manejo y gestión de conflictos en equipos de proyectos. Por tanto, a partir de este hallazgo, se ha abierto una línea de trabajo futuro sobre el impacto que puede tener esta temática en el éxito de una intervención, y los métodos que pueden aplicarse para la gestión del conflicto al interior de un equipo de proyecto.

Por otra parte, en el análisis descriptivo se ha estudiado la correlación entre las variables relacionadas con el uso de sistemas de medición del desempeño e indicadores, y los criterios de éxito de los proyectos. Con respecto al uso de sistemas de desempeño, se ha encontrado una correlación positiva. La correlación positiva fuerte se evidencia entre el uso y los costos del proyecto, especialmente los sistemas tradicionales (KPI, reportes de progreso).

Lo anterior ha indicado que a medida que se utilizan estos sistemas han mejorado los resultados de los proyectos en cuanto a costos. Así mismo, otra variable con correlación positiva fuerte se encontró con el uso de sistemas de medición del desempeño y los resultados en tiempo, calidad y actividades figura 5.

Aunque algunas variables son afectadas en mayor proporción que otras, los directores que han utilizado los sistemas de medición del desempeño en general mejoran los resultados de los proyectos.

Con respecto del uso de los indicadores recopilados en la fase teórica, las variables con correlación positiva fuerte fueron los costos, las actividades y los beneficiarios. Las demás variables presentan correlación positiva normal con el uso de indicadores, lo que indica que en general mejoran los resultados de los proyectos.

Los resultados de la correlación entre el uso de sistemas de medición del desempeño y los resultados de los proyectos son positivos, indicando que su adopción afecta el éxito de los proyectos. Las variables de mayor influencia son el costo y el tiempo. La correlación entre el uso de indicadores y los resultados es también positiva, indicando que su adopción mejora el éxito. Los resultados de mayor correlación con el desempeño son los costos, las actividades y los beneficiarios.

5. Conclusiones y recomendaciones

Este artículo ha analizado la adopción de sistemas de medición del desempeño e indicadores clave, y su influencia sobre el éxito de los proyectos. De acuerdo con la interpretación de la literatura y los cuerpos de conocimiento, y la aplicación de cuestionario, esta investigación provee evidencia empírica para establecer si la adopción de herramientas y el uso de indicadores tiene impacto sobre los resultados de los proyectos.

Los resultados muestran que en la literatura y cuerpos de conocimiento se hace un tratamiento adecuado del tema. Sin embargo, en términos de adopción, hay una baja tasa de uso, prevaleciendo las propuestas tradicionales de la literatura.

En las categorías de medición de desempeño sintetizadas de la literatura se aprecia que las medidas tradicionales (tiempo, coste y calidad) son las más citadas para todos los tipos de proyectos y sectores. Sin embargo, hay un nuevo grupo de métricas interesantes para generar nuevas medidas, como la gestión de conflictos, comunicación, nivel de esfuerzo, trabajo realizado, cambios, organización, entre otras.

La frecuencia de uso de indicadores es baja, sin embargo la adopción influye sobre el desempeño, algunas veces con mayor o menor impacto. Existe una adopción considerable de indicadores tradicionales de la dirección de proyectos. Aunque la adopción de herramientas tradicionales de medición de desempeño es alta, estos no son los que generan mejores resultados en los proyectos. La adopción de nuevas técnicas y herramientas podría generar una mejora considerable en el desempeño de los proyectos, promoviendo a su vez nuevas estrategias de desarrollo de la disciplina.

De acuerdo con las características de la ejecución de proyectos de inversión pública en Colombia y del trabajo de los responsables por su gestión, conviene ampliar el modelo actual hacia una medición del desempeño con indicadores de gestión fijos para todos los proyectos, y categorías adicionales que amplíen la visión de su desempeño. Además, los indicadores podrían incluir mediciones en todas las categorías expuestas en el presente trabajo para establecer una valoración completa. La inclusión de las métricas de medición incluso debería incorporarse en los pliegos de condiciones de licitaciones, como instrumento de control de contratistas y empresas ejecutoras.

Como línea de trabajo futura se ha formulado un estudio sobre la influencia que tiene la gestión de conflicto en equipos de proyecto, sobre sus criterios de éxito. Se pretende verificar la importancia de este tema en la ejecución de los proyectos, y los métodos que a partir de su estudio de puedan desarrollar.

Se considera que la metodología utilizada para preparar el estudio es útil en contextos relacionados con el área de dirección de proyectos. Esta aporta un procedimiento que permite un adecuado proceso de análisis, procesamiento de datos y presentación de resultados, tanto interpretativa como gráficamente. Se sugiere que pueda ser utilizada en estudios similares, para relacionar los factores de éxito en un proyecto con sus resultados y rendimiento.

Referencias bibliográficas

Agarwal, N., & Rathod, U. (2006). Defining 'success' for software projects: an exploratory revelation. International Journal of Project Management, 24(4), 358-370.         [ Links ]

Association for Project Management - APM. (2006). Project Management Body of Knowledge. Fifth Edition, APMBoK. UK.         [ Links ]

Baccarini, D. (1999). The Logical Framework Method for Defining Project Success. Project Management Journal, 30(4), 25-32.         [ Links ]

Barclay, C. (2008). Towards an integrated measurement of IS project performance: The project performance scorecard. Information Systems Frontiers, 10(3), 331-345.         [ Links ]

Barclay, C., & Osei-Bryson, K.-M. (2010). Project performance development framework: An approach for developing performance criteria & measures for information systems (IS) projects. International Journal of Production Economics, 124(1), 272-292.         [ Links ]

Bayraktar, M. E., Hastak, M., Gokhale, S., & Safi, B. (2011). Decision Tool for Selecting the Optimal Techniques for Cost and Schedule Reduction in Capital Projects. Journal of Construction Engineering and Management 137(9), 11.         [ Links ]

Behn, R. D. (2003). Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, Vol. 63(No. 5), 586-606.         [ Links ]

Bernroider, E. W. N., & Ivanov, M. (2011). IT project management control and the Control Objectives for IT and related Technology (CobiT) framework. International Journal of Project Management, 29(3), 325-336.         [ Links ]

Bryde, D. J. (2003). Modelling project management performance. International Journal of Quality & Reliability Management, 20(2), 229-254.         [ Links ]

Bryde, D. J. (2005). Methods for managing different perspectives of project success. British Journal of Management, 16(2), 119-131.         [ Links ]

Bryde, D. J., & Wright, G. H. (2007). Project Management Priorities and the link with performance Management Systems. Project Management Journal, 38(4), 5-11.         [ Links ]

Cao, Q., & Hoffman, J. J. (2011). A case study approach for developing a project performance evaluation system. International Journal of Project Management, 29(2), 155-164.         [ Links ]

Cooke-Davies, T. (2002). The "real" success factors on projects. International Journal of Project Management, 20(3), 185-190.         [ Links ]

Chan, A. P. C., Scott, D., & Lam, E. W. M. (2002). Framework of Success Criteria for Design/Build Projects. Journal of Management in Engineering, 18(3), 120-128.         [ Links ]

Cheung, S. O., Suen, H. C. H., & Cheung, K. K. W. (2004). PPMS: a Web-based construction Project Performance Monitoring System. Automation in Construction, 13(3), 361-376.         [ Links ]

Cho, K., Hong, T., & Hyun, C. (2009). Effect of project characteristics on project performance in construction projects based on structural equation model. Expert Systems with Applications, 36(7), 10461-10470.         [ Links ]

de Wit, A. (1988). Measurement of project success. International Journal of Project Management, 6(3), 164-170.         [ Links ]

Dey, P. K. (2000). Managing projects in fast track. A case of public sector organization in India. The International Journal of Public Sector Management, 13(7), 558-609.         [ Links ]

Flapper, S. D. P., Fortuin, L., & Stoop, P. P. M. (1996). Towards consistent performance management systems. International Journal of Operations and Production Management, 16(7), 27-37.         [ Links ]

Haponava, T., & Al-Jibouri, S. (2008). Identifying key performance indicators for use in control of pre-project stage process in construction. International Journal of Productivity and Performance Management, 58(2), 160-173.         [ Links ]

International Project Management Association - IPMA. (2006). The IPMA Competence Baseline, ICB 3.0.         [ Links ]

Jha, K. N., & Iyer, K. C. (2007). Commitment, coordination, competence and the iron triangle. International Journal of Project Management, 25(5), 527-540.         [ Links ]

Kassel, D. S. (2008). Performance, accountability, and the debate over rules. Public Administration Review, 68(2), 241-252.         [ Links ]

Kwak, Y. H., & Ibbs, W. (2002). Project Management Process Maturity (PM2) Model. Journal of Management in Engineering, 18(3), 150-155.         [ Links ]

Lauras, M., Marques, G., & Gourc, D. (2010). Towards a multi-dimensional project Performance Measurement System. Decision Support Systems, 48(2), 342-353.         [ Links ]

Ling, F. Y. Y. (2004). How project managers can better control the performance of design-build projects. International Journal of Project Management, 22(6), 477-488.         [ Links ]

Luu, V. T., Kim, S.-Y., & Huynh, T.-A. (2008). Improving project management performance of large contractors using benchmarking approach. International Journal of Project Management, 26(7), 758-769.         [ Links ]

Marques, G., Gourc, D., & Lauras, M. (2011). Multi-criteria performance analysis for decision making in project management. International Journal of Project Management, 29(8), Pages 1057-1069.         [ Links ]

Meng, X., Zhao, Q., & Shen, Q. (2011). Critical Success Factors for Transfer-Operate-Transfer Urban Water Supply Projects in China. Journal of Management in Engineering, 27(4), 243-248.         [ Links ]

Neely, A., Richards, H., Mills, J., Platts, K., & Bourne, M. (1997). Designing performance measures: A structured approach. International Journal of Operations and Production Management, 17(11), 1131-1152.         [ Links ]

Neely, A., Gregory, M., & Platts, K. (2005). Performance measurement system design: A literature review and research agenda. International Journal of Operations and Production Management, 25(12), 1228-1263.         [ Links ]

Office of Government Commerce - OCG-UK. (2009). Éxito en la Gestión de Proyectos con PRINCE2TM, PRINCE2R - Projects in Controlled Environments.         [ Links ]

Pillai, A. S., Joshi, A., & Rao, K. S. (2002). Performance measurement of R&D projects in a multi-project, con-current engineering environment. International Journal of Project Management, 20(2), 165-177.         [ Links ]

Prabhakar, G. P. (2008). What is Project Success: A Literature Review. International Journal of Business and Management, 3(9), 3-9.         [ Links ]

Presedo, C., Dolado, J. J., & Aguirregoitia, A. (2010). Estudio de métricas para el control de proyectos software. In CEDI (Ed.), Actas del 10° Taller de las Jornadas sobre apoyo a la decisión en Ingeniería del Software y Bases de Datos. (Vol. 4, No. 1, pp. 65-72). Valencia, España - 7 de septiembre de 2009: ISSN 1988-3455.         [ Links ]

Project Management Institute - PMBOKR. (2008). A guide to the Project Management Body of Knowledge. (PMI Fourth Edition). USA.         [ Links ]

Radnor, Z. J., & Barnes, D. (2007). Historical analysis of performance measurement and management in operations management. International Journal of Productivity and Performance Management, 56(5-6), 384-396.         [ Links ]

Sánchez, A. M., & Pérez, M. P. (2002). R&D project efficiency management in the Spanish industry. International Journal of Project Management, 20(7), 545-560.         [ Links ]

Sohail, M., & Baldwin, A. N. (2004). Performance indicators for 'micro-projects' in developing countries. Construction Management and Economics, 22(1), 11-23.         [ Links ]

Stewart, W. E. (2001). Balanced Scorecard for Projects. Project Management Journal, 32(1), 38-53.         [ Links ]

The International Organization Standardization (ISO). (2003). Quality Management Systems - Guidelines for quality management in projects ISO 10006:2003 - UNE 66916. Second edition.         [ Links ]

Toor, S.-U.-R., & Ogunlana, S. O. (2008). Critical COMs of success in large-scale construction projects: Evidence from Thailand construction industry. International Journal of Project Management, 26(4), 420-430.         [ Links ]

Toor, S.-U.-R., & Ogunlana, S. O. (2010). Beyond the 'Iron triangle': Stakeholder perception of key performance indicators (KPIs) for large-scale public sector development projects. International Journal of Project Management, 28(3), 228-236.         [ Links ]

Van Der Westhuizen, D., & Fitzgerald, E. P. (2005). Defining and measuring project success. In D. Remenyi (Ed.), European Conference on IS Management, Leadership and Governance (pp. 157-163). Reading, United Kingdom: Academic Conferences Limited.         [ Links ]

Westerveld, E. (2003). The Project Excellence Model®: linking success criteria and critical success factors. International Journal of Project Management, 21(6), 411-418.         [ Links ]

Wi, H., & Jung, M. (2010). Modeling and analysis of project performance factors in an extended project-oriented virtual organization (EProVO). Expert Systems with Applications, 37(2), 1143-1151.         [ Links ]

Yuan, J., Wang, C., Skibniewski, M. J., & Li, Q. (2011). Developing Key Performance Indicators for Public-Private Partnership. Projects: Questionnaire Survey and Analysis. Journal of Management in Engineering, Accepted October 31.         [ Links ]