Introducción
La incorporación de tecnologías de la información y la comunicación (TIC) en diferentes ámbitos de la sociedad, para generar desarrollo social y económico a través del uso de la información y conocimiento, ha configurado un tipo de sociedad que se ha denominado sociedad de la información (SI) 1. Esta denominación también se asocia a los términos sociedad del conocimiento, sociedad digital, sociedad informacional, sociedad en red, economía digital y cibersociedad2. Desde un concepto más moderno, la SI "está determinada por una nueva forma de organización económica y social motivada por el desarrollo de las TIC" (3, p. 250). En esta sociedad, se da una expansión y crecimiento del uso de las TIC, evidenciada en la creación de productos y servicios basados en información en todos los ámbitos de la sociedad, por ejemplo, en la salud, la educación, el turismo, entre otros 1.
En este contexto, los Gobiernos de varios países han desarrollado estrategias para la incorporación de las TIC con el fin de obtener los beneficios de la SI, particularmente, con el fin de mejorar la gestión pública. Esta línea de acción se ha denominado gobierno en línea o e-gobierno (e-government). De acuerdo con la revisión de definiciones de e-gobierno propuestas en los contextos académico, gubernamental y empresarial, realizada por 4, 5, se encontró que el e-gobierno busca mejorar la eficacia y eficiencia en el quehacer gubernamental, ofrecer más servicios y posibilitar la realización de trámites ante las entidades del Gobierno, brindar un mejor servicio a los ciudadanos, ahorrar tiempo y dinero, aumentar la transparencia y la divulgación de la información, propender a mejorar los vínculos entre los ciudadanos, empresarios y gobierno, buscar una mayor participación ciudadana en la toma de decisiones y transformar los servicios públicos del Gobierno.
Para impulsar el e-gobierno se debe dar un conjunto de condiciones necesarias para su desarrollo. De acuerdo con 6, en la implementación del e-gobierno es importante tener en cuenta los siguientes aspectos de contexto:
Normatividad: asociada a los lineamientos, metodologías y normatividad que oriente a las instituciones a desarrollar acciones de e-gobierno.
Recursos: hace referencia a los recursos que se deben destinar para el desarrollo de tecnología, adecuación de procesos y servicios, entre otros.
Promoción y divulgación: son los mecanismos para promocionar y divulgar a la sociedad los objetivos y acciones puntuales del e-gobierno.
Esquema de atención al ciudadano: es la estructura de las entidades gubernamentales para prestar los servicios de gobierno en línea.
Capacitación: son las orientaciones que la comunidad y las entidades requieren para poder hacer uso de los servicios que se ofrecen.
Asimismo, en la revisión de 4 se identificó que para desarrollar el e-gobierno se deben considera los siguientes aspectos técnicos:
Infraestructura de TIC: dispositivos de hardware, conectividad, interoperabilidad, implementación de múltiples canales, centros de datos, entre otros.
Accesibilidad: posibilidad de acceso para todos los usuarios.
Usabilidad: facilidad de uso.
Estándares del sitio web: requerimientos funcionales y no funcionales de las entidades del Estado para el diseño de sus sitios web y sus políticas.
Satisfacción: la satisfacción del usuario cuando utiliza las aplicaciones y los servicios, y visita sitios web gubernamentales.
Servicios en línea: servicios en medios electrónicos prestados por las entidades públicas para los ciudadanos, los empresarios y los mismos servidores públicos.
Además de los aspectos normativos, técnicos y de disponibilidad de recursos, un factor esencial para desarrollar el e-gobierno es la participación de los ciudadanos. Es importante pensar sus condiciones particulares en relación con aspectos socioeconómicos y personales, para así enfocar las estrategias de gobierno en línea y lograr su participación 7.
Considerando la relevancia e implicaciones que tiene el e-gobierno, los Gobiernos de varios países se han dado a la tarea de desarrollar este sector de la sociedad de la información. Así mismo, diferentes organismos nacionales e internacionales, gobiernos e investigadores han propuesto sistemas de medición de los avances en la implementación del e-gobierno 8. Por lo tanto, surge el interés de conocer los aspectos considerados por la comunidad académica y científica para la medición del e-gobierno. En este sentido, el presente artículo muestra los resultados de una revisión sistemática de publicaciones científicas sobre evaluación de e-gobierno, en la cual se identificaron los factores que son evaluados. Para dar cuenta de este trabajo, el artículo se ha estructurado en cuatro secciones. Se inicia con la descripción de la metodología utilizada, luego se presentan los resultados obtenidos y seguidamente las conclusiones; finalmente, se presentan las referencias bibliográficas utilizadas.
1. Metodologia
Para la revisión sistemática de literatura se tomó el método utilizado por 9 para el análisis de las publicaciones realizadas en el periodo de 2004 a 2014. Por otra parte, para las publicaciones realizadas en 2015 y 2016 se realizó un análisis cientiométrico que reporta aspectos generales de la producción científica, como el número de publicaciones, el país donde se desarrollan, entre otras. Para realizar dicho análisis se tomaron como guía de referencias los aspectos definidos en las etapas propuestas por 9, las cuales se presentan a continuación.
1.1. Planificación
En esta etapa se desarrolla el protocolo para la revisión sistemática, y se establece así el alcance y los objetivos de la revisión. También, se definieron las preguntas de investigación, los criterios de inclusión/exclusión de documentos, la evaluación de calidad, los procedimientos para la extracción y síntesis de los datos. Las preguntas de investigación que guiaron el proceso de revisión fueron: ¿cuántos artículos científicos se han publicado relacionados con la evaluación del e-gobierno?, ¿para cuáles contextos se han realizado dichas propuestas?, ¿qué variables e indicadores se han propuesto para medir los factores y aspectos relacionados con el e-gobierno?
1.2. Búsqueda
La estrategia se centró en realizar la búsqueda de las publicaciones en la base de datos Scopus. El periodo establecido para la búsqueda fue de 2004 a 2014; además, se definió la ecuación de búsqueda compuesta por las palabras y sintagmas clave construidos a partir de las definiciones de e-gobierno.
Después de 18 iteraciones, la ecuación de búsqueda definitiva se conformó con 153 términos, como se presenta en la Tabla 1. El resultado de aplicar la ecuación de búsqueda en la base de datos seleccionada fue de 13.741 referencias.
1.3. Selección
En esta etapa se hizo una selección preliminar a partir de la revisión del título y el resumen del documento, seleccionando aquellos que hacen una mención explícita a la evaluación de e-gobierno o a la propuesta de indicadores de este. El resultado de dicha actividad fue un conjunto de 616 documentos, es decir, el 4,48 % de los identificados. Posteriormente, se realizó una selección detallada de documentos con base en una lectura preliminar del texto completo. La revisión dio como resultado 178 documentos.
1.4. Evaluación de calidad
En esta etapa fue evaluada la calidad de los 178 documentos seleccionados, para lo cual se tuvieron en cuenta cuatro criterios: relevancia del contenido para dar respuesta a la pregunta de investigación definida, descripción detallada del contexto donde se realiza la investigación reportada en el documento, claridad y rigor en el diseño metodológico de la investigación, y rigor científico para el análisis de los datos. El resultado obtenido fue un conjunto de 84 documentos que cumplían con los criterios establecidos. En la Tabla 2 se presenta el resumen cuantitativo de los resultados obtenidos en cada etapa y en la Tabla 3, la relación de documentos que cumplen los criterios de calidad por año.
1.5. Extracción de datos y síntesis
En esta etapa final se buscó la extracción de datos para responder las preguntas de investigación definidas. Además, se extrajeron los siguientes metadatos de los registros bibliográficos: título, año de publicación, nombre de la publicación, tipo de documento, autores y país de la institución a la que fue adscrito. A continuación, se presentan los resultados obtenidos.
2. Resultados
2.1. Aspectos generales
De los 84 documentos seleccionados, se encontró que 29 eran artículos en revistas y 55 artículos en conferencias; es decir, el 34,52 % y el 65,48 %, respectivamente. Por otra parte, al indagar cuál era el origen de la propuesta de evaluación, se encontró que la mayor cantidad de documentos proceden de Estados Unidos, con un total de 16 documentos (19 %), seguido de Reino Unido y España, cada uno con el 7 %. Países como Taiwán, Brasil, China y Malasia aportan cada uno el 5 % de los documentos, en tanto que Australia, Turquía, Italia y Grecia aportan cada uno el 4%. El restante 31 % de los documentos se distribuye en 22 países. En la Fig. 1 se puede apreciar la distribución los documentos por país.
Asimismo, se indagó cuál era el ámbito de aplicación de las propuestas de evaluación de e-gobierno identificadas en los 84 documentos seleccionados. El análisis mostró que el 53,6 % de las propuestas fueron realizadas para un país específico, siendo Estados Unidos el país con más propuestas 11.
Para el contexto de la Unión Europea (UE) y a nivel mundial se identificó el 7,2 % de las propuestas; para Iberoamérica, el 2,3 %, y para Latinoamérica y países de Europa, el 2,4 %. Para el 34,5 % de las propuestas no se identificó el ámbito de aplicación. En la Tabla 4 se aprecia la distribución descrita.
Al indagar por las fuentes de información definidas en las propuestas de evaluación, se encontró que el 69,1 % utiliza fuentes primarias, como entrevistas, encuestas, sitios web, entre otras, y el 30,9 % de las propuestas, fuentes secundarias tomando datos de otras investigaciones y fuentes externas. Por otra parte, se realizó la indagación acerca de cuáles fueron los tipos de resultados y se encontró que el 48,8 % se orientaba al pronóstico; el 46,4%, al diagnóstico, y el 4,8 %, a conocer la ubicación en un escalafón.
2.2. Identificación y clasificación de las variables e indicadores de evaluación de e-gobierno
Para la identificación y análisis de variables e indicadores reportados en los 84 documentos se tomó como guía la propuesta metodológica de 93, y para el procesamiento de estas mediciones se usó la herramienta desarrollada por 94. Con esta actividad se identificaron 764 variables e indicadores.
Posteriormente, se procedió a clasificar las variables e indicadores considerando si evaluaban aspectos del entorno o aspectos técnicos que viabilizan el desarrollo del e-gobierno, así como aspectos de los usuarios. Los resultados mostraron que el 34,4 % (N=255) mide aspectos relacionados con fases de desarrollo del e-gobierno, por lo cual no se consideraron para el presente estudio, y el 66,6 % (N=509) de las variables e indicadores detectados busca medir los factores en estudio. Específicamente, se encontró que hay 276 (54,2 %) variables/indicadores detectados para medir los factores técnicos, 135 (26,5%) variables/indicadores para medir factores de entorno y 98 (19,3 %) variables/indicadores para medir características de los usuarios. De igual manera, se detectó que la distribución entre variables e indicadores es cada una del 50 %. En la Fig. 2 y en la Tabla 5, respectivamente, se ilustra y se presenta en detalle la distribución descrita.
2.3. Análisis de las variables e indicadores del factor entorno
Al revisar en detalle los aspectos que son considerados en la medición de los factores de entorno, se encontró que el aspecto relacionado con la asignación de recursos, como los financieros y la asignación de tiempo, tiene el 36,3 % del total de las variables e indicadores, en tanto que el aspecto de la normatividad tiene el 31,1 % de las variables e indicadores. En este aspecto se evalúan variables asociadas a la existencia de normas jurídicas para la seguridad, privacidad y transparencia de los sitios web públicos, entre otras. El aspecto relacionado con capacitación en e-gobierno tiene el 14,8 % de las variables e indicadores del factor; estos se orientan a medir los materiales, ayudas, cursos, indicaciones de los servicios, entre otras.
El aspecto de promoción y divulgación, que busca medir la eficiencia de la popularidad del sitio, los anuncios, la divulgación, etc., tiene el 14,1 % de las variables e indicadores. Finalmente, se encontró que el 3,7 % de las variables e indicadores miden el esquema de atención al ciudadano, el cual se orienta a la atención del ciudadano, la capacidad de respuesta y los servicios de e-gobierno. En la Tabla 6 se presenta la distribución descrita.
Por otra parte, se analizó si las variables y los indicadores se orientaban a medir los servicios de e-gobierno desde la oferta y demanda; es decir, los servicios y las condiciones con las cuales se ofrecen, así como la percepción de los usuarios. Cabe destacar que los usuarios pueden ser individuos, hogares o empresas. Este análisis, evidenció que los aspectos de entorno se evalúan mayoritariamente desde la perspectiva de la oferta de servicios con el 94,8 % de las variables e indicadores identificados, mientras que el 5,2% se enfoca en medir percepciones de usuarios. Por ejemplo, para el aspecto de normatividad, el indicador utilizado en un enfoque de medición desde la oferta indaga acerca de la existencia de reglamentos que regulen el acceso de servicios, en tanto que el indicador utilizado en un enfoque de medición desde la demanda indaga si el individuo conoce la normatividad referente a e-gobierno. En la Tabla 7 se aprecia la distribución detallada de las variables e indicadores por oferta y demanda.
2.4. Análisis de las variables e indicadores del factor técnico
Para la evaluación del factor técnico se encontró que el aspecto más evaluado es el relacionado con los estándares de sitios web, el cual tiene el 30,15% de las variables e indicadores, seguido del aspecto de servicios en línea con el 18,1 %. Los aspectos de infraestructura y usabilidad tienen el 17,4% y el 14,5% de las variables e indicadores del factor, respectivamente. El aspecto de satisfacción tiene el 12,1% de las variables e indicadores, en tanto que el de accesibilidad tiene el 8 %. En la Tabla 8 se presenta la distribución descrita anteriormente.
Posteriormente, las variables y los indicadores del factor técnico se analizaron teniendo en cuenta su enfoque en la oferta (servicio) o en la demanda (usuarios). Este análisis mostró que el 91,3 % de las variables e indicadores miden los aspectos técnicos de los servicios de e-gobierno ofertados, como el cumplimiento de estándares para el sitio web de la entidad gubernamental, su usabilidad y accesibilidad, su infraestructura, así como la existencia de elementos para medir la satisfacción de los usuarios; mientras que el 8,7 % de los indicadores indagan las condiciones de los usuarios, como la tenencia de infraestructura (equipos de cómputo e internet), el grado de satisfacción y su percepción acerca de la accesibilidad y usabilidad. En este análisis, se destaca que se encontraron indicadores que indagan no solo a los individuos, sino también a los hogares y a las empresas, específicamente, en lo relacionado con aspectos de infraestructura. En la Tabla 9 se aprecia la distribución mencionada.
2.5. Análisis de las variables e indicadores del factor usuario
Para este factor se identificaron 43 variables y 55 indicadores, es decir, 98 variables e indicadores que miden aspectos demográficos de los usuarios, como la edad, el nivel de educación, ocupación, entre otras. En este análisis también se identificó que el 56,1 % de las variables e indicadores se centran en caracterizar a los usuarios que acceden a los servicios de e-gobierno, es decir, el análisis se hace desde el acceso al servicio; en tanto que el 60,3 % se orienta a la población en general, buscando medir sus características demográficas, donde específicamente se encontró que el 39,7 % busca medir individuos y el 4,1 %, hogares. En la Tabla 10 se presenta la distribución descrita.
2.6. Análisis cienciométrico de publicaciones científicas 2015 y 2016
Con el fin de complementar los análisis realizados de los documentos publicados del 2004 al 2014, se incluyó un análisis cienciométrico para 2015 y 2016. Este análisis se orienta a identificar el número de publicaciones, la fuente, los autores más destacados y los países donde se realizaron dichos trabajos académicos. Para hacer este análisis, se utilizó la misma ecuación de búsqueda presentada en la Tabla 11 en la base de datos Scopus, considerando únicamente artículos científicos publicados en revistas indexadas y conferencias, tal como se realizó el análisis de 2004 a 2014. Como se muestra en la Tabla 11, al realizar la consulta se encontró que el 57,7 % de los documentos corresponden a artículos en revista indexada y el 42,3 %, a artículos de conferencias. También se evidencia el incremento de publicaciones de un año a otro en aproximadamente un 10 %.
Al revisar dichas publicaciones por país se encontró que el 13,8 % de las publicaciones se realizan en Estados Unidos, el 9,6 % en China y el 7,8 % en Reino Unido. Los países de Latinoamérica aportan el 6,8 % del total de las publicaciones. Específicamente, Colombia aporta el 0,3 % de las publicaciones. En la Fig. 3 se aprecia la distribución del número de publicaciones considerando los países que superan las 100 publicaciones y los países latinoamericanos.
En relación con las instituciones que tienen mayor número de publicaciones reportadas, se encuentra la Delft University of Technology, Brunel University London y Universiti Teknologi Malaysia, cada una de ellas con más de 20 publicaciones. Por otra parte, el top cinco de los investigadores con mayor número de publicaciones en el tema de e-gobierno en el periodo 2015-2016 fueron: Janssen vinculado a Delft University of Technology (Países Bajos), Weerakkody de Brunel University London (Reino Unido), Thiel y Rana de Swansea University (Reino Unido) y Dwivedi del Austrian Institute of Technology (Austria). En la Fig. 4 se puede apreciar la distribución de publicaciones de las instituciones con el mayor número de contribuciones realizadas en el periodo en observación; asimismo, en la Fig. 5 se aprecia la distribución de las publicaciones por los autores con mayor número de contribuciones.
3. Conclusiones
De acuerdo con los resultados obtenidos en el análisis de la literatura académica del periodo de 2004 a 2014, se pudo apreciar que el factor para el cual se ha desarrollado un mayor número de variables e indicadores es el factor asociado con el ciudadano (19,3 %). Este resultado se puede interpretar como el interés que se tiene por entender el tipo de usuario que emplea los servicios de e-gobierno, con lo cual se pretende con esto caracterizarlos para mejorar los servicios ofertados y ampliar la cobertura.
Asimismo, se detectó que los aspectos relacionados con el factor técnico son los más evaluados, específicamente en lo relacionado con los estándares de sitios web y los servicios en línea. Esto puede indicar el interés que se tiene en conocer cómo va evolucionando la oferta de servicios y el cumplimiento de los mínimos requeridos para los portales web que ofrecen los servicios a los ciudadanos. Estos resultados también pueden evidenciar el interés de ir acercándose al ciudadano y facilitar los trámites. A su vez, se identificó que para la evaluación de la infraestructura se cuenta con un número considerable, aproximadamente el 9,4% del total de los indicadores, con lo cual se muestran las TIC como un elemento indispensable para el desarrollo de los servicios electrónicos. Además, se identificó que la evaluación de la usabilidad, la accesibilidad y la satisfacción de los usuarios tiene un número importante de variables e indicadores, y con esto se puede inferir el interés que se tiene en evaluar si se facilita el acceso y uso de los servicios ofrecidos.
En relación con la evaluación del factor de entorno, se pudo apreciar que la evaluación de los recursos asignados y la existencia de normatividad que impulse el desarrollo del e-gobierno, con el 17,9 % del total de las variables e indicadores en estudio, son consideradas fundamentales para que se desarrolle el e-gobierno. Además, se resalta el interés de medir aspectos como la capacitación, promoción y divulgación de los servicios de e-gobierno como mecanismo para viabilizar el uso de estos por parte de los ciudadanos y los mismos funcionarios. Por otra parte, se resalta que el número de variables e indicadores para aspectos como el esquema de atención al ciudadano aún es relativamente bajo (0,9 %) en comparación con otros, esto puede deberse a la dificultad de evaluar dicho aspecto.
Por otro lado, al analizar las variables e indicadores de todos los factores, se encontró que un número significativo de ellos (94,8 % del factor entorno, el 91,3% del factor técnico y el 56,1 % del factor usuarios) se enfoca en la medición desde la perspectiva de la oferta del servicio, es decir, busca evaluar los servicios y las condiciones en las que se ponen disponibles los servicios a los ciudadanos; en tanto que es considerablemente bajo el número de las variables e indicadores para medir el uso, las percepciones y las condiciones de acceso de los usuarios. En este sentido, se evidencia que hay pocos elementos para ayudar a determinar la inclusión de los ciudadanos en el e-gobierno, sus condiciones y el uso y percepciones que ellos tienen frente a los servicios ofertados.
Otro aspecto evidente es que al considerar los países que realizan las propuestas de medición se identificó que la mayoría se concentran en Estados Unidos. Para el contexto colombiano no se encontró en la literatura científica consultada, ninguna propuesta de medición, aunque cabe destacar que el Gobierno colombiano tiene indicadores propuestos para hacer seguimiento de sus iniciativas 95, como el Índice de Gobierno en Línea 96. Además, toma como referencia sistemas de medición internacionales, como el World Governance Index, Waseda, Doing Bussines, entre otros 97. Países como España, Brasil y Reino Unido también tienen producción importante en el tema.
Respecto a lo que se refiere al proceso metodológico utilizado, se evidenció que este permitió la identificación de 84 documentos relacionados con el tema de interés, así como la clasificación y el análisis de las variables e indicadores, con lo que se logró una visión general acerca de los procesos de medición de e-gobierno. Estos resultados permiten tener una base para formular nuevas variables e indicadores que permitan dar cuenta de todos los aspectos relacionados con el e-gobierno y que se pueda comprender con mayor facilidad el funcionamiento de e-gobierno. También, dan un punto de partida para nuevos trabajos investigativos relacionados con el e-gobierno, con el fin de que se pueda comprender con mayor facilidad el funcionamiento y brindar elementos que permitan su desarrollo. Cabe destacar que entre las limitantes de la investigación se encuentra el acceso limitado que se tiene a algunos documentos.
Por último, el análisis cienciométrico de la literatura publicada en 2015 y 2016 permitió evidenciar que el tema sigue vigente, dado que el número de publicaciones ha venido en aumento. Asimismo, se detectó que el liderazgo de algunos países como Estados Unidos y Reino Unido se mantiene. Esto se puede apreciar no solo en el número de artículos que reportan, sino también en las instituciones y los autores que son referentes por sus contribuciones al tema.