Introducción

El embarazo en la adolescencia es considerado un problema de salud pública en el mundo ¹ y en América Latina ², ya que incide en la salud, la educación, la inserción social y laboral, los ingresos y el proyecto de vida de este grupo etario ³.

Dado que el embarazo en la adolescencia impacta sobre diversos sectores del desarrollo personal, familiar y social, es lógico abordar dicha problemática mediante el trabajo intersectorial para alcanzar resultados deseables con mayor eficiencia y efectividad desde la mirada interdisciplinaria, la capacidad resolutiva de las instituciones y las complementariedades que surgen de los saberes propios de cada sector ^4,5.

El trabajo intersectorial es recomendado ⁶, tiene diversas interpretaciones ⁷ y formas de mencionarlo ^8-10. Para este estudio se asume la definición propuesta por Health Canada, quien lo describe como el “trabajo con más de un sector de la sociedad para actuar en un área de interés común, incluyendo tanto a sectores gubernamentales como salud, educación, ambiente y justicia, como a organizaciones sin fines de lucro y a entidades lucrativas” ¹¹.

La literatura señala que la complejidad de la intersectorialidad depende de la visión de salud que se tenga. Un enfoque centrado en la enfermedad alude a un nivel primario de trabajo entre sectores, mientras que una mirada desde los determinantes sociales de la salud y su trasformación requiere un nivel más avanzado de intersectorialidad ^7,12.

Diferentes autores han establecido criterios ¹³, así como características de la intersectorialidad ¹⁴, además, se encuentran referencias sobre la importancia de contar con modelos de monitoreo y evaluación de la intersectorialidad ¹⁵ y lo estratégico de los mismos, en el marco de salud pública ¹³. Por su parte, Solar et al. ¹⁶ basados en el trabajo de Stead & Meijers ¹⁷, propusieron cuatro criterios que determinan el nivel de desarrollo del trabajo intersectorial, estos son: información, cooperación, coordinación e integración.

Lo anterior muestra interés por definir formas de evaluar el trabajo intersectorial. Sin embargo, no se encontraron referencias de modelos o instrumentos validados para medirlo de forma práctica y confiable.

Cabe anotar que “un instrumento de medición adecuado es aquel que registra los datos observables que representan verdaderamente los conceptos o las variables que el investigador tiene en mente” ¹⁸, por lo que es importante que cumpla con los requisitos de validez y así mismo, muestre indicadores de confiabilidad ¹⁹. Existen diferentes tipos de validez: facial o aparente, de contenido, de criterio y de constructo.

Dado lo anterior, surgió la necesidad de construir un instrumento que sea válido y confiable para medir la intersectorialidad. Para ello, se optó por la utilización del modelo de Rasch, teniendo en cuenta que hay amplia evidencia de su utilidad en la validación de instrumentos, tal como lo reporta el trabajo de Dougherty ²⁰, quien concluyó que este modelo permitió, a diferencia de la teoría clásica de los test (TCT), identificar la necesidad de incluir mayor variación de la dificultad de preguntas para establecer jerarquías apropiadas; así como lo recomendado por Peltonen et al. ²¹, quienes proponen utilizar métodos más sólidos, como lo es el modelo de Rasch.

Por tanto, el objetivo del presente estudio es diseñar y determinar la confiabilidad y validez de un instrumento para medir el trabajo intersectorial en funcionarios públicos que participaron en la Estrategia Nacional de Prevención del Embarazo en la Adolescencia (EPEA), entre 2015 y 2017, en Colombia.

Materiales y métodos

El presente estudio se ejecutó en tres fases: I) diseño del instrumento Evaltri; II) validación facial y III) validez de constructo.

Fase I. Diseño del instrumento: para el diseño del instrumento se tuvieron en cuenta aquellos aspectos pertinentes y adecuados según el enfoque de gestión intersectorial que se pretendía estudiar allí. Por lo tanto, los hallazgos en la literatura sobre los criterios para medir la intersectorialidad fueron aportes determinantes ^{7,13,16,17,22,23}; la propuesta de la Guía Alianzas para la Vida donde se recaba la trayectoria en este tema del Instituto de Programas Interdisciplinarios en Atención Primaria de la Salud (Proinapsa) de la Universidad Industrial de Santander ²⁴, así como la experiencia del equipo de investigación.

Fase II. Validación facial del instrumento: buscó medir la precisión, la pertinencia, la claridad y la comprensión del instrumento Evaltri, asegurando que los ítems de este fueran adecuados ²⁵. Streinmer ²⁶ refiere que “la relevancia de esta forma de validez reside en la aplicabilidad y sobre todo en la aceptabilidad desde el punto de vista de quien responde y es evaluado con la escala”.

Dado que la validez facial o aparente depende del juicio valorativo y evaluativo relacionado con la claridad, la precisión y la comprensión del instrumento ²⁵, se seleccionó una muestra por conveniencia, conformada 12 personas, 9 con características similares a las de la muestra de validación de constructo de diferentes disciplinas como enfermería, psicología, comunicación social y trabajo social, con experiencia en el área administrativa, promoción de la salud, desarrollo de proyectos sociales, salud pública, bienestar familiar, educación básica y media, educación para el desarrollo, obras civiles y en la realización de proyectos dirigidos a niñas, niños y adolescentes.

Asimismo, 3 profesionales expertos en el trabajo intersectorial, quienes hicieron parte de la Mesa Nacional de Derechos Sexuales y Reproductivos, participaron en la construcción de lineamientos nacionales de educación sexual y en el desarrollo de la EPEA que surgió como respuesta al Conpes 147 de 2012.

Para llevar a cabo la validez facial se elaboró un cuestionario electrónico a partir de la propuesta de Soriano-Rodríguez ²⁷, que incluyó datos de identificación del evaluador (formación académica y área de experiencia profesional), así como preguntas relacionadas con los criterios de claridad, precisión, compresión y pertinencia. Adicionalmente, se dispuso, dentro del cuestionario, un espacio de observaciones generales y sugerencias para mejorar el instrumento Evaltri.

Fase III. Validez del constructo: para esta fase se utilizó un diseño de validación de instrumento en un estudio de corte transversal mediante modelo Rasch. La población de estudio estuvo conformada por funcionarios públicos que participaron en la EPEA en Colombia. El tamaño de la muestra para esta fase fue de 132 sujetos con el fin de cumplir con los propósitos de calibración de ±1/2 lógito de las medidas de personas e ítems ²⁸; el tipo de muestreo fue por conveniencia. Como criterio de inclusión se tuvo en cuenta a funcionarios públicos que participaron en la EPEA, proyecto impulsado por el Instituto Colombiano de Bienestar Familiar (ICBF), la Fundación Bolívar Davivienda y el Instituto Proinapsa de la Universidad Industrial de Santander, cuyo eje de acción principal fue el trabajo intersectorial, durante 2015 y 2017.

Resultados

A continuación, se describen los resultados según las fases del estudio (Figura 1).

Fuente. Proinapsa-UIS (2019).

Figura 1 Fases para la validación del instrumento Evaltri con el modelo de Rasch. 

Fase I y II. Diseño y validez facial del instrumento

Se presentan los resultados de las dos fases por ser consecutivos el uno del otro. Como resultado de la revisión de la literatura y la experiencia del equipo investigador surgió un primer instrumento Evaltri en formato electrónico, que constaba de 53 ítems organizados en 4 partes: a) información personal y laboral, b) participación en el Proyecto Proinapsa UIS-Fundación Bolívar Davivienda-ICBF, sobre prevención del embarazo en la adolescencia, ejecutado entre 2015 y 2017, c) experiencia como integrante del equipo intersectorial, d) enfoques de trabajo intersectorial para la prevención del embarazo en la adolescencia.

A este instrumento se le realizó la validez facial, considerando solamente las partes a y c (26 ítems), antes mencionadas, porque es allí donde se explora lo relacionado con las variables sociodemográficas y el trabajo intersectorial, respectivamente.

Los hallazgos de la validez facial señalaron que:

• Los 6 ítems de la parte a) son claros, precisos, comprensibles y pertinentes, según la evaluación de todos los validadores.

• Los 20 ítems de la parte c), desde la opinión de las tres personas expertas, fueron evaluados como precisos (70 %; 14), claros (80 %; 16), de fácil comprensión (85 %; 17) y pertinentes (85 %; 17). Estos resultados son similares; aunque menores a los que se obtuvieron de 6 o más de los profesionales-validadores, quienes opinaron que el 95 % (19) de los ítems cumple con las características de precisión, claridad y compresión, así como con la pertenencia (100 %; 20).

A partir de los resultados de la validez facial, anteriormente expuestos, el instrumento inicial se ajustó, se mejoraron los ítems y se agregaron nuevos, para obtener como resultado final una versión mejorada del instrumento Evaltri en formato electrónico, del cual fueron evaluadas en el presente estudio: una primera parte de información personal y laboral (7 ítems) y una segunda parte conformada por 25 ítems que evalúan la competencia como integrante de un equipo intersectorial (Tabla 1).

Tabla 1 Ítems evaluados del instrumento de evaluación del trabajo intersectorial - Evaltri, Bucaramanga, Colombia, 2019. 

Fuente: Proinapsa-UIS (2019).

Fase III. Validez del constructo

La consistencia interna de los 25 ítems de la competencia para el trabajo intersectorial del instrumento Evaltri (Tabla 1), medida por medio del coeficiente de Kuder-Richardson fue de 0,92. Ya en el modelo de Rasch y para la validez sustantiva en el análisis se obtuvieron valores de coherencia superiores a 65 % para las opciones de respuesta. En relación con el ajuste de las personas, 18 de ellas presentaron un outfit estandarizado por fuera del rango de ±3Z, no ajustando al modelo de Rasch y fueron excluidos, hecho esto, se reestimó el modelo. Para la validez de contenido, se encontró que 4 de los ítems presentaron valores de ajuste fuera del rango aceptable, es decir infit y outfit MNSQ 0,5 - 1,5; motivo por el cual fueron eliminados (p26, p30, p34 y p40). Después de excluir ítems y personas que no se ajustaban al modelo, este fue reestimado, obteniéndose mejora en los estadísticos de confiabilidad, separación ajuste y dimensionalidad (Tabla 2). Todas las correlaciones entre ítems y medidas fueron positivas y mayores a 0,47.

Tabla 2 Ajuste de los ítems del instrumento Evaltri, Bucaramanga, Colombia, 2019. 

Fuente: Proinapsa-UIS (2019).

Al evaluar la validez estructural en el análisis de componentes principales de los residuales, los resultados indican unidimensionalidad, la varianza explicada por las medidas fue de 44,6 %, la varianza explicada en el primer contraste fue de 5,7 % y un resultado de 2,1 autovalores. En cuanto a la generalización, se obtuvo una separación de las personas de 2,07, correspondiendo a 3,09 estratos de personas, y para los ítems una separación de 4,51, correspondiendo a 18,3 estratos de ítems; sobre la confiabilidad de las personas, se obtuvo un valor de 0,81 y para los ítems de 0,95. Al evaluar la presencia de DIF por el género de los participantes, se encontraron valores de p para el estadístico de Mantel Haenszel mayores a 0,171; indicando esto que no existió presencia de funcionamiento diferencial para ninguno de los ítems. En la Figura 2 se presenta la distribución de los ítems y las personas de acuerdo con la dificultad y la habilidad, respectivamente. Dado que el modelo de Rasch reporta el nivel de la medida en lógitos, que en nuestro caso corresponden a valores para los ítems entre -3,14 y 3,69, para facilitar su interpretación esta fue convertida a una escala de 0-100, obteniendo como valor mínimo 23,36 y máximo de 82,39 para los ítems.

Fuente: Proinapsa-UIS (2019).

Figura 2 Mapa de Wright Instrumento Evaltri, Bucaramanga, Colombia, 2019. Eps. 

Como resultado final de la validación con el modelo de Rasch se obtuvo un instrumento que mide las competencias para el trabajo intersectorial de funcionarios públicos que trabajan en la prevención del embarazo en la adolescencia que consta de 21 ítems (Tabla 3).

Tabla 3 Instrumento Evaltri validado para la medición de competencia en el trabajo intersectorial. 

Fuente: Proinapsa-UIS (2019).

Discusión

Los resultados de validez facial, consistencia interna y validez de constructo demuestran que el instrumento Evaltri es válido y confiable para la evaluación de la intersectorialidad. Los hallazgos de dicho modelo evidenciaron un instrumento unidimensional, con valores adecuados de ajuste, separación y confiabilidad tanto para ítems como personas.

De acuerdo con los resultados del estudio se puede afirmar que se dio cumplimiento al objetivo definido de diseñar y validar un instrumento para medir el trabajo intersectorial. Los resultados de la validez facial permitieron reestructurar los ítems iniciales del instrumento e incluir algunos más, hasta contar con 25 frases cortas que responden al constructo de intersectorialidad y que además cumplen con criterios de claridad, precisión, comprensión y pertinencia. Este primer paso en el proceso de diseño del instrumento fue muy importante ³⁶, y de ello se obtuvo evidencia en el siguiente paso de análisis cuando se midió su validez y confiabilidad mediante el modelo de Rasch.

El análisis Rasch se hizo siguiendo los cuatro componentes recomendados por Messick ³¹ y desarrollados por Wolfe & Smith: validez sustantiva³², que indica la consistencia de los ítems con el marco conceptual del trabajo intersectorial sobre el cual se construyó el instrumento ^13,16; la validez de contenido, confirmada una vez se eliminaron los cuatro ítems fuera del rango de ajuste, la cual dio certeza de que los ítems en el instrumento incorporaron los tópicos relevantes del trabajo intersectorial; la validez estructural, sustentada en una suficiente unidimensionalidad del constructo, y finalmente; la validez de generalización, que muestra buenos resultados en confiabilidad de ítems y personas, y en separación, con un resultado que permite la conformación de 18,3 estratos para los ítems y 3,09 estratos para las personas ^30,37; y para cerrar las evidencias arrojadas por el análisis Rasch, la consistencia interna del instrumento Evaltri fue muy buena, lo cual se valora aún más cuando se está en las primeras pruebas de un instrumento ³⁸.

Respecto al DIF por género, no hubo evidencia de la presencia de DIF, lo cual le da al instrumento Evaltri una cualidad más a favor de la imparcialidad en su diseño, y la seguridad de que las evaluaciones que se hagan utilizándolo no tendrán sesgos por esta condición ^39,40.

No se encontraron investigaciones sobre validación de instrumentos de trabajo intersectorial que utilizaran el modelo de Rasch, con las cuales se pudiera hacer una comparación. Sin embargo, los resultados de este estudio responden a la necesidad que se expresa en la literatura de evaluar el trabajo intersectorial y concuerda con lo expuesto en otros trabajos sobre la confiabilidad de los instrumentos validados mediante dicho modelo.

Esta es una investigación novedosa por cuanto realizó el diseño y la validación de un instrumento dedicado a evaluar el trabajo intersectorial, ofreciendo pautas para el desarrollo de futuras investigaciones que nutran este campo de conocimiento orientado a la superación de problemas complejos determinados socialmente y que afectan grupos poblacionales amplios, con mejores resultados políticos, económicos y sociales.

Conclusiones

La validación de este instrumento mediante el modelo de Rasch, es sin duda un aporte importante para los países en aras de mejorar y fortalecer la colaboración entre los sectores. Desde el nivel nacional hasta las instancias locales existe la necesidad de trabajar intersectorialmente y se han propuesto diversas formas de hacerlo; sin embargo, no ocurre lo mismo con la manera de medir este tipo de acción entre sectores.

El ofrecer un instrumento válido y confiable se constituye en una herramienta útil para la toma de decisiones, la definición de competencias por desarrollar en los procesos educativos de equipos intersectoriales y la asignación de recursos para su fortalecimiento. Asimismo, los resultados que surjan de la aplicación del instrumento Evaltri permitirán revisar y enriquecer las bases teóricas sobre intersectorialidad, ya que propone una forma de medición que supera el cumplimiento de criterios que la caracterizan, para medir la capacidad o la competencia que tienen las personas para trabajar intersectorialmente.

La construcción de este instrumento representó un recorrido importante y necesario por referentes teóricos y técnicos, y muchas horas de trabajo individual y colectivo. Queda el reto para que en su utilización futura por otros grupos de investigadores en Colombia y otros países, se reafirmen las buenas cualidades psicométricas que posee el instrumento Evaltri, se produzcan resultados más robustos y se adelanten estudios metacéntricos, y así, ofrecer más evidencia sobre las bondades de la gestión intersectorial para lograr transformaciones en las necesidades y los problemas sociales y de salud que afectan a las poblaciones.