SciELO - Scientific Electronic Library Online

 
vol.25 issue1BARRIERS TO THE CARE OF FEBRILE PATIENTS IN A MALARIA ENDEMIC AREA. EL BAGRE (ANTIOQUIA, COLOMBIA) 2016PREVENTION OF RESPIRATORY INFECTIONS IN HEALTH CARE INSTITUTIONS IN THE DEPARTMENT OF NORTE DE SANTANDER, COLOMBIA author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Hacia la Promoción de la Salud

Print version ISSN 0121-7577

Hacia promoc. Salud vol.25 no.1 Manizales Jan./June 2020

https://doi.org/10.17151/hpsal.2020.25.1.8 

Investigaciones

CALIDAD DE LOS INSTRUMENTOS QUE VALORAN LAS FUNCIONES DE LA ATENCIÓN PRIMARIA: REVISIÓN SISTEMÁTICA

QUALITY OF THE INSTRUMENTS THAT VALUE THE FUNCTIONS OF PRIMARY HEALTH: A SYSTEMATIC REVIEW

QUALIDADE DOS INSTRUMENTOS QUE VALORAM AS FUNÇÕES DA ATENÇÃO PRIMARIA: REVISÃO SISTEMÁTICA

Alexandra Giraldo-Osorio* 

Consuelo Vélez-Álvarez** 

Silvina Berra*** 

Alejandro Perdomo-Rubio**** 

* Enfermera, Magíster en Salud Pública. Departamento de Salud Pública, Grupo Promoción de la Salud y Prevención de la Enfermedad, Universidad de Caldas. Manizales, Colombia. Correo electrónico: alexandra.giraldo@ucaldas.edu.co. Autora para correspondencia. orcid.org/0000-00031330-2713. https://scholar.google.es/citations?user=8WIv3qoAAAAJ&hl=es&oi=ao.

** Enfermera, Especialista en Epidemiología, Doctora en Salud Pública. Departamento de Salud Pública, Grupo Promoción de la Salud y Prevención de la Enfermedad, Universidad de Caldas. Manizales, Colombia. Correo electrónico: consuelo.velez@ucaldas.edu.co. orcid.org/0000-00017274-7304. https://scholar.google.es/citations?user=pMEp5RAAAAAJ&hl=es&oi=ao.

*** Nutricionista, Doctora en Salud Pública. Escuela de Salud Pública, Universidad Nacional de Córdoba. CIECS, CONICET. Córdoba, Argentina. Correo electrónico: sberra@fcm.unc.edu.ar. orcid.org/0000-0003-3618-7041. https://scholar.google.es/citations?user=7y42IPUAAAAJ&hl=es&oi=ao.

**** Odontólogo, Doctor en Salud Colectiva. Facultad de Odontología, Grupo de Investigación INVBOCA, Universidad El Bosque. Bogotá, Colombia. Correo electrónico: aperdomoru@unbosque.edu.co. orcid.org/0000-0003-1157-4045. https://scholar.google.es/citations?hl=es&user=u7snjZMAAAAJ&view_op=list_works&sortby=pubdate.


Resumen

Objetivo:

evaluar las propiedades métricas de los instrumentos que valoran las funciones de la atención primaria en salud desde la perspectiva de usuarios.

Métodos:

revisión sistemática. Se utilizaron los descriptores “primary health care”, “questionnaires”, “psychometrics”, “outcome measurement” y “process measurement”. Los criterios de inclusión fueron publicaciones de revistas científicas en español, inglés y portugués, estudios de validación de cuestionarios que evaluaran funciones de la atención primaria en salud. Las propiedades métricas de los instrumentos se valoraron mediante el cuestionario EMPRO (por su sigla en inglés: Evaluating Measures of Patient Reported Outcomes).

Resultados:

se identificaron 28 artículos que cumplieron con los criterios de inclusión. Los cuestionarios que resultaron adecuados para su aplicación fueron 11, y de estos, ocho partían del PCAT (por su sigla en inglés: Primary Care Assessment Tool), ya que reunieron más evidencias sobre la calidad de sus propiedades métricas.

Conclusiones:

existen cuestionarios para evaluar las funciones esenciales de la atención primaria en salud. Las propiedades métricas del PCAT fueron adecuadas en la mayoría de las versiones adaptadas y validadas, por lo que permite obtener resultados confiables.

Palabras clave: Atención primaria de salud; pacientes; estudios de validación; encuesta de salud; evaluación de programas e instrumentos de investigación

Abstract

Objective:

To evaluate the metric properties of the instruments that value the functions of primary health care from the perspective of the users.

Materials and methods:

Systematic review. The “primary health care” descriptors, “questionnaires”, “psychometrics”, “outcome measurement”, and “process measurement” were used. The inclusion criteria were publications of scientific journals in Spanish, English and Portuguese, validation studies of questionnaires that evaluated functions of primary health care. The metric properties of the instruments were assessed using the EMPRO (by its acronym in English: Evaluating Measures of Patient Reported Outcomes) questionnaire.

Results:

A total of 28 descriptors that met the inclusion criteria were identified. Eleven questionnaires were suitable for application, and of these, eight came from the PCAT (by its acronym in English: Primary Care Assessment Tool), since they gathered more evidence on the quality of their metric properties.

Conclusions:

There are questionnaires to evaluate the essential functions of primary health care. The metric properties of the PCAT were adequate in most of the adapted and validated versions thus allowing reliable results.

Key words: Primary health care; patients; validation studies; health surveys; evaluation of research programs and tools

Resumo

Objetivo:

avaliar as propriedades métricas dos instrumentos que valoram as funções da atenção primaria em saúde desde a perspectiva de usuários.

Métodos:

revisão sistemática. Utilizaram-se os descriptores “primary health care”, “questionnaires”, “psychometrics”, “outcome measurement” e “process measurement”. Os critérios de inclusão foram publições de revistas científicas em espanhol, inglês e português, estudos de validação de questionários que avaliaram funções da atenção primaria em saúde. As propriedades métricas dos instrumentos se valoraram mediante o questionário EMPRO (por sua sigla em inglês: Evaluating Measures of Patient Reported Outcomes).

Resultados:

Identificaram se 28 artigos que cumpriram com os criterios de inclusão. Os questionários que resultaram adequados para sua aplicação foram 11, e destes, oito partiam do PCAT (por sua sigla em inglês: Primary Care Assessment Tool), já que reuniram mais evidencias sobre a qualidade de suas propriedades métricas.

Conclusões:

existem questionários para avaliar as funções essenciais da atenção primaria em saúde. As propriedades métricas do PCAT foram adequadas na maioria das versões adaptadas e validadas, pelo que permite obter resultados confiáveis.

Palavras chave: Atenção primaria de saúde; pacientes; estudos de validação; enquete: de saúde; avaliação de programas e instrumentos de pesquisa

INTRODUCCIÓN

La atención primaria de salud se ha considerado como el eje del sistema de salud de un país ya que debe agregar, almacenar y canalizar las experiencias y la información de cada persona 1.

Según la Asamblea Mundial de la Salud en el año 2016, los sistemas de salud deben centrarse más en la persona para brindar una atención más adecuada cuando y donde se necesite. La atención centrada en la persona y la experiencia del paciente permiten personalizar el cuidado de acuerdo con las necesidades detectadas, favoreciendo la colaboración interdisciplinaria sin aumentar los costos. La percepción de los usuarios sobre el sistema de salud debe ser una parte integral de la evaluación de calidad de los sistemas, al ser los receptores directos de los servicios, pueden proporcionar información valiosa sobre aspectos específicos a mejorar, lo que se podría reflejar en un gasto en salud más efectivo 1.

En la literatura y en la práctica de los sistemas de salud, el apoyo a la incorporación de la perspectiva del paciente va en aumento, y esos tipos de indicadores han sido denominados “Resultados Informados por el Paciente” (PROM, por sus siglas en inglés) y “Experiencia Informada por el Paciente” (PREM, por sus siglas en inglés) 2.

Al considerar las propiedades métricas, que se propone que debieran abarcar los instrumentos de medida de resultados de los usuarios, estas son: concepto y modelo de medida, proceso de adaptación cultural y lingüística, fiabilidad, validez, sensibilidad al cambio, interpretabilidad, fiabilidad del uso del instrumento y formas alternativas de administración. Lo anterior es importante tenerlo en cuenta ya que el hecho de disponer de estándares apropiados y consensuados, conlleva a que la asignación de recursos, su organización y gestión, pueda hacerse más eficientemente 3.

Respecto a las funciones de la APS, se retoma el modelo conceptual de Haggerty et al. (2012) como referente principal para este estudio. En dicho modelo se establecieron y definieron 24 funciones que debe cumplir la APS, las cuales se enmarcan en cinco dimensiones: a) orientada a la práctica clínica (accesibilidad al primer contacto, accesibilidad/capacidad, integralidad de los servicios, continuidad de la información, continuidad de la gestión y calidad técnica de la atención clínica), b) orientada a la persona (abogacía, relación continua, sensibilidad cultural, atención centrada en la familia, comunicación interpersonal, respeto y atención integral de la persona), c) orientada a la comunidad (usuario/ participación de la comunidad, equidad, equipo intersectorial y orientación a la población), d) estructurales (gestión de la información clínica, equipo multidisciplinar, proceso de mejora de la calidad e integración del sistema) y; e) orientadas al rendimiento del sistema (rendición de cuentas o transparencia, disponibilidad y eficiencia/ productividad) 4.

Sin embargo, la existencia de diversos cuestionarios para evaluar las funciones de la APS y su desarrollo reciente hace que sea difícil identificar cuáles son los más adecuados para un uso determinado 5; además se ha reportado que estos pueden variar en contenido, métodos seguidos para su obtención, sus propiedades métricas, las necesidades para su aplicación y su uso efectivo 6; y que el procedimiento para la construcción de un instrumento de medida es complejo y de naturaleza iterativa 7.

Al fortalecer la base de atención primaria de los sistemas nacionales de salud a través de un monitoreo regular y una evaluación rigurosa, los tomadores de decisiones en el campo de la salud pueden generar confianza y cumplir la promesa de un sistema universal de salud que alcance los elevados objetivos de Alma-Ata 8.

Este estudio permitirá a los tomadores de decisiones e investigadores, tener una visión integral sobre la calidad de los cuestionarios e identificar cuál utilizar; esto resulta fundamental toda vez que los sistemas de salud deben enfatizar su quehacer cotidiano en la estrategia APS 9.

Con base en lo anterior, el objetivo fue evaluar las propiedades métricas de los instrumentos que valoran las funciones de la APS, desde la perspectiva de los usuarios, en el contexto mundial, validados entre 1994 y 2014.

MATERIALES Y MÉTODOS

Tipo de estudio: Revisión sistemática de la literatura. Las revisiones sistemáticas son investigaciones científicas en las cuales la unidad de análisis son los estudios originales primarios 10.

Unidad de análisis y de trabajo: Artículos científicos publicados que cumplieron con los criterios de inclusión: publicaciones de revistas científicas entre enero 1 de 1994 y junio 30 de 2014, idioma español, inglés y portugués, estudios de validación de instrumentos de medición disponibles al público y el instrumento debía medir las funciones o atributos de la APS desde la perspectiva de los usuarios.

Procedimiento: Se realizó una búsqueda sistemática de la literatura en las bases de datos PubMed, EMBASE y Biblioteca Virtual en Salud (BVS). El período de tiempo, se debe a que para esta revisión se partió del estudio titulado “Mapping the coverage of attributes in validated instruments that evaluate primary healthcare from the patient perspective” realizado en Canadá y publicado en 2012, en el cual se identificaron 17 instrumentos que evalúan la APS desde la perspectiva de los usuarios, estos fueron publicados entre 1994 hasta 2008. Adicionalmente, se realizó la búsqueda desde 2009 hasta junio 30 de 2014 para actualizar y completar la revisión.

La búsqueda se consideró hasta 2014, dado que entre el 2012 y el 2014 el Banco Interamericano de Desarrollo estaba cursando un proceso de investigación con la aplicación de la encuesta sobre Acceso, Experiencia y Coordinación de la Atención Primaria de Salud en América Latina y el Caribe, considerando especialmente el punto de vista de los usuarios 1.

Para la búsqueda de la información, de manera inicial se utilizó la estrategia aplicada en el estudio realizado en Canadá en 2012, la cual fue: “primary health care” AND “outcome and process measurement” AND “questionnaires” AND “psychometrics”. Estrategia denominada “Estrategia de búsqueda No. 1”. Posteriormente, con el fin de actualizar la búsqueda de los estudios, se ajustó la estrategia de búsqueda y plantearon las estrategias No. 2 y No. 3, así respectivamente: estrategia de búsqueda No. 2: (“primary health care” OR “primary care”) AND “questionnaires” AND “psychometrics” AND “outcome measurement” y estrategia de búsqueda No. 3: (“primary health care” OR “primary care”) AND “questionnaires” AND “psychometrics” AND “process measurement”.

Evaluación de los artículos sobre las propiedades métricas de los instrumentos: La evaluación se realizó mediante el cuestionario EMPRO. Al respecto, se obtuvo la autorización por parte del Grupo BiblioPRO (España) para el uso del instrumento. La lista de chequeo se diligenció por dos de los autores con experiencia relacionada de forma individual e independiente sobre las características del instrumento a evaluar, seguido de un procedimiento de consenso.

El EMPRO consta de 39 ítems distribuidos en ocho áreas. Cada área abarca una dimensión diferenciada de la calidad del instrumento a evaluar (I. Concepto y modelo de medida, II. Fiabilidad, III. Validez, IV. Sensibilidad al cambio, V. Interpretabilidad, VI. Facilidad de uso del instrumento o carga de administración, VII. Formas alternativas de administración y VIII. Proceso de adaptación cultural y lingüística. Cada dimensión incluye la definición conceptual, para facilitar la comprensión del significado y garantizar una aplicación estandarizada durante el proceso de evaluación. Cada ítem puede ser respondido en una escala con 4 opciones de respuesta (desde “Muy de acuerdo” siendo 4, hasta “Muy en desacuerdo” siendo 1). Al final de la lista de chequeo se diligenció un apartado para realizar una evaluación general del instrumento. En éste, se consignó la calificación sobre el uso recomendado (“uso longitudinal” o “uso transversal”); el tipo de población en la que se aplica, el tipo de estudio y las posibles evaluaciones que se pueden realizar con el instrumento.

Plan de análisis y procesamiento de la información: La información se digitó y analizó en Statistical Package for the Social Sciences (SPSS) V.15.0 0 (licenciado por la Universidad de Caldas - Colombia). Para el cálculo de las puntuaciones EMPRO, se usaron los algoritmos proporcionados por los creadores del instrumento.

Las puntuaciones de las propiedades específicas se obtuvieron con el cálculo de la respuesta media de los ítems aplicables, cuando al menos un 50% de los ítems estaban puntuados. A los ítems en los que se eligió la opción de respuesta de “no hay información” se les asignó la puntuación de 1 (puntuación más baja posible). Luego, las puntuaciones se transformaron linealmente a un rango de 0 (peor puntuación posible) a 100 (mejor puntuación posible). Además, de las puntuaciones de las propiedades específicas, se obtuvo una puntuación general mediante el cálculo de la media de las cinco propiedades relacionados con la métrica: “modelo conceptual y de medición”, “fiabilidad”, “validez”, “sensibilidad al cambio” e “interpretabilidad”. La puntuación general sólo se calculó cuando al menos tres de estas cinco propiedades obtuvieron una puntuación. Las puntuaciones de EMPRO se consideraron razonablemente aceptables cuando alcanzaron un mínimo de 50 puntos (la mitad de la puntuación máxima). Este umbral fue elegido sobre la base de las recomendaciones globales realizados por los revisores en diferentes estudios EMPRO 5,11.

Se calculó el estadístico de Kappa ponderado para evaluar el grado de acuerdo entre los evaluadores en las calificaciones EMPRO 12.

Aspectos éticos: Se contó con aprobación del Comité de Bioética de la Facultad de Ciencias para la Salud de la Universidad de Caldas, Acta 010 de 2014. Investigación calificada sin riesgo. Además, los autores declaran que no poseen ningún conflicto de intereses.

RESULTADOS

Posterior a la aplicación de las estrategias de búsqueda y la selección de los estudios, se identificaron 87; luego, en la fase de tamizaje se excluyeron 17 (duplicados: 14; no se encontraron: 2; no se obtuvieron en texto completo: 1). En la fase de selección se revisaron 70 para determinar su inclusión. De estos, se excluyeron 42 que no cumplieron con los criterios de inclusión, y finalmente se seleccionaron 28 para evaluar con la lista de chequeo EMPRO 13.

Tras la calificación de los 28 cuestionarios con EMPRO se realizaron sesiones para llegar a un consenso sobre la calificación de los ítems. Al finalizar la revisión de los cuestionarios, se calculó el estadístico Kappa ponderado y se obtuvo un resultado de 0,961, lo que indica un acuerdo casi perfecto.

En cuanto la aplicación de la lista de chequeo EMPRO, para determinar el cumplimiento de las propiedades métricas de cada uno de los cuestionarios, se presentan de manera detallada las calificaciones obtenidas (Tabla 1) y se resumen gráficamente (Figura 1):

Tabla 1 Calificaciones EMPRO de los cuestionarios que valoran las funciones de la APS desde la perspectiva de usuarios, publicados en el mundo, 1994 a 2014. 

Explicación: ++++ 4 (Muy de acuerdo), +++ 3 (De acuerdo), ++ 2 (En desacuerdo), + 1 (Muy en desacuerdo), - (No hay información), NA (No aplicable). Entre mayor es el nivel de acuerdo, mayor es la calificación. Los puntajes de EMPRO oscilan entre 0 - 100 (peor a mejor puntuación).

Fuente: resultados obtenidos a partir de la evaluación de instrumentos de medida con la aplicación del cuestionario EMPRO.

Fuente: elaboración propia.

* Cuestionarios: CAHPS 2.0a= Consumer Assessment of Health Plans Study 14; COAHSb= Consumer Opinions on Ambulatory Health Services 14; CPCIc= Components of Primary Care Index 15; EUROPEPd= The Europep Instrument 16; GMCCe= Generic Measure of Continuity of Care 17; GPAQf= The General Practice Assessment Questionnaire 18; GPASg= The General Practice Assessment Survey 19; ICh= Individual Care Instrument 20; IPCi= Interpersonal Processes of Care 21; MISS-21j= The Medical Interview Satisfaction Scale 22; MPOC-20k= Measure of Processes of Care 23; PACICl= Patient Assessment of Chronic Illness Care (24); PCASm= Primary Care Assessment Survey 25; PCATn= Primary Care Assessment Tool 26; PCAT-AEñ: Primary Care Assessment Tool Original 27; PCAT-CEo= Primary Care Assessment Tool child edition 28; AR-PCAT-AEp= Argentina Primary Care Assessment Tool adult edition 29; BR-PCAT-AEq= Brazil Primary Care Assessment Tool extensive adult user version 30; BR-PCAT-ASr= Brazil Primary Care Assessment Tool abbreviated adult user version 31; BR-PCAT-CEs= Primary Care Assessment Tool child edition 32; C-PCATt= Chinese Primary Care Assessment Tool 33; ES-PCAT10-AEu= Spain Primary Care Assessment Tool abbreviated adult user version 34; ES-PCAT-CSv= Spain Primary Care Assessment Tool child short edition 35; KPCAT, v. 1w= Korean Primary Care Assessment Tool 25; PCQx= Person-Centred Climate Questionnaire, staff version 36; PEQy= Patient Experience Questionnaire - brief questionnaire 37; PSQz= Patient Satisfaction Questionnaire 38; PSQ-18**= The Patient Satisfaction Questionnaire short-form 39.

Figura 1 Calificación global EMPRO asignada a los cuestionarios que evalúan las funciones de la APS, desde la perspectiva de los usuarios, publicados en el mundo entre 1994 y 2014. 

Los cuestionarios que obtuvieron la mejor calificación en la propiedad concepto y modelo de medida fueron GPAS, CAHPS, AR-PCAT-AE, PCAT-CS con un valor obtenido de 100. El que obtuvo la calificación más baja fue el PSQ (42,86).

Los cuestionarios que obtuvieron la mejor calificación en la propiedad fiabilidad fueron BRPCAT-AS (91,67), PCAT-CE y GPAS (88,89 cada uno). Los que obtuvieron una calificación más baja fueron PSQ, PSQ-18, MISS-21, PCAT con una calificación obtenida de 33,33 puntos.

El cuestionario que obtuvo la mejor calificación en la propiedad validez fue BR-PCAT-CE (60,00). Los que obtuvieron una calificación de cero fueron MISS-21 y PCAT-CE. Frente a la falta de evidencia de información en los artículos para evaluar los cuestionarios, no se tienen elementos que permitan afirmar sí se debe a que no se realizaron las pruebas correspondientes durante el proceso de validación o a que la información no fue incluida en los artículos, pero sí se realizaron las pruebas.

En cuanto a la propiedad métrica sensibilidad al cambio, el cuestionario que obtuvo la mejor calificación fue CAHPS 2.0 con un valor de 55,56 y PSQ y MISS-21 obtuvieron una calificación de cero (puntuación más baja posible).

Para la propiedad interpretabilidad, los cuestionarios que obtuvieron calificaciones más altas fueron PACIC y BR-PCAT-CE con un puntaje de 77,78 respectivamente. Los cuestionarios que obtuvieron la calificación más baja fueron PSQ, CAHPS 2.0, EUROPEP, PCAS, PCAT y PEQ con 22,22 puntos cada uno. En este caso, para la mayoría de los cuestionarios se encontró que no se incluyó información que diera cuenta de las estrategias para facilitar la interpretación (75%) y el 96% de los cuestionarios no incluyó información relacionada con la forma en que se deberían presentar los resultados del instrumento, como por ejemplo las características de la población de referencia en que se basa para el cálculo de las puntuaciones estandarizadas.

Frente a la calificación global de los cuestionarios (calculada cuando al menos tres de las cinco propiedades anteriores obtuvieron una puntuación), de los 28 cuestionarios evaluados, los que resultaron mejor calificados fueron BRPCAT-CE (65,1) y BR-PCAT-AS (62,97) y los que obtuvieron la calificación más baja fueron PSQ (21,35) y MISS-21 (26,98).

Los cuestionarios que superaron el umbral mínimo (50 puntos en la escala de calificación de EMPRO), es decir que pueden ser considerados como adecuados para su aplicación, fueron 11 y de estos, 8 parten del PCAT (creado en Estados Unidos); los tres restantes corresponden a PACIC (Estados Unidos), GPAS (Inglaterra) y CAHPS 2.0 (Estados Unidos). El PCAT en sus versiones dirigidas tanto a usuarios niños como adultos (mayores de 18 años), creado y validado en Estados Unidos (PCATAE=52,27) ha sido adaptado transculturalmente y ha sufrido procesos de validación en versión extensa y reducida y en los idiomas español, inglés y portugués en países como Brasil, Argentina y España evidenciando el cumplimiento de las propiedades métricas evaluadas con EMPRO. Se resaltan los cuestionarios de Brasil en su versión extensa dirigida a población infantil (BR-PCATCE) y en su versión reducida dirigida a adultos (BRPCAT-AS) los cuales obtuvieron las calificaciones más altas. De igual manera el cuestionario PACIC, el cual evalúa la atención centrada en el paciente y aspectos clave de la atención primaria como acceso, continuidad, integralidad, globalidad, atención centrada en la persona, relación continua médico-paciente, recibió la tercera calificación EMPRO más alta (59,05). Los cuestionarios GPAS y CAHPS 2.0, evalúan 9 áreas principales de la APS (acceso, atención técnica, comunicación, atención interpersonal, confianza, conocimiento del paciente, cuidados de enfermería, apertura y continuidad de la atención) y la calidad de la atención respectivamente.

Respecto a las tres propiedades métricas restantes que fueron valoradas en los cuestionarios (facilidad de uso del instrumento, formas alternativas de administración y proceso de adaptación cultural y lingüística) estas no se incluyen en la puntación global (criterio dado por los creadores del instrumento), ya que no todos los cuestionarios cuentan con formas alternativas de administración o han sido adaptados. Cabe resaltar que en cuanto a la facilidad de uso del instrumento, en esta propiedad el ítem para el cual no se tuvo información en la mayoría de los cuestionarios (86%) correspondió al que indagó sobre las circunstancias en las que el instrumento no era apropiado para un entrevistado. De igual forma, para evaluar la propiedad de proceso de adaptación cultural y lingüística no se contó con información que pudiera evidenciar el cumplimiento de los criterios de evaluación, ya que del total de los cuestionarios evaluados, un bajo porcentaje (14%) evidenciaron el proceso de adaptación realizado, además del proceso de validación.

En la parte final del EMPRO, la cual permite obtener una evaluación general de los cuestionarios, se encontró que en cuanto al grado de recomendación del cuestionario, el 82% se recomienda con modificaciones, el 14% está muy recomendado y del 4% falta información para establecer el grado de recomendación. Con relación al uso adecuado del cuestionario en el 86% es transversal (discriminación entre pacientes y grupos) y en el 14% es longitudinal (seguimiento). En cuanto al tipo de población, el 79% está dirigido a población general adulta, el 18% a población general infantil y el 3% a población general adolescente.

Frente al tipo de estudio, el 86% están dirigidos para ser aplicados en estudios descriptivos transversales y el 14% restante en estudios de monitorización poblacional.

DISCUSIÓN

La atención primaria está en continua evolución, y esto por sí solo justifica la necesidad de evaluarla sistemáticamente 34. Frente a la propiedades métricas, se corroboró que las de concepto y modelo de medida, fiabilidad, validez, sensibilidad al cambio e interpretabilidad deben ser susceptibles de ser evaluadas en los diferentes instrumentos, como consecuencia, en la mayoría de los artículos evaluados en este estudio, se evidenció información parcial o total en algunos casos que permitiera verificar su cumplimiento 17.

En relación con las propiedades de facilidad de uso del instrumento, formas alternativas de administración y proceso de adaptación cultural y lingüística, se corroboró que la mayoría de los cuestionarios no contenían información que permitirá verificar su cumplimiento, ya que no es una condición sine qua non que tengan formas alternativas de administración o que hayan partido de procesos de adaptación transcultural 17.

Particularmente, en cuanto a la facilidad de uso del instrumento, se recomienda que los procesos de validación de los cuestionarios se concentren en reducir el número de ítems a lo esencial con el fin de reducir la carga en la respuesta 27.

En esta revisión sistemática, en la cual se evaluaron cuestionarios que provinieron de entornos diferentes que habían sido validados, se verificó que previamente habían pasado por procesos de adaptación transcultural; esto es lo que se recomienda realizar, de manera previa a la aplicación de los cuestionarios, según Valderas y Alonso en el 2008 5. No obstante, en la literatura también se ha reportado que es necesario avanzar en procesos de adaptación transcultural de los instrumentos, ya que una de las dificultades del uso internacional de estos, es la magnitud de los cambios que suelen sufrir cuando son adaptados a diferentes contextos, sin atender a recomendaciones sobre este tipo de procesos 29.

En los resultados de este estudio se encontró que el PCAT ha sido adaptado transculturalmente y validado, lo que permite entrever que es un instrumento que cuenta con evidencia científica, puede motivar a los tomadores de decisiones e investigadores a hacer uso de él para evaluar las funciones de la APS desde la perspectiva de los usuarios; diferente a lo reportado en los estudios de Yang (2013), Georgy (2013), Bouloukaki (2013) y Vukovic (2012), en los que se encontró que a pesar de que existen diferentes cuestionarios que evaluan la APS desde varios enfoques, no hay consenso sobre los que están validados para evaluar la APS desde los usuarios 33.

En congruencia, en un estudio realizado en China, investigadores realizaron una revisión de la literatura y aplicaron diferentes criterios de evaluación, por ejemplo: procesos de desarrollo, validación, respaldo y aplicación en diferentes contextos culturales; a partir de lo cual identificaron cuatro cuestionarios: EUROPEP, GPAS, PCAS y PCAT; finalmente eligieron la herramienta PCAT ya que al comparar su desarrollo, validación y aplicación, se encontró que evaluaba el rendimiento de los centros de salud desde diversas perspectivas (pacientes y proveedores), alineado con la definición de atención primaria, aceptado de manera amplia en los países en desarrollo, teóricamente fundamentado y validado científicamente 33.

De los 28 cuestionarios evaluados en este estudio, 11 superaron 50 puntos y de éstos, ocho correspondieron a diferentes versiones del PCAT, incluyendo versiones originales dirigidas a población adulta e infantil y las adaptadas transculturalmente y validadas en Brasil, Argentina y España. En todo el mundo se han incrementado los esfuerzos destinados a desarrollar cuestionarios para medir la calidad de la APS percibida 33.

De los cuestionarios evaluados, el mejor calificado con EMPRO fue el BR-PCAT-CE. Los cuestionarios BR-PCAT-AS, PACIC y GPAS también obtuvieron calificaciones altas, por lo tanto su uso debe ser recomendado. El CAHPS 2.0 y PCAT-AE fueron calificados ligeramente por encima del umbral de resultados aceptables, mientras que el PSQ, MISS-21 y EUROPEP están distantes del valor mínimo de calidad. En coherencia con los resultados del estudio de Sánchez y Echeverry (2004), se confirma que como criterios para lograr la validación de los cuestionarios de medición, los más utilizados son los siguientes: validez de apariencia, validez de constructo, validez de criterio, confiabilidad testretest o interevaluador, sensibilidad al cambio y utilidad 40; por otra parte, son los que permitieron obtener mayor información para dar respuesta a cada uno de los criterios establecidos por EMPRO.

Se retoma la sugerencia de Starfield et al. y se hace énfasis en la necesidad de profundizar en procesos de investigación que ayuden a explicar qué funciones de la APS son más conducentes a mejores resultados, para que los recursos limitados puedan utilizarse para centrarse en ellos o una combinación de ellos 27.

Se reconocen como limitaciones del estudio que no se incluyeron manuales, guías o informes por lo que en algunos casos en los artículos no se hizo referencia a la información relacionada con las propiedades métricas de los cuestionarios y, como consecuencia obtuvieron una calificación baja en los ítems correspondientes.

CONCLUSIONES

Se concluye que las propiedades métricas de los cuestionarios PCAT fueron adecuadas en la mayoría de las versiones adaptadas transculturalmente y validadas, lo cual permite obtener resultados válidos y confiables a partir de su utilización. Los cuestionarios que resultaron adecuados para su aplicación fueron 11, y de estos 8 parten del PCAT; los tres restantes corresponden a PACIC, GPAS y CAHPS 2.0.

Frente al cumplimiento de las propiedades métricas, se evidenció que los criterios que han sido más utilizados por los autores para lograr la validación de los cuestionarios de medición, son los siguientes: validez de apariencia, validez de constructo, validez de criterio, confiabilidad testretest o interevaluador, sensibilidad al cambio y utilidad (concepto y modelo de medida).

Se recomienda que en futuros estudios se considere la utilización de los cuestionarios que obtuvieron los puntajes de EMPRO más altos, lo cual podría permitir realizar estudios multicéntricos y la comparación internacional.

En cuanto al ámbito de aplicación de los cuestionarios identificados, especialmente el PCAT, el cual fue el mejor evaluado y para el que se obtuvieron calificaciones EMPRO superiores al nivel considerado aceptable para ser aplicado, en la mayoría de las versiones que se revisaron; es de considerar que está dirigido para ser aplicado en cualquier sector del sistema sanitario, sea público, privado, de obras sociales u otro tipo de organizaciones que participen en la provisión de servicios de APS. Además, puede ser utilizado en cualquier país.

REFERENCIAS

1. Guanais FC, Regalia F, Pérez Cuevas R, Anaya M, Harris DO, Moreno R, et al. Desde el paciente: Experiencias de la atención primaria de salud en América Latina y el Caribe: Inter-American Development Bank; 2018. [ Links ]

2. Baumhauer JF. Patient-reported outcomes-are they living up to their potential. N Engl J Med. 2017; 377(1): 6-9. [ Links ]

3. Pasarín Rua M, Berra S, Rajmil L, Solans M, Borrell C, Starfield B. Un instrumento para la evaluación de la atención primaria de salud desde la perspectiva de la población. Aten Primaria. 2007; 39(8): 395-8. [ Links ]

4. Lévesque J-F, Haggerty J, Beninguissé G, Burge F, Gass D, Beaulieu M-D, et al. Mapping the coverage of attributes in validated instruments that evaluate primary healthcare from the patient perspective. BMC Family Practice. 2012; 13(1): 20. [ Links ]

5. Valderas JM, Ferrer M, Mendívil J, Garin O, Rajmil L, Herdman M, et al. Development of EMPRO: A Tool for the Standardized Assessment of Patient‐Reported Outcome Measures. Value in Health. 2008; 11(4): 700-8. [ Links ]

6. Garratt A, Schmidt L, Mackintosh A, Fitzpatrick R. Quality of life measurement: bibliographic study of patient assessed health outcome measures. BMJ. 2002; 324(7351): 1417. [ Links ]

7. Valderas JM, Ferrer M, Alonso J. Instrumentos de medida de calidad de vida relacionada con la salud y de otros resultados percibidos por los pacientes. Medicina clínica. 2005; 125: 56-60. [ Links ]

8. Macinko J, Guanais FC. Population experiences of primary care in 11 Organization for Economic Cooperation and Development countries. International Journal for Quality in Health Care. 2015; 27(6): 443-50. [ Links ]

9. Ministerio de la Protección Social. Ley No. 1438 19 de enero de 2011. In: Cundinamarca, editor. Bogotá D.C. 2011. [ Links ]

10. Ferreira González I, Urrútia G, Alonso Coello P. Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología. 2011; 64(08): 688-96. [ Links ]

11. Garin O, Herdman M, Vilagut G, Ferrer M, Ribera A, Rajmil L, et al. Assessing health-related quality of life in patients with heart failure: a systematic, standardized comparison of available measures. Heart failure reviews. 2014; (3): 359-67. [ Links ]

12. Viera AJ, Garrett JM. Understanding interobserver agreement: the kappa statistic. Fam med. 2005; 37(5):360-3. [ Links ]

13. Giraldo-Osorio A. Instrumentos que valoran las funciones de la atención primaria de salud: perspectiva de los usuarios. Revista de Salud Pública. 2018; 20: 498-504. [ Links ]

14. Lee Hargraves J, Hays RD, Cleary PD. Psychometric properties of the consumer assessment of health plans study (CAHPS®) 2.0 adult core survey. Health services research. 2003; 38(6p1): 1509-28. [ Links ]

15. Flocke SA. Measuring attributes of primary care: development of a new instrument. J Fam Pract. 1997; 45(1): 64-74. [ Links ]

16. Grol RPTM, Wensing MJP, Olesem F. Patients evaluate general/family practice: the EUROPEP instrument: Task Force on Patient Evaluations of General Practice Care; 2000. [ Links ]

17. Haggerty JL, Roberge D, Freeman GK, Beaulieu C, Bréton M. Validation of a generic measure of continuity of care: when patients encounter several clinicians. Ann Fam Med. 2012; 10(5): 443-51. [ Links ]

18. Mead N, Bower P, Roland M. The general practice assessment questionnaire (GPAQ)-development and psychometric characteristics. BMC family practice. 2008; 9(1): 13. [ Links ]

19. Ramsay J, Campbell JL, Schroter S, Green J, Roland M. The General Practice Assessment Survey (GPAS): tests of data quality and measurement properties. Family Practice. 2000; 17(5): 372-9. [ Links ]

20. Suhonen R, Välimäki M, Katajisto J. Developing and testing an instrument for the measurement of individual care. Journal of Advanced Nursing. 2000; 32(5): 1253-63. [ Links ]

21. Stewart A, Nápoles Springer A, Pérez Stable E, Posner S, Bindman A, Howard L, et al. Interpersonal Processes of Care in Diverse Populations. The Milbank Quarterly. 1999; 77(3): 305-39. [ Links ]

22. Meakin R, Weinman J. The ‘Medical Interview Satisfaction Scale’ (MISS-21) adapted for British general practice. Family Practice. 2002; 19(3): 257-63. [ Links ]

23. Himuro N, Kozuka N, Mori M. Measurement of family‐centred care: translation, adaptation and validation of the Measure of Processes of Care (MPOC‐56 and‐20) for use in Japan. Child: care, health and development. 2013; 39(3): 358-65. [ Links ]

24. Glasgow RE, Wagner EH, Schaefer J, Mahoney LD, Reid RJ, Greene SM. Development and validation of the patient assessment of chronic illness care (PACIC). Medical care. 2005; 43(5): 436-44. [ Links ]

25. Lee H, Choi Y, Sung N, Kim S, Chung S, Kim J, et al. Development of the Korean primary care assessment tool-measuring user experience: tests of data quality and measurement performance. Int J Qual Health Care. 2009; 21(2): 103-8. [ Links ]

26. Starfield B, Cassady C, Nanda J, Forrest CB, Berk R. Consumer Experiences and Provider Perceptions of the Quality of Primary Care: Implications for Managed Care. The Journal of Family Practice. 1998; 46(3): 216-26. [ Links ]

27. Shi L, Starfield B, Xu J. Validating the Adult Primary Care Assessment Tool. J Fam Pract. 2001; 50(2): 161. [ Links ]

28. Cassady CE, Starfield B, Hurtado MP, Berk RA, Nanda JP, Friedenberg LA. Measuring consumer experiences with primary care. Pediatrics. 2000; 105(Supp. 3): 998-1003. [ Links ]

29. Berra S, Hauser L, Audisio Y, Mántaras J, Nicora V, Celestina de Oliveira MM, et al. Validez y fiabilidad de la versión argentina del PCAT-AE para evaluar la atención primaria de salud. Rev Panam Salud Publica. 2013; 33(1): 30-9. [ Links ]

30. Harzheim E, de Oliveira MMC, Agostinho MR, Hauser L, Stein AT, Gonçalves MR, et al. Validação do instrumento de avaliação da atenção primária à saúde: PCATool-Brasil adultos. Rev Bras Med Fam Comunidade. 2013; 8(29): 274-84. [ Links ]

31. De Oliveira MMC, Harzheim E, Riboldi J, Duncan BB. PCATool-Adulto-Brasil: uma versão reduzida. Rev Bras Med Fam Comunidade. 2013; 8(29): 256-63. [ Links ]

32. Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil. Cad Saúde Pública. 2006; 22: 1649-59. [ Links ]

33. Yang H, Shi L, Lebrun LA, Zhou X, Liu J, Wang H. Development of the Chinese primary care assessment tool: data quality and measurement properties. International Journal for Quality in Health Care. 2013; 25(1): 92-105. [ Links ]

34. Rocha K, Rodríguez-Sanz M, Pasarín M, Berra S, Gotsens M, Borrell C. Assessment of primary care in health surveys: a population perspective. Eur J Public Health. 2011; 21(2): 1-5. [ Links ]

35. Berra S, Rocha KB, Rodríguez-Sanz M, Pasarín MI, Rajmil L, Borrell C, et al. Properties of a short questionnaire for assessing Primary Care experiences for children in a population survey. BMC Public Health. 2011; 11(285). [ Links ]

36. Edvardsson D, Sandman PO, Rasmussen B. Swedish language Person‐centred Climate Questionnaire-patient version: construction and psychometric evaluation. JAN. 2008; 63(3): 302-9. [ Links ]

37. Steine S, Finset A, Laerum E. A new, brief questionnaire (PEQ) developed in primary health care for measuring patients’ experience of interaction, emotion and consultation outcome. Family Practice. 2001; 18(4): 410-8. [ Links ]

38. Vukovic M, Gvozdenovic BS, Gajic T, Stamatovic Gajic B, Jakovljevic M, McCormick BP. Validation of a patient satisfaction questionnaire in primary health care. Public Health. 2012; 126(8): 710-8. [ Links ]

39. Marshall GN, Hays RD. The patient satisfaction questionnaire short-form (PSQ-18). Rand Santa Monica, CA; 1994. [ Links ]

40. Sánchez R, Echeverry J. Validación de escalas de medición en salud. Rev salud pública. 2004; 6(3): 302-18. [ Links ]

Citar este artículo así: Giraldo Osorio A, Vélez Álvarez C, Berra S, Perdomo Rubio A. Calidad de los instrumentos que valoran las funciones de la atención primaria: revisión sistemática. Hacia Promoc. Salud. 2020; 25(1): 109-129 DOI: 10.17151/hpsal.2020.25.1.8.

Recibido: 15 de Abril de 2018; Aprobado: 06 de Agosto de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons