ARTÍCULO ORIGINAL / ORIGINAL ARTICLE/ ARTIGO ORIGINAL

 

Creación de un examen de titulación para la carrera de Enfermería

Creation of a career certification test for nursing

Criação de um exame de titulação para a carreira de enfermagem

 

 

María Isabel Catoni Salamanca ¹, Patricia Jimena Fernández Díaz ², Ximena Ferrer Sorria-Galvarro ³, Jorge Manuel Manzi Astudillo ⁴, María Paulina Flotts De los Hoyos ⁵, Silvia Cristina Barrios Araya ⁶

 

¹ Enfermera-Matrona, Magíster en Fundamentación Filosófica, Profesor Titular, Escuela de Enfermería, Pontificia Universidad Católica, Chile. email: lmcatoni@uc.cl.

² Enfermera, MSP, Directora Carrera Sede Santiago, Escuela Enfermería, Universidad San Sebastián, Chile. email: pfernandez@uss.cl.

³ Enfermera, MSP, Profesor Titular, Escuela de Enfermería, Pontificia Universidad Católica, Chile. email: xferrer@uc.cl.

⁴ Psicólogo, PhD. Profesor Titular, Director Centro de Medición Mide UC, Pontificia Universidad Católica de Chile, Chile. email: jmanzi@uc.cl.

⁵ Psicóloga, PhD. Gerente de Estudios y Desarrollo Mide UC, Pontificia Universidad Católica de Chile, Chile. email: mflotts@uc.cl.

⁶ Enfermera, MSP, Profesor Asistente, Escuela de Enfermería, Pontificia Universidad Católica, Chile. email: sbarrios@uc.cl.

 

Subvenciones: el artículo es producto de investigación financiada por el Fondo de Desarrollo Académico de la Vicerrectoría Académica de la Pontificia Universidad Católica de Chile.

Conflicto de intereses: ninguno a declarar.

Cómo citar este artículo: Catoni MI, Fernándezz PJ, Ferrer X, Manzi JM, Flotts MP, Barrios SC. Invest Educ Enferm. 2011;29(1): 87 – 96.

 

---

 

RESUMEN

Objetivo. Evaluar la utilidad de un examen de titulación en la modalidad examen escrito en la medición de las competencias definidas en el perfil de egreso del plan de estudios de Enfermería. Metodología. Se desarrolló este examen con base en la definición de las características del mismo, el planteamiento de los objetivos, la definición de los contenidos a evaluar, la descripción de las características de las preguntas y la determinación del carácter aprobatorio o reprobatorio del examen. Después de la revisión y clasificación de las preguntas, se hicieron pruebas piloto, lo que permitió finalmente la construcción del instrumento definitivo. Resultados. Del total de preguntas piloteadas, se aceptaron un total de 256 preguntas, y de estas se rescató el 31.3% post análisis psicométrico, las cuales fueron usadas para la primera versión del examen aplicado a enfermeras y enfermeras-matronas, el cual fue rendido por 36 alumnas que lograron un puntaje de 52.4±4.7. Considerando lo anterior, el resultado expresado en notas de esta cohorte fue en promedio 4.9±0.5 (escala 1 a 7). Conclusión. El examen de titulación midió un rango amplio de competencias profesionales necesarias para un ejercicio profesional de calidad. Es importante tener presente que la elección de un examen modalidad “examen escrito” permite medir sólo conocimientos y habilidades cognitivas. Por tanto, se debe asegurar a través del currículum, en cada curso, la obtención de las habilidades técnicas y las actitudes adecuadas.

Palabras clave: evaluación; competencia profesional; enfermería.

 

---

 

ABSTRACT

Objective. To evaluate the utility of a career certification test, as a written test to measure skills defined in the graduate profile of the nursing curriculum. Methodology. The test was developed based in the definition of its characteristics, approach of the objectives, evaluated content definition, description of the questions characteristics, and determine the approval or disapproval nature of the test. After review and classification of the questions, pilot sampling was performed allowing the construction of the final tool. Results. From the total of piloted questions, a total of 256 questions were accepted, 31.3% of them were rescued post psychometric analysis, they were used for the first version of the test applied to nurses and matron-nurses, 36 students took it reaching a score of 52.4±4.7. Considering the above, the average grade of this cohort was 4.9±0.5 (in a 1 to 7 scale). Conclusion. The certification test measured a wide range of professional skills needed for a quality practice. It is important to know that the election of a “written test” modality allows measuring only cognitive knowledge and skills. So it must be assured through curriculum in each course, to achieve technical abilities and the correct attitudes.

Key words: evaluation; professional competence; nursing.

 

---

 

RESUMO

Objetivo. Avaliar a utilidade de um exame de titulação na modalidade exame escrito na medição das concorrências definidas no perfil de formados do plano de estudos de Enfermaria. Metodologia. Desenvolveu-se este exame com base na definição das características do mesmo, a proposta dos objetivos, a definição dos conteúdos a avaliar, a descrição das características das perguntas, e determinar o caráter aprovado ou reprovado do exame. Depois da revisão e classificação das perguntas, fizeram-se provas pilotos, o que permitiu finalmente a construção do instrumento definitivo. Resultados. Do total de perguntas estudadas, aceitaram-se um total de 256 perguntas, e destas se resgatou o 31.3% pós análise psicrométrico, as quais foram usadas para a primeira versão do exame aplicado a enfermeiras e enfermeiras-matronas, o qual foi rendido por 36 alunas que conseguiram uma pontuação de 52.4±4.7. Considerando o anterior, o resultado expressado em notas deste grupo foi em média 4.9±0.5 (escala 1 a 7). Conclusão. O exame de titulação mediu uma casta ampla de concorrências profissionais necessárias para um exercício profissional de qualidade. É importante ter presente que a eleição de um exame modalidade “exame escrito”, que permite medir só conhecimentos e habilidades cognitivas. Por tanto, deve-se assegurar através do currículo, em cada curso, a obtenção das habilidades técnicas e as atitudes adequadas.

Palavras chaves: avaliação; competência profissional; enfermagem.

 

---

 

INTRODUCCIÓN

A comienzos de la presente década, la Escuela de Enfermería de la Pontificia Universidad Católica de Chile (PUC) implementó un nuevo currículum para el programa de pregrado, que incluyó dos cambios relevantes. El primero tiene relación con la posibilidad de que el alumno opte en el séptimo semestre del plan de estudios entre dos títulos profesionales: Enfermera/o con Diploma Académico o Enfermera/o-Matrona/ón.¹ El segundo tiene relación con la necesidad de coherencia con el proyecto educativo de la PUC, que incorporó un “Plan de Formación General” (PFG) a todos los programas de estudios de la Universidad.^2,3

El objetivo del PFG es integrar una formación profesional de excelencia con una formación general en disciplinas diferentes a la propia. Concretamente, la Formación General está enfocada en fortalecer “el rigor ético, el juicio crítico, la capacidad de solución de problemas, el trabajo en equipos multidisciplinarios, el emprendimiento y las habilidades comunicativas en castellano e inglés”, todas competencias esenciales en los profesionales del futuro.⁴

Así, el plan de estudios de la Escuela de Enfermería es innovador en el área de la propia disciplina y, al mismo tiempo, coherente con el proyecto educativo de la PUC, que establece para todos los programas de pregrado una estructura curricular en que se distinguen tres tramos: Bachillerato, Licenciatura y Título Profesional.

Cada uno de estos tramos tiene exigencias propias. Para obtener el grado de Bachiller se requiere la aprobación de 200 créditos, de los cuales 60 son en disciplinas diferentes a la propia y 20 en cursos de naturaleza antropológico-ética. Para obtener el Grado Académico de Licenciado en Enfermería el currículum exige la aprobación de 404 créditos en total (los que incluyen los 200 del bachillerato y 204 más de la propia disciplina) y acreditar un nivel adecuado de habilidades de comunicación en castellano e inglés. Para obtener el egreso de la carrera de Enfermera/o-Matrona/ón o Enfermera/o con Diploma Académico, se exigen 108 y 107 créditos más, respectivamente. Por último, para obtener el Título Profesional de Enfermera/o- Matrona/ón o Enfermera/o, se requiere rendir un Examen de Titulación, cuya modalidad queda a criterio de la Escuela de Enfermería.¹

Considerado lo anterior, la Comisión de Pregrado de la Escuela de Enfermería implementó en forma transitoria (durante tres años) un examen de titulación modalidad “Estudio bibliográfico” para ambos tramos profesionales. En ese momento se argumentó que con esta exigencia se aseguraba el logro de las competencias del área de investigación en un nivel adecuado para pregrado, dejando para el nivel de posgrado el logro de las competencias necesarias para realizar una investigación científica. Al mismo tiempo, la Comisión se comprometió a realizar una evaluación de esta modalidad de examen antes de terminar el llamado período de transición y, de acuerdo con ello, decidir la modalidad definitiva para el nuevo currículum.⁵

Producto de la referida evaluación se concluyó que la exigencia de un examen de titulación modalidad “Estudio bibliográfico” era más adecuada para la obtención de la Licenciatura en Enfermería, que para la obtención del título profesional. Esta conclusión se desprende del hecho, indiscutible, de que la Licenciatura está orientada al logro de competencias que permitan enfrentar con éxito los estudios de posgrado (magíster o doctorado); en cambio, un examen de titulación para entregar el título profesional debiera estar orientado a medir el logro de competencias que habiliten para la práctica de la enfermería. En otras palabras, la evaluación mostró que en un examen que habilite para ejercer la profesión de enfermera/o, era necesario medir un rango más amplio de competencias, y no solo las relacionadas con investigación.⁶

Así, con el fin de asegurar la obtención de las competencias necesarias para desempeñarse como Enfermera/o o como Enfermera/o-Matrona/ón, por parte de cada egresado, se decidió realizar un examen de titulación modalidad examen escrito, a partir de los alumnos que ingresaron en 2003; este examen debía apuntar a medir las competencias definidas en el perfil de egreso del plan de estudios de pregrado, de ambos tramos profesionales.

Como se sabe, una competencia comprende tanto el “saber” (conocimiento), el “saber hacer” (habilidades cognitivas y técnicas), como el “ser” (desarrollo de actitudes); y un examen escrito sólo permite medir conocimientos y habilidades cognitivas en el egresado.7 Sin embargo, dada la dificultad que entraña medir un espectro amplio de habilidades técnicas y actitudes en un examen al final de la carrera (el que en ese caso no podría ser solamente escrito), la Escuela de Enfermería de la PUC optó por dejar la evaluación del “saber hacer” y el “ser” a los profesores de cada asignatura, donde se da la posibilidad cierta de evaluar al estudiante en la diversidad de situaciones que se requiere para este fin; y medir solo conocimientos y habilidades cognitivas a través de un examen escrito para la entrega del título profesional, al menos en esta fase inicial de desarrollo del examen de titulación.⁷

A continuación, se expone el proceso de desarrollo y evaluación de un Examen de Titulación Escrito (ETE) para la carrera de Enfermería.

 

METODOLOGíA

Con el fin de desarrollar un ETE la Escuela de Enfermería inició un proceso que consideró las siguientes etapas:

a. Definir las características del examen. Se acordó que los objetivos del ETE serían medir el nivel de conocimientos y habilidades cognitivas alcanzadas por cada alumno al final del programa de pregrado (los cuales se encontraban precisados en el perfil de egreso de la carrera), y habilitar al alumno legalmente para ejercer la profesión de Enfermera/o o Enfermera/o-Matrona/ón.

Con respecto a los contenidos del examen se consideró que estaban explicitados en los programas de los cursos, tanto en el caso del plan de estudios para Enfermera/o, como para Enfermera/o-Matrona/ón. Estos contenidos se organizaron en diez áreas temáticas: Salud del Adulto, Salud de la Mujer, Salud del Niño y Adolescente, Salud Comunitaria, Salud Mental y Psiquiatría, Bases Teóricas de la Enfermería, Educación en Salud, Gestión en Salud, Investigación y Ética. La distribución porcentual de las preguntas en cada área se definió de acuerdo con el título profesional que optaba el alumno y con el peso en créditos que cada una de estas áreas temáticas tenía dentro del plan de estudios.

Se decidió que el ETE sería un examen teórico con preguntas cerradas, todas ellas de selección múltiple, se incluyeron algunos casos clínicos pero siempre seguidos de preguntas cerradas. Con el fin de estandarizar la confección se envió un instructivo a los profesores para la elaboración de las mismas.

Dado que el objetivo del examen era demostrar que los alumnos estaban habilitados para el ejercicio profesional, se estableció que el examen tendría un carácter aprobatorio o reprobatorio. Con este fin, se estableció un punto de corte (puntaje que separa a los que aprueban de los que reprueban) mediante un procedimiento de standard setting que permite establecer el puntaje de un test que separa a quienes logran un estándar de rendimiento de aquellos que no lo logran. Los puntos de corte son siempre subjetivos (diferentes jueces pueden establecer distintos estándares ocupando el mismo método), y por ello se han desarrollado técnicas que permiten acotar o minimizar esta subjetividad.⁸ Una de las técnicas de standard setting más comúnmente utilizadas es la de “bookmark”, que fue la que se utilizó para establecer el punto de corte del examen aquí reportado. Esta técnica se basa en el juicio que emite un grupo de jueces a partir de la revisión de los ítems del test, ordenados previamente según su grado de dificultad (desde los más fáciles hasta los más difíciles).

b. Establecer una organización que permitiera construir un ETE de alta calidad. Con este propósito se designaron un coordinador y tres comisiones de trabajo: comité para elaboración de preguntas, comité revisor de preguntas y comité de clasificación de preguntas. El primero de estos se organizó por áreas temáticas y se le solicitó elaborar un número mínimo de preguntas, el que se estableció calculando un pérdida de aproximadamente 75% de las mismas en los procesos de revisión y análisis psicométrico.

Una vez elaborados los ítems, estos pasaron a un “Comité revisor de preguntas” integrado por cuatro profesores, tres de ellos de las dos más altas categorías académicas. La función de este comité fue revisar los ítems con el fin de estandarizar el lenguaje y la estructura lógica de los enunciados; y clasificar el nivel taxonómico de cada uno. Con respecto a cada pregunta, este comité tomó la decisión de “aceptar”, “aceptar con correcciones” o “rechazar”. Las preguntas “aceptadas con correcciones” fueron devueltas a los profesores que las elaboraron para una nueva revisión, con el fin de asegurar que no se había cambiado el sentido de lo que se deseaba preguntar. Una vez realizado este proceso, los ítems aceptados con correcciones pasaron a integrar el grupo de las preguntas aceptadas.

A continuación, el “Comité de clasificación de preguntas” conformado por la Directora de la Oficina de Educación en Enfermería y otras dos profesoras de la Escuela clasificaron las preguntas con el fin de asegurar que en el ETE estuvieran representados todos los contenidos relevantes del plan de estudios. En las áreas en que fue necesario construir más preguntas, éstas fueron sometidas a los mismos procesos de revisión y clasificación que las iniciales.

En la etapa de elaboración, revisión y clasificación de preguntas, el rol del coordinador fue conjugar el trabajo de todas las comisiones, velar por la seguridad del proceso y por el cumplimiento de los plazos acordados.

El trabajo de las comisiones permitió contar con una matriz que indicaba por un lado el contenido a medir y por otro el nivel taxonómico de cada pregunta. Al final de esta etapa se aceptaron 65,74% de las preguntas construidas por los profesores.

A continuación, se realizaron dos pruebas pilotos con el propósito de probar los ítems construidos y estudiar sus propiedades psicométricas. ⁹ La primera prueba se realizó con ex–alumnos (ingresos 2000, 2001 y 2002) y la segunda con alumnos que estaban cursando el último año de la carrera.

Las pruebas piloto fueron organizadas por un comité constituido por la Directora de Pregrado de la Escuela, por el Coordinador de la etapa de elaboración, revisión y clasificación de preguntas, y por la profesora a cargo de la Comisión de Revisión de Preguntas. Este comité definió las preguntas a pilotear, gestionó la confección de los materiales (cuadernillos, hojas de respuestas, acta de compromiso mutuo de confidencialidad) y la realización de las pruebas piloto.

Los criterios para seleccionar las preguntas que se evaluarían en las pruebas piloto fueron los siguientes: 1) nivel de conocimientos: se eligieron los ítems considerados de un nivel de conocimientos promedio para un egresado, 2) área/tema/subtema: se seleccionaron las preguntas de las áreas/temas/subtemas más coherentes con las competencias del perfil de egreso, 3) nivel de la taxonomía de Bloom: se eligieron los ítems de dominio cognitivo superior dentro del tema a preguntar,4) enfoque: se privilegió un enfoque de enfermería, y 5) áreas de función del rol de enfermería que abarca: se seleccionaron de preferencia aquellas preguntas que abarcaban más de un área de función del rol.

Para resguardar la seguridad de las preguntas piloteadas y asegurar a los participantes confidencialidad en los resultados individuales de la prueba, se confeccionó un “Acta de compromiso mutuo de confidencialidad”, que fue firmada por la Directora de Pregrado y por cada participante antes de rendir la prueba piloto.

En consonancia con los estándares técnicos para este tipo de estudios, se realizaron los siguientes análisis con base en la teoría de Crocker y Algina:⁹ 1) grado de dificultad: corresponde al porcentaje de respuestas correctas que tuvo cada pregunta. Si nadie contesta correctamente se asume que es un ítem demasiado difícil, y al contrario, si todos responden bien, se asume que es demasiado fácil. Convencionalmente, se aceptan ítems que estén en el rango de 25% a 85% de respuestas correctas; 2) capacidad discriminatoria: alude al grado en que el ítem permite diferenciar entre aquellos que saben más o tienen un nivel más alto en el constructo que está siendo medido, de aquellos que saben menos o tienen un nivel más bajo en el constructo que está siendo medido. Hay distintas formas de mirar esta propiedad siendo la más común la correlación biserial, que establece el grado de asociación entre esa pregunta en particular y la escala completa; convencionalmente se aceptan ítems con correlaciones biseriales iguales o mayores a 0.3, aun cuando 0.2 es un límite también posible de considerar admisible; 3) grado de omisión: se evalúa también el porcentaje de omisión de la pregunta, siendo especialmente relevante que éste no sea muy alto entre quienes tienen mejores rendimientos en el resto de los ítems; y 4) distribución de respuestas entre los distractores: se espera que todos los distractores sean posibles de ser escogidos por quienes no contestan correctamente, de manera que lo ideal es que el porcentaje de respuestas incorrectas se distribuya de manera más o menos uniforme entre los distractores.

El examen final fue construido por la misma comisión que administró los pilotos, con la asesoría del Centro de Medición Educativa de la PUC (MIDE UC). El punto de corte, como ya se mencionó se estableció a posteriori, a través de un standard setting, mediante la metodología de Bookmark. El porcentaje de respuestas correctas se tradujo en una nota, en una escala de 1 a 7, donde la nota igual o superior a 4 marcaba la aprobación del examen.

c. Coordinar el proceso con los alumnos: la Dirección de Pregrado coordinó desde un inicio el proceso con los alumnos. La meta en este sentido fue generar confianza en que se estaba realizando un proceso transparente y con altos estándares de calidad, lo que implicó reuniones con los alumnos para informarles sobre el proceso y aclarar dudas; construir y entregar el temario del examen a los estudiantes; realizar un ensayo del examen; realizar un proceso de inscripción y rendición del examen de titulación; establecer un proceso formal de entrega de resultados; y resolver las solicitudes de revisión del examen de titulación con un proceso previamente definido y conocido por los alumnos.

d. Especificar algunos aspectos reglamentarios: se creó un reglamento para la aplicación del ETE, basado en los que ya existían en la Universidad y en la Escuela. La reglamentación básicamente incluyó los requisitos para rendir el examen, su objetivo, los contenidos en términos generales, el número de veces que se puede rendir durante un mismo año, el número de veces que lo puede rendir un alumno que lo repruebe, así como aspectos generales de la corrección del examen y de la entrega de los resultados.

e. Definir financiamiento del examen: el costo de un examen de titulación de estas características es un tema mayor, principalmente por el número de horas profesor y personal administrativo que se requiere. Sin embargo, en este caso, dado que la Escuela de Enfermería contaba con la capacidad instalada para generar las preguntas y para realizar el trabajo de revisión y clasificación de las mismas (redistribución de horas profesor, computadores, etc.), solo hubo que financiar directamente una parte de las horas secretaria, colación para quienes participaron en los pilotos, insumos para imprimir y la asesoría de MIDE UC. De este modo, sin considerar la capacidad instalada, el costo de cada pregunta válida fue de aproximadamente US$ 70 (setenta dólares) a enero de 2008.

 

RESULTADOS

Las comisiones de estudio aceptaron o aceptaron con correcciones 65.7% (426) de las preguntas elaboradas por los profesores, que en total fueron 648. De estas 426 preguntas, 59.5% correspondían a preguntas de doble proceso y 40.4% a preguntas de un proceso.

Después de la revisión de las comisiones 34.2% de las preguntas fueron rechazadas y el resto fueron aceptadas (46.0% sin correcciones y 19.8% con necesidad de correcciones).

Finalmente se seleccionaron para las pruebas pilotos un total de 256 preguntas, y de éstas se rescató el 31.3% (80) post análisis psicométrico, las cuales fueron usadas para el ETE. Este porcentaje de aceptación es algo inferior a lo que típicamente ocurre; la principal causa de rechazo de los ítems fue su grado dificultad por debajo de lo aceptable.

Así, finalmente se obtuvo un pool de preguntas válidas el que se distribuyó en los exámenes para el título profesional de enfermera y enfermera-matrona según lo planificado. Si bien la planificación inicial del examen contemplaba 100 preguntas en total, finalmente cada examen incluyó 80, que fueron aquellas que cumplieron con los criterios del análisis psicométrico y de contenidos a evaluar. El número de ítems planificados y seleccionados finalmente distribuidos por área puede verse con detalle en la Tabla 1; se hace la aclaración que en el examen final en el área de investigación para enfermeras y en las áreas del niño, mujer, salud mental-psiquiatría e investigación para enfermeras matronas, no se logró el suficiente número de preguntas válidas por lo que se seleccionaron las preguntas faltantes entre el resto de las preguntas piloteadas (con la asesoría de MIDE UC), hasta completar el número de preguntas planificadas para cada área de conocimiento. Cada pregunta se valoró con un punto por lo que el puntaje máximo posible de alcanzar por un estudiante fue de 80 puntos.

Según la taxonomía de Bloom, en el examen para optar al título profesional de enfermera-matrona 68.7% de las preguntas eran de los dominios de conocimiento y comprensión; y 21.3% de los dominios de aplicación, análisis y evaluación. Lo que es similar en el examen para optar al título de enfermera, cuya distribución para los dominios de conocimiento y comprensión fue de 71.2%, y para los ítems de aplicación, análisis y evaluación de 20% (Tabla 2).

La primera versión del ETE, considerando enfermeras y enfermeras-matronas, fue rendida por 36 alumnas, que lograron en promedio un puntaje bruto de 52.4±4.7. Considerando lo anterior, el resultado expresado en notas de esta cohorte fue en promedio 4.9±0.5 (1 mínimo y 7 máximo).

Por último, es importante mencionar que el porcentaje de alumnos que se titula al finalizar los semestres reglamentarios aumentó con la incorporación de esta modalidad de examen de titulación. De hecho, en los alumnos ingresos 2003 y 2004 aumentó el porcentaje de titulados al 5º y 6º año de la carrera de un 25% y 45% (años 2001 y 2002) a 64% y 82% (años 2003 y 2004).

 

DISCUSIÓN

La evaluación es un proceso continuo que forma parte del proceso educacional, que consiste en identificar el tipo de información requerida, obtenerla a través de instrumentos, procesarla, emitir un juicio valorativo y entregar información útil para la toma de decisiones docentes.¹⁰

Un examen de titulación que habilita para el ejercicio de la enfermería debe medir un rango amplio de competencias profesionales y no solo competencias en investigación dado que el propósito del mismo es asegurar un ejercicio profesional de calidad. ¹¹ Es importante tener presente que la elección de un examen modalidad “examen escrito” permite medir solo conocimientos y habilidades cognitivas. Por tanto, se debe asegurar a través del currículum, en cada curso, la obtención de las habilidades técnicas o psicomotoras, y las actitudes adecuadas.⁷

El proceso desarrollado para la elaboración del ETE es similar al desarrollado por el Instituto Colombiano para el Fomento de la Educación, en cuanto a la especificaciones y estructura del examen, detallando las áreas del conocimiento, los tipos de preguntas, elaboración de preguntas, talleres de revisión, aprobación y juicio experto, ensamblaje de las pruebas, desarrollo de guías para los estudiantes, aplicación de la prueba y finalmente análisis y difusión a los alumnos y comunidad académica.¹²

Asimismo, una investigación desarrollada en México,¹³ cuyo objetivo era implementar un nuevo diseño de examen de titulación que estableciera criterios, indicadores, estándares y evidencias para la evaluación, utilizó un estudio de opinión de los profesores y estudiantes acerca de la necesidad de implementar una nueva modalidad, situación similar a la que originó el desarrollo del ETE en la Escuela de Enfermería UC. Lo anterior se justifica porque estas consultas permiten una evaluación más objetiva, imparcial, organizada y justa que garantiza el producto obtenido.

Igualmente, la Asociación de Facultades de Medicina de Chile (ASOFAMECH) elaboró un proyecto detallado para el desarrollo del Examen Nacional de Medicina (ENM), similar al desarrollado por los autores del presente artículo. Para este fin, la ASOFAMECH creó una comisión, la cual trabajó en varios grupos, concretando los conceptos del primer informe y recabando información práctica a través de la recolección de preguntas, simulación de trabajo de comités e implementación de un primer examen piloto en diciembre de 2001, con la participación voluntaria de 83% de los egresados de las Escuelas de Medicina de ASOFAMECH. ⁷

Por otra parte, Bravo y Fernández¹⁴ destacan que la evaluación escrita con preguntas cerradas tiene ventajas, entre las que sobresalen: la gran cantidad de información que permiten recabar en grupos grandes de personas, en poco tiempo y a un bajo costo económico, además del desarrollo de estudios de validez y fiabilidad de las pruebas. De estas ventajas, la única que no se observó en el proceso descrito en el proyecto de la Escuela de Enfermería UC, es el costo económico que en nuestro caso fue elevado. De hecho, la mantención de este tipo de examen en el tiempo hace necesario pensar en la generación de un proceso menos costoso. Ahora bien, algunos autores plantean que un costo elevado puede ser compensado por una gestión más eficiente del examen; a la vez se debe considerar que un tiempo prolongado dedicado a la construcción de ítems puede ser equilibrado con un menor tiempo (horas profesor) dedicado a la corrección e interpretación de resultados, como sucede con un examen de preguntas cerradas en comparación a la modalidad tesis o revisión bibliográfica.^13-15

La creación de un ETE requiere de un proceso organizado, ordenado y sistemático, para conseguir y mantener un pool adecuado de preguntas.

La gran cantidad de ítems que se perdieron en los procesos de estandarización de las preguntas y de análisis psicométrico, reveló la necesidad de capacitación de los profesores en la construcción de preguntas de respuesta cerrada, lo que quizás debió haberse considerado en las primeras etapas del proyecto.

Como alternativas para disminuir los costos, se propone rescatar las preguntas para el ETE de los exámenes de fin de curso que se rinden todos los semestres en todos los niveles de la carrera, exámenes que tendrían que pasar por un proceso de validación de contenido y análisis psicométrico. Esto permitiría renovar y actualizar el pool de preguntas a un costo mucho menor.

A partir de los resultados obtenidos, se concluye que convendría incorporar ítems de mayor dificultad con las propiedades estructurales descritas anteriormente. Sin embargo puede ser que en nuevas aplicaciones de los ítems a nuevos grupos de alumnos, el nivel de dificultad de los ítems cambie. Sin embargo, lo relevante es considerar un nivel de dificultad promedio para el examen en general.¹⁰

Por otra parte, es importante contar con un equipo capacitado de docentes, que dedique tiempo en forma permanente a este objetivo. Este equipo debe asesorar a los profesores en la construcción de preguntas, validarlas y otorgar retro-alimentación a los académicos.

Asimismo, este proyecto ha permitido definir que para estructurar un ETE debieran considerarse dos criterios: a) los créditos de cada área temática dentro del currículum y, b) el perfil de egreso (sello distintivo, aquello en que se desea hacer énfasis). Se sugiere fijar el número ideal de preguntas por área temática e intentar acercarse lo más posible a éste en cada versión del examen. Por otro lado, con el fin de asegurar la coherencia del examen con los objetivos de los cursos, se recomienda generar un documento con las especificaciones del examen (competencias y nivel de logro de cada una). Este trabajo se está realizando en la Escuela de Enfermería UC para validar el perfil de egreso de la carrera. Por último, con esta estrategia la Escuela de Enfermería UC revirtió en forma importante la demora en la obtención del título que existía con la modalidad anterior de examen de titulación.

Como conclusión de este estudio tenemos que el ETE midió un rango amplio de competencias profesionales necesarias para un ejercicio profesional de calidad. Es importante tener presente que la elección de un examen modalidad “examen escrito”, permite medir solo conocimientos y habilidades cognitivas. Por tanto, se debe asegurar a través del currículum, en cada curso, la obtención de las habilidades técnicas y las actitudes adecuadas.

 

REFERENCIAS

1. Pontificia Universidad Católica de Chile. Resolución Vicerrectoría Académica Nº 92/2001. Chile: Pontificia Universidad Católica de Chile; 2001.        [ Links ]

2. Pontificia Universidad Católica de Chile. Resolución Vicerrectoría Académica Nº 150/2002. Chile: Pontificia Universidad Católica de Chile; 2002.        [ Links ]

3. Pontificia Universidad Católica de Chile. Resolución Vicerrectoría Académica Nº 62/2005. Chile: Pontificia Universidad Católica de Chile; 2005.        [ Links ]

4. Pontificia Universidad Católica de Chile. Proyecto Educativo [internet]. Chile: Pontificia Universidad Católica de Chile. [acceso 8 de julio de 2008]. Disponible en: http://www.uc.cl/webpuc/site/launiversidad/ proyectoeducativo.html        [ Links ]

5. Pontificia Universidad Católica de Chile. Reglamento Examen de Titulación Currículo 2000, Modalidad Estudio Bibliográfico. Chile: Pontificia Universidad Católica de Chile; 2000.        [ Links ]

6. Ferrer X, Urrutia T, Uribe C. Evaluación examen de titulación modalidad estudio bibliográfico. Chile: Pontificia Universidad Católica de Chile; 2006.        [ Links ]

7. Henríquez O, Mena B. Habilitación profesional. Condiciones para el aseguramiento de la calidad de la educación médica y condiciones para la confianza recíproca. Experiencia y visión de ASOFAMECH. Rev Méd Chile. 2005;133(4):483-94.        [ Links ]

8. Cizek G, Bunch M. Standard setting. A guide to establishing and evaluating performance standards on tests. California: Sage Publications; 2007.        [ Links ]

9. Crocker L, Algina J. Introduction to classical and modern test theory. Fort Worth: Harcourt Brace Jovanovich; 1986.        [ Links ]

10. Wright C. Evaluación de los aprendizajes a través de pruebas escritas. Chile: Pontificia Universidad Católica de Chile; 2007.        [ Links ]

11. Vargas L, Rivera N. El examen de titulación en odontología como indicador de calidad profesional en la Universidad Michoacana de San Nicolás de Hidalgo. Educ Med Super. [Internet]. 2006;20(3). [acceso 8 de julio de 2008]. Disponible en: http://bvs.sld.cu/ revistas/ems/vol20_03_06/ems07306.htm        [ Links ]

12. Colombia. Instituto Colombiano para el Fomento de la Educación. Marco de Fundamentación Conceptual y Especificaciones de Prueba 2004 [internet]. Bogotá: ICFES; 2004 [acceso 25 de agosto de 2010]. Disponible en: http://www.utadeo.edu. co/programas/pregrados/ing_alimentos/terminos_ de_referencia.pdf        [ Links ]

13. Real E, Olea J, Ponsod V, Revuelta J. Abad F. Análisis de la dificultad de un test de matemáticas mediante un modelo componencial. Psicologica. 1999;20:121-34.        [ Links ]

14. Bravo AA, Fernández JV. La evaluación convencional frente a los nuevos modelos de evaluación auténtica. Psicothema. 2000;12:95-9.        [ Links ]

15. Camilloni AR. La calidad de los programas de evaluación y de los instrumentos que los integran [internet]. Buenos Aires: Paidos; 1998 [acceso 25 de agosto 2010]. Disponible en: http://misioneseduca. gov.ar/downloads        [ Links ]

 

---

Fecha de Recibido: 15 de abril de 2010. Fecha de Aprobado:14 de febrero de 2011.