Introducción
El presente artículo reporta el proceso de diseño y validación del instrumento de evaluación de la calidad narrativa (ECAN), cuyo objetivo es permitir la valoración de relatos ficticios producidos de manera oral y espontánea en un campo interdisciplinario. En estudios basados en la teoría del apego, es común partir de las características de los relatos creados por madres, padres e infantes, para generar inferencias sobre sus representaciones mentales de apego y sus patrones de apego (Román, 2011). Tal es el caso de las experiencias de investigación realizadas a través de la prueba psicológica Attachment Script Assessment (ASA) de Waters y Rodrigues-Doolabh (2004), con la cual se busca determinar el nivel de manifestación del guion de la base segura (GBS) en personas adultas.
El GBS es una representación mental del apego que resulta de las experiencias tempranas afectivas y sociales de infancia con las figuras de cuidado. Según Waters y Waters (2006), este guion constituye un conocimiento implícito que se activa en la mente de la persona durante el desarrollo de la tarea de contar historias, relativas a situaciones en que uno de sus personajes está en una circunstancia problemática y requiere apoyo y protección. El GBS prototípico para estos autores es una secuencia de eventos con ocho componentes: 1) la persona está inmersa en la realización de una tarea o actividad, 2) un reto o dificultad se le presenta, que perturba la actividad o le genera ansiedad; 3) la persona hace señales comunicativas, buscando apoyo en la figura de apego; 4) Esta figura de apego reconoce la señal y responde de manera consistente con el mensaje; 5) el apoyo es aceptado por la persona; 6) el apoyo dado es efectivo para resolver el reto o dificultad, y favorece la regulación emocional; 7) la figura de apego tranquiliza a la persona, y 8) la persona retoma la actividad o inicia una nueva.
Por su parte, el ASA es un instrumento diseñado con el propósito de evaluar las diferencias individuales respecto al acceso al GBS. Este es un procedimiento de palabras evocadoras para elaborar cuatro historias basadas en contenidos relacionados con el apego. Dos historias para adultos se focalizan en relaciones románticas (el accidente y el paseo de campamento de Juana y Roberto) y dos en relaciones madre-niño (la mañana del bebé y la visita al doctor). Además, se aplican otras dos historias no relacionadas con contenidos que pudieran desencadenar narrativas relacionadas con el apego, cuyo propósito es establecer la validez discriminante del instrumento (Waters y Rodrigues-Doolabh, 2004).
El ASA se ha constituido en uno de los instrumentos más utilizados para la indagación sobre las representaciones mentales de apego adulto y mediante él se han obtenido importantes hallazgos, como afirmar que las madres que hacen más evidente la base segura realizan relatos de mayor calidad (Vaughn et al., 2007).
Sin embargo, desde este tipo de estudios psicológicos, observamos que para la valoración de los relatos se tiende a utilizar categorías propias de los estudios del lenguaje sin suficientes bases lingüísticas y pragmáticas; se usan indistintamente términos como “narrativa”, “historia” y “relato”, “coherencia” y “cohesión”, y se ha llegado a asociar la calidad narrativa con el nivel de manifestación del GBS. Si bien desde la textolingüística se sabe que la calidad de un relato implica la presencia de estructuras semánticas coherentes (Van Dijk, 1977; 1992), estas no necesariamente tienen que corresponder al GBS. Por lo tanto, el instrumento aquí presentado y evaluado operacionaliza la calidad narrativa desde una perspectiva lingüística y pragmática, con el fin de proporcionar una base sólida que respalde los análisis psicológicos que se desprenden de la utilización del ASA.
Antecedentes
Es en el campo educativo en el que más se ha hecho uso de teorías lingüísticas y pragmáticas para la evaluación de textos narrativos en función de valorar las habilidades narrativas. Se han propuesto varias formas de operacionalizar la medición de dicho discurso, con criterios diversos en torno al concepto de calidad. El énfasis sobre la causalidad, medida por medio de respuestas inferenciales correctas, ha llevado a diversos autores a utilizar este tipo de estrategias para evaluar inclusive la calidad de las narraciones en niños de prescolar (Muñoz-Muñoz y Ocaña, 2017; Van den Broek et al., 2017). Existe también una aproximación basada en la estructura del texto como indicador de calidad en los textos narrativos. Se ha propuesto evaluar la competencia narrativa mediante la presencia/ausencia de referencias temporales y espaciales, personajes o cuasipersonajes, o su coherencia, entre otros componentes narrativos (Gutiérrez-Romero y Escobar-Altare, 2020; Sant et al., 2014), o la comprensión, medida a través del diálogo, los sentimientos, la predicción y el tema (Silva y Cain, 2015).
En América Latina, se encuentra un uso profuso de rúbricas para la evaluación de las narrativas escritas, dejando de lado, sin embargo, la producción oral. La rúbrica se define como una herramienta válida para el proceso de enseñanza-aprendizaje, que ayuda a definir y explicar a los estudiantes lo que se espera que aprendan, y con qué criterios y niveles de dominio va a ser valorada su ejecución (Stevens y Levi, 2004). No obstante, se ha hecho mayor énfasis en las competencias que definen la calidad de las narrativas escritas que la orales, operacionalizando el concepto por medio de criterios de experticia y descriptores de logro (Benítez y Sotelo, 2013) o criterios referidos a las dimensiones de organización, contenido y aspectos gramaticales (Montanero et al., 2014).
En torno a las narraciones orales, se ha propuesto evaluar la calidad de los relatos a partir de la medición de competencias comunicativas, analizándolas a través de niveles ordinales y tomando en consideración la autoevaluación y la coevaluación (Valbuena y Valbuena, 2012), o estableciendo un índice de complejidad narrativa, mediante el examen de la presencia/ausencia de elementos narrativos (Bustos y Crespo, 2014). En estos estudios, se puede entrever el fuerte acento que se da a la producción escrita, pues esta se asocia necesariamente a logros académicos y a una variedad de criterios interdisciplinares para evaluar la calidad de las narraciones, sin tener en cuenta necesariamente la propuesta disciplinar de las ciencias del lenguaje. En este campo, tal vez el autor que más ha inspirado la creación de instrumentos de evaluación de textos escritos es Teun van Dijk, sobre todo por la aproximación interdisciplinaria que hizo con Walter Kintsch en función de explicar la comprensión y la producción de textos escritos (Kintsch y Van Dijk, 1978; Van Dijk y Kintsch, 1983), a partir del rol de la memoria en el procesamiento textual.
Marco teórico
Es necesario aclarar tres términos que ya forman parte del arsenal de conocimiento de los estudios del lenguaje: “narrativa”, “historia” y “relato” (Genette, 1989). El término “narrativa” hace referencia a un género discursivo particular. En general, los géneros discursivos implican la asociación de una estructura textual específica (formato o molde) a una intención comunicativa concreta, como informar o convencer, entre otras.
La categoría “superestructura” surge de la asociación entre intenciones comunicativas y textos o discursos que comparten patrones estructurales similares (Van Dijk, 1992). Se trata de estructuras textuales globales, que se aprenden culturalmente y se instalan en la mente del hablante como esquemas cognitivos estables, con una fuerza ilocucionaria específica, independientemente del contenido a que se haga referencia. Dichos esquemas se activan a la hora de producir y comprender textos de acuerdo con la intención comunicativa. La superestructura narrativa, en particular, implica la integración de una serie de eventos que se agrupan en función de una trama cuya resolución es inminente y genera aprendizajes. Por lo tanto, todo texto narrativo debe describir eventos que resulten interesantes en virtud de una complicación que obliga a la realización, por parte de los actores, de acciones conducentes a su resolución, independientemente de si termina bien o mal. La superestructura narrativa es tal vez el esquema mental más potente que se interioriza como consecuencia de la interacción social sostenida con los seres cercanos. Para el caso de esta investigación, entendemos que la coherencia pragmática implica, en buena medida, que el texto valorado corresponda a un formato narrativo y que sea evidente la intención de compartir un mensaje relacionado con una reflexión o una moraleja.
El término “historia” es el contenido proposicional o significado del texto (Van Dijk, 1992). Es lo que se cuenta, los eventos o acontecimientos específicos que configuran la trama, la cual involucra a personajes concretos, con unos estados emocionales particulares, que son objeto de tematización y reflexión. Esta puede reconstruirse cronológicamente, independientemente de cómo la cuente el narrador.
Con los términos “macroestructura” y “microestructura” (Van Dijk, 1992) se hace referencia al significado del texto (la historia, en el caso de los textos narrativos) y a partir de estos se puede valorar su coherencia semántica. Esta última es una propiedad semántica, en la que se consideran las relaciones lógicas entre el significado de las proposiciones del texto, las cuales se expresan mediante oraciones, simples o compuestas (coherencia local), y el significado general del mismo (coherencia global), que emerge de las relaciones semánticas entre dichas proposiciones.
Para explicar estos dos niveles de coherencia y su relación, se proponen las categorías “microestructura” y “macroestructura”, respectivamente. En ese marco, la coherencia global en un texto narrativo se evidencia cuando el relato narra una historia verosímil y lógica dentro del mundo posible creado, a la cual se le pueda asignar un tema o asunto que englobe a todas las proposiciones de la secuencia narrativa que contiene. Por su parte, la coherencia local implica que las proposiciones (eventos) que contiene la secuencia narrativa se concatenan adecuadamente con base en algún tipo de relación temporal y lógica (causa-consecuencia, finalidad, comparación, condición, oposición, concesión, entre otras). En el mismo sentido, en tanto texto o discurso, el relato debe ser un significante idóneo para expresar su coherencia. Lo anterior implica tener en cuenta el criterio de cohesión textual, entendido como la unión y la relación de las ideas del texto por medio de mecanismos lingüísticos formales. Dentro de dichos mecanismos encontramos pausas/signos de puntuación, conectores, palabras de referencia, sinónimos, antónimos, etc., que sirven al narrador para expresar esas relaciones de significado local y global del relato (Van Dijk, 1992).
Ahora bien: es la presencia del narrador como decisión del autor lo que nos aproxima al término “relato”, entendido como la forma como se cuenta esa historia (Genette, 1989). Este implica un posicionamiento, una o varias voces desde las cuales se habla, las perspectivas desde las que se anidan los acontecimientos en función de los mensajes que el autor desee comunicar. Con base en estos, la historia se cuenta de una manera y no de otra; los eventos no necesariamente aparecen en orden cronológico; se usan ciertos recursos lingüísticos y se abandonan otros. Esto último nos permite conectar con el tema de la retórica, que considera el uso de recursos literarios -como epítetos, metáforas, hipérboles, onomatopeyas, sinécdoques, analogías, comparaciones, personificaciones, hipérbaton, oxímoron, alegorías, eufemismos, ironía y diálogo directo, entre otros-, que, en general, aparecen en el texto para hacer más evidente la intención comunicativa y el mensaje o sentido específico que desea compartir el enunciador del relato.
Así las cosas, el relato es un acto de enunciación (Genette, 1989), que se produce en un contexto general (contexto global) y particular (contexto de situación) concretos, y a través del cual se materializa la historia. En ese sentido, la coherencia pragmática del relato también implica que la dimensión retórica sea coherente con la superestructura narrativa.
En síntesis, para la evaluación de la calidad narrativa de un relato, son pertinentes las categorías “coherencia pragmática”, “coherencia global”, “coherencia local”, “cohesión textual” y “coherencia retórica”.
Con base en lo anterior, podemos inferir que de la forma como se cuente la historia, el relato, es posible extraer información acerca de los esquemas narrativos o representaciones mentales del hablante, más allá de lo que se cuente en sí. Esto permite valorar la importancia de lo que Genette (1993) llama “relatos ficcionales” -o “narrativas artificiales”, en términos de Stubbs (1987)-, a la hora de estudiar las representaciones mentales, los esquemas o los guiones, en el sentido planteado por Schank y Abelson (1977), como estructuras de conocimiento que contienen secuencias de eventos conectados causalmente en situaciones específicas que subyacen, en este caso, al acto de relatar.
A diferencia de las narrativas naturales o factuales, que son informales y surgen de manera espontánea y no planificada en las conversaciones cotidianas, las artificiales/ficcionales son planeadas, inventadas e implican procesos introspectivos importantes (Genette, 1993; Stubbs, 1987).
Ahora bien, para el caso del proceso investigativo que se reporta en este documento y en virtud del corpus trabajado, es necesario aclarar que los relatos inventados con el ASA son hechos por personas no expertas en creación literaria, sin un proceso prolongado de planeación ni introspección profunda, pero que portan la superestructura narrativa, toda vez que se asume que, al crearlas, los hablantes activan ese molde, esquema o formato general, como parte de su conocimiento lingüístico y pragmático, que ha pasado a su memoria procedimental y se activa en forma automática ante la necesidad de comunicarse narrativamente.
A la luz de este trasfondo teórico, en este artículo se busca respuesta a la pregunta: ¿cómo valorar la calidad narrativa de relatos espontáneos generados en contextos artificiales como los que se crean con el ASA? El objetivo general es la elaboración de un instrumento en formato de rúbrica que permita la evaluación de la calidad de relatos orales ficticios. Los objetivos específicos son 1) establecer los criterios de evaluación para la valoración de la calidad narrativa de relatos orales ficticios; 2) diseñar un instrumento que operacionalice los criterios establecidos para la evaluación de la calidad de relatos orales ficticios, y 3) validar el instrumento, en términos de la confiabilidad respecto de su consistencia interna, la concordancia intercodificadores y la validez de contenido. La concordancia intercodificadores es una técnica de carácter estadístico para estimar la fiabilidad de las codificaciones entre diferentes observadores.
Método
El proceso de diseño e implementación del instrumento ECAN se realizó en varias fases, que contemplan tanto elementos de revisión teórica como de metodología investigativa.
Primera fase: determinación de criterios de evaluación
Desde el marco teórico ya discutido, se asumió que una narrativa de calidad debe cumplir con los criterios de coherencia pragmática, coherencia global, coherencia local y cohesión adecuada para expresar la coherencia, y el uso de figuras retóricas para reforzar la intención comunicativa asociada a la superestructura narrativa. La calidad de un texto se aumenta cuando aquel que relata aumenta la capacidad expresiva al poner en funcionamiento el ornatus retórico; en ese sentido “su uso” es primordial.
Para la operacionalización del criterio de coherencia pragmática, se siguió el prototipo de secuencia narrativa de Adam (1992), el cual incluye seis proposiciones: proposición (Pn) 1, situación inicial u orientación; Pn2, complicación o desencadenante 1; Pn3, reacción(es) o evaluación; Pn4, resolución o desencadenante 2; Pn5, situación final; PnΩ, moraleja.
Para identificar la coherencia global, se observó si el relato narra una historia verosímil y lógica dentro del mundo posible creado a partir de las fichas/historias del ASA; si este era creíble y no exhibía contradicciones. Para determinar la coherencia local, se observó el grado de concatenación de los eventos.
Con respecto a la cohesión, se focaliza la mirada en el grado o nivel de uso adecuado de mecanismos de cohesión, como conectores y palabras, para expresar la coherencia local.
En relación con la parte retórica, se puso énfasis especial en qué tanto se exhibe en el relato el uso de figuras literarias, en función de hacer más evidente la intención comunicativa.
Segunda fase: cuantificación de variables cualitativas
Se realizó el proceso de cuantificación de las variables cualitativas, el cual permitió que el instrumento generara puntuaciones en una escala numérica, que representaban una variable cualitativa (Nunnally y Bernstein, 1995). Es decir, se optó por emplear una escala ordinal, cuyo objetivo era asignar un número que representara propiedades de sistemas no numéricos. Tres procedimientos fueron necesarios para ello: 1) identificar las categorías de análisis para cada uno de los criterios en que se dimensiona la calidad narrativa; 2) asignar puntos para cada componente cualitativo narrativo, con el fin de evaluar el nivel de elaboración desarrollado de cada componente en las narrativas, y 3) establecer una ponderación para cada componente narrativo, en relación con la totalidad de los elementos que configuran una narrativa.
En el proceso de cuantificación, se asignó una puntuación en una escala de 0 a 3 puntos a cada componente cualitativo narrativo, donde 0 expresa un nivel nulo de desarrollo y 3 indica el grado máximo de desarrollo; por lo tanto, los puntos de la escala corresponden con el grado de desarrollo de cada componente. La Tabla 1 da cuenta de la descripción cualitativa de cada componente narrativo.
Componentes | Criterios de valoración cualitativa y cuantitativa | Ponderación | |
---|---|---|---|
Coherencia pragmática | Si el discurso emitido no corresponde a una narrativa | 0 | 0,40 |
Si el discurso emitido es una narrativa básica, compuesta por Pn1, Pn2, Pn4 | 1 | ||
Si el discurso emitido es una narrativa compuesta por Pn1, Pn2, Pn3, Pn4, P5, pero no contiene PnΩ | 2 | ||
Si el discurso emitido corresponde a una narrativa completa: P1, P2, P3, P4, P5, PΩ | 3 | ||
Coherencia global | Si a la historia relatada no se le puede asignar un tema que englobe todas las proposiciones, no es creíble y exhibe contradicciones | 0 | 0,30 |
Si a la historia relatada se le puede asignar un tema que englobe todas las proposiciones, aunque no sea creíble y exhiba contradicciones | 1 | ||
Si a la historia relatada se le puede asignar un tema que englobe todas las proposiciones y cumpla con ser creíble o no exhibir contradicciones | 2 | ||
Si a la historia relatada se le puede asignar un tema que englobe todas las proposiciones, es creíble y no exhibe contradicciones | 3 | ||
Coherencia local | Si los eventos no se narran de manera concatenada | 0 | 0,15 |
Si se evidencia poca concatenación entre los eventos narrados | 1 | ||
Si se evidencia concatenación adecuada entre la mayoría de los eventos narrados | 2 | ||
Si los eventos del relato se narran de manera concatenada | 3 | ||
Cohesión | Si no se usan de manera adecuada elementos de cohesión para expresar la coherencia local | 0 | 0,10 |
Si predomina el uso inadecuado de elementos de cohesión para expresar la coherencia local (la mayoría de las veces es inadecuado) | 1 | ||
Si predomina el uso adecuado de elementos de cohesión para expresar la coherencia local (la mayoría de las veces es adecuado) | 2 | ||
Se evidencia uso adecuado de elementos de cohesión para expresar la coherencia local | 3 | ||
Figuras retóricas | Si el relato no incluye figuras retóricas que den pistas sobre la intencionalidad del autor | 0 | 0,05 |
Si el relato utiliza figuras retóricas, pero estas no permiten inferir la intencionalidad del autor | 1 | ||
Si en el relato aparecen figuras retóricas que permiten inferir la intencionalidad del autor | 2 | ||
Si en el relato se utiliza figuras retóricas que hacen muy evidente la intencionalidad del autor | 3 |
En el proceso de ponderación para cada componente cualitativo narrativo, el equipo de investigación realizó una discusión teórica, desde la cual se logró determinar el valor de ponderación para cada componente en relación con el grado de importancia que comporta para desarrollar una narrativa completa y de calidad. Así, la coherencia pragmática es el componente que obtuvo mayor ponderación, con 0,40 (sobre 1 como el 100 %), en la medida en que se consideró que este es el elemento por medio del cual se hace evidente que el sujeto, al contar una historia, reflexiona sobre el orden de los acontecimientos narrados, los cuales dan significado a la experiencia humana (Ricoeur, 2006).
A la coherencia global se le asignó una ponderación de 0,30 (sobre 1 como el 100 %), puesto que es por medio de este componente que se puede evaluar que los relatos sean verosímiles y sea posible identificar el tema que comprende todas las proposiciones que configuran este componente narrativo. Es decir, esta ponderación se configura en el segundo componente más importante para evaluar los relatos, dado que engloba y hace creíble la historia que se narra.
La coherencia local cuenta con una ponderación de 0,15 (sobre 1 como el 100 %). Se toma este puntaje porque, mediante este componente, se evalúa un aspecto que corresponde con un elemento más interno en el desarrollo del relato en relación con su construcción, es decir, se determina el grado de concatenación que adquieren las proposiciones para que la narrativa logre un desarrollo adecuado, en vínculo con el tiempo, el espacio y sea lógica.
Al componente de cohesión se le asignó una ponderación de 0,10 (sobre 1 como el 100 %). Esta ponderación obedece al que la coherencia se concibe como un elemento que responde más a la habilidad lingüística que tiene el sujeto que narra para usar mecanismos lingüísticos, que permiten que el relato esté organizado de forma coherente. En relación con la totalidad de los componentes que determinan la narrativa, este corresponde con un aspecto más de organización que de contenido de las narrativas.
Finalmente, la ponderación del uso de las figuras retóricas es de 0,05 (sobre 1 como el 100 %). Dicha ponderación cuenta con menor valoración en la ponderación total de la narrativa, porque se enfoca en evaluar el uso de las figuras literarias, en función de lograr enriquecer la forma de narrar para lograr expresar la intensión comunicativa (véase Tabla 2).
Para el desarrollo de las fases de evaluación del instrumento se tomaron relatos pertenecientes a tres proyectos de investigación: González-Romero et al. (2016-2017), Carbonell Blanco et al. (2013-2016) y Posada et al. (2007-2013).
Tercera fase: evaluación piloto
Luego, se realizó una primera evaluación piloto, con el fin de conocer el comportamiento inicial del instrumento. Las narrativas que hicieron parte de esta fase las produjeron 46 madres, con edad promedio de 29 años (media -M- = 29,86; desviación estándar -DE- = 6,93; Mín. = 19; Máx. = 45). Su estado civil al momento de la entrevista era: casada (17), soltera (4) y unión libre (25). Su promedio de escolaridad era de 13 años (M = 13; DE = 3,7; Mín. = 5; Máx. = 20), cuyo rango máximo fue posgrado finalizado, y el mínimo fue básica primaria finalizada. El estrato socioeconómico era máximo 5 (la escala ordinal en Colombia es de 6 niveles) y el mínimo era 1; la moda se ubicaba en el estrato 3 (N = 19).
La asignación de puntos para cada componente se realizó de forma individual e independiente por parte de cada miembro del equipo; luego, se discutieron y negociaron grupalmente los puntajes que tuvieron diferencias significativas en la asignación de puntos. Así se puso a prueba la concordancia intercodificadores en cada componente de las narrativas evaluadas, entendiéndose esta concordancia como el grado en que dos o más evaluadores están de acuerdo sobre la puntuación para cada componente
Cuarta fase: evaluación intercodificadores
Se realizó la aplicación del instrumento a una muestra de narrativas producidas por 10 madres con características sociodemográficas similares a las participantes en la prueba piloto. De tal forma, el instrumento evaluó la calidad narrativa de las 6 historias producidas por cada persona, para un total de 60 historias evaluadas. Cada historia fue evaluada por 2 codificadores de forma individual e independiente. Así pues, la distribución de las historias por díadas de evaluadores se realizó de forma rotativa y aproximadamente 20 historias por díada (díada 1, codificadores 1-2; díada 2, codificadores 2-3, y díada 3, codificadores 1-3).
Según Campo-Arias y Herazo (2010), la concordancia entre dos evaluadores puede ser real o producto del azar; el uso del coeficiente kappa de Cohen permitió examinar el efecto del azar en la proporción de la concordancia observada en esta fase de aplicación del ECAN.
En la Tabla 2 se puede observar que la concordancia intercodificadores en la coherencia pragmática tiende a ser moderada; en la coherencia global y local es casi perfecta; en la cohesión oscila entre considerable y casi perfecta, y en figuras retóricas es perfecta. Lo anterior refleja un alto grado de confiabilidad intercodificadores en la calificación del instrumento a través del ECAN.
Categorías | Concordancia intercodificadores por historia | K Total | |||
---|---|---|---|---|---|
Mañana bebé | Visita doctor | Accidente | Campamento | ||
Coherencia pragmática | 0,67 | 0,60 | 0,60 | 0,40 | |
Coherencia global | 0,90 | 0,90 | 1,0 | 1,0 | |
Coherencia local | 0,90 | 0,90 | 1,0 | 1,0 | |
Cohesión | 0,90 | 0,90 | 0,67 | 1,0 | |
Figuras retóricas | 1,0 | 1,0 | 1,0 | 1,0 | |
K por historia | 0,87 | 0,84 | 0,85 | 0,88 | 0,841 |
Fuente: elaboración propia.
Se empleó el coeficiente alfa de Cronbach para estimar la consistencia interna, con valores satisfactorios establecidos en valores mayores que 0,7 (Celina y Campo, 2005). Para analizar la estabilidad del instrumento, se utilizó el coeficiente interclase (ICC); valores por debajo de 4 indicaban una baja fiabilidad; entre 0,4 y 0,74 eran de moderada a buena, e igual o mayor que 0,75 indicó una fiabilidad excelente. Todos los análisis inferenciales se llevaron a cabo con un nivel de significación de al menos 5 % (α = 0,05). En la totalidad de las categorías de análisis del ECAN se encontró una consistencia interna adecuada, con un alfa de Cronbach por encima de 0,7 (véase Tabla 3).
Componentes | Consistencia interna | Confiabilidad entre evaluadores |
---|---|---|
Alfa de Cronbach | icc | |
Coherencia pragmática | 0,713 | 0,605* |
Coherencia global | 0,777 | 0,554* |
Coherencia local | 0,747 | 0,646* |
Cohesión | 0,717 | 0,510** |
Fig. retóricas | 0,843 | 0,728* |
ICC: Coeficiente interclase.
*p < 0,001,
**p < 0,01.
Fuente: Elaboración propia.
El ICC permite afirmar que la variabilidad total de la puntuación se explicaba por la verdadera variabilidad del discurso de las madres participantes y no por las diferencias de criterio entre los dos evaluadores.
Corpus y análisis
Para este estudio se contó con 124 narrativas creadas por las 46 madres participantes. Los datos se procesaron utilizando el paquete estadístico SPSS versión 26, cuya licencia posee la Pontificia Universidad Javeriana. Con este, se realizaron cuatro tipos de análisis: 1) estadísticos descriptivos, para establecer las tendencias generales de las categorías de análisis del ECAN; 2) para conocer la distribución de las variables se utilizó la prueba de normalidad Kolmogorov-Smirnov para una muestra; 3) chi cuadrado (χ2) para establecer la asociación de cada historia del ASA con los valores obtenidos por cada historia, y 4) pruebas de Kaiser-Meyer-Olkin (KMO) y de esfericidad de Bartlett, para verificar el ajuste de los datos al modelo teórico lingüístico propuesto.
Criterios éticos
En todos los casos, las personas aceptaron participar de manera voluntaria y firmaron el consentimiento informado de acuerdo con los criterios del Ministerio de Salud de Colombia, Resolución 8430 de 1993, “por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud”, y lo establecido por la normativa de la institución para trabajar con sujetos humanos.
Los tres proyectos de donde provienen las muestras fueron aprobados por los comités de investigación y ética de las Facultades de Comunicación Social y Lenguaje y Psicología de la Pontificia Universidad Javeriana.
Resultados
Los promedios de las categorías de los componentes del perfil narrativo y el total del perfil narrativo se presentan en la Tabla 4.
Categorías | Total del perfil narrativo | |||||
---|---|---|---|---|---|---|
Total coherencia pragmática | Total coherencia global | Total coherencia local | Total cohesión | Total figura retórica | ||
Media | 0,163 | 0,175 | 0,083 | 0,05 | 0,020 | 0,481 |
Desviación estándar | 0,139 | 0,133 | 0,063 | 0,04 | 0,010 | 0,372 |
Fuente: elaboración propia.
Para conocer la distribución de las variables, se utilizó la prueba de normalidad Kolmogorov-Smirnov para una muestra, la cual fue de 0,227 para el total de perfil narrativo (p < 0,001), hallándose que la variable difiere de una distribución normal. Dado que la variable bajo estudio no tiene distribución normal de los datos, y con el fin de establecer la asociación del tipo de historia con los valores del perfil narrativo, se utilizó la prueba estadística χ2. En el análisis fueron considerados como estadísticamente significativos los valores con un nivel de confianza del 95 %, teniendo en cuenta p ≤ 0,05. Se encontró que no hay diferencias significativas entre los puntajes totales obtenidos en cada perfil narrativo para el tipo de historia (χ2 = 170,02; p = 0,279 > 0,05) salvo en cohesión (χ2 = 12,38; p > 0,05). Se puede concluir, entonces, que los puntajes del perfil narrativo de las participantes no cambian significativamente en función de la historia utilizada para medirlos.
Con respecto a los componentes del perfil narrativo y su relación con el tipo de historia, se utilizó igualmente la prueba χ2, hallándose que la historia afecta significativamente la coherencia pragmática (χ2 = 85,14; p = 0,001 < 0,05), la coherencia global (χ2 = 51,07; p = 0,001 < 0,05), la coherencia local (χ2 = 48,20; p = 0,001 < 0,05) y el total de cohesión (χ2 = 48,20; p = 0,001 < 0,05). A diferencia de lo anterior, el uso de figuras retóricas no se afecta por la historia (χ2 = 170,02; p = 0,279 > 0,05). Esta variación por historia, sin embargo, no impacta significativamente el total del perfil narrativo por historia como se definió anteriormente en el párrafo anterior.
Una vez realizados los análisis exploratorios de la información recolectada por medio de las narrativas y previa verificación de la ausencia de datos perdidos, se utilizó el análisis de conglomerados (clústeres en SPSS), el cual es un conjunto de técnicas multivariantes utilizadas para clasificar a un conjunto de individuos en grupos homogéneos. El análisis de conglomerados supone unos grupos desconocidos a priori, pero cuya identificación es precisamente lo que se desea determinar (referencia). En este se introdujo, como variable dependiente, la puntuación de las calificaciones otorgadas a las 4 historias de cada madre desde la perspectiva narrativa.
Se aplicaron las pruebas de KMO y de esfericidad de Bartlett para verificar el ajuste de los datos al modelo teórico lingüístico propuesto. El valor de adecuación de KMO fue significativo y bueno (KMO = 0,859 p < ,001), y la prueba de esfericidad fue de χ2 = 1026,598, con p < 0,001. Para explorar la relación entre los diferentes relatos, se aplicó un análisis bietápico de conglomerados (clústeres), el cual permite seleccionar automáticamente el número óptimo de conglomerados, tratando al mismo tiempo variables continuas y categóricas, a diferencia de otras técnicas de conglomerados (véase Figura 1).
A partir de aquí, se realizó un análisis para el grupo completo (véase Tabla 5). Las características cualitativas de cada grupo en relación con los perfiles son las siguientes:
Conglomerado 1 (48 relatos): todos los relatos que hacen parte de este conglomerado exhiben una estructura narrativa completa, en el sentido en que contienen una situación inicial de presentación, descripción de los actores y el marco (P1); una complicación, que modifica el estado precedente y desencadena el relato (P2); una reacción, evaluación mental o acción por parte de quienes, de una u otra forma, han sido afectados por la complicación (P3); una resolución o nuevo elemento modificador, que surge como reacción a P3 (P4); una situación final, donde se establece un estado nuevo y diferente del primero (P5); una moraleja o evaluación final, que da sentido a la secuencia de modo explícito o implícito (PΩ).
Así mismo, las narrativas de este perfil exhiben coherencia global, porque atienden al tópico propuesto, son creíbles y no tienen contradicciones. Además, todas dan cuenta de una coherencia local adecuada, porque todos o la mayoría de los eventos narrados se presentan de manera concatenada y en ellos se pone en evidencia siempre -o casi siempre- un uso apropiado de elementos de cohesión.
También se utilizan figuras retóricas que permiten inferir o hacen muy evidente la intencionalidad del autor.
Conglomerado 2 (43 relatos): los relatos que conforman este perfil no dan cuenta de una estructura narrativa completa, porque ninguno tiene PΩ. Además, algunos de los relatos solo desarrollan P1: situación inicial de presentación, descripción de los actores y el marco; P2: una complicación que modifica el estado precedente y desencadena el relato; y P4: una resolución o nuevo elemento modificador.
En relación con la coherencia global, aunque casi la mitad de los relatos atienden al tópico, son creíbles y no exhiben contradicciones, la otra mitad solo cumplen dos de los tres criterios señalados. En este perfil, aunque hay relatos que en la coherencia local presentan concatenación adecuada entre los eventos narrados, también aparecen narrativas donde hay poca concatenación.
Con respecto a la cohesión, hay una variedad de valoración en este aspecto, pero la tendencia es que aunque haya un uso adecuado de los elementos de cohesión, también se presentan narrativas donde predomina un uso inadecuado.
Finalmente, el empleo de las figuras retóricas, la mayoría de las veces no permite inferir la intencionalidad del autor y, en algunos casos, tampoco hay claves que permitan hacer dicha inferencia.
Conglomerado 3 (33 relatos): lo configuran aquellos textos que no son considerados narrativas, porque no presentan una trama representada, por lo menos, en una situación inicial, una complicación y una resolución o elemento modificador de la situación inicial. Se trata de textos, no discursos, a los que no subyace una intencionalidad comunicativa coherente con el género narrativo, sino, más bien, una enumeración de eventos concatenados o no, que lo que buscan es cumplir el requisito de usar algunas de las palabras evocadoras o desencadenantes del GBS para cumplir la tarea que se propone desde el ASA.
Variable conglomerada | Conglomerado 1 (N = 48) | Conglomerado 2 (N = 43) | Conglomerado 3 (N = 33) | |||
---|---|---|---|---|---|---|
M | DE | M | DE | M | DE | |
Perfil narrativo | 0,85 | 0,17 | 0,56 | 0,11 | 0,01 | 0,01 |
Fuente: elaboración propia
Esta presentación de conglomerado evidencia que la rúbrica bajo análisis permite distinguir desempeños diversos y agruparlos coherentemente, no solo desde lo cuantitativo, como se ha puesto de manifiesto, sino que también tiene una relación de correspondencia legible con los análisis cualitativos.
La naturaleza de la discusión teórica presentada al inicio de este documento permite caracterizar estructuralmente los conglomerados y darles un sentido disciplinar desde la lingüística, haciendo de la rúbrica un instrumento potente para identificar no solo la calidad de los relatos ficticios, sino además para interpretar el trasfondo de la producción discursiva inherente cuando se suscita la aparición del GBS en dichos relatos.
Discusión y conclusiones
En este estudio se tuvo como objetivo general la elaboración de un instrumento en formato de rúbrica que permita la evaluación de la calidad de relatos orales ficticios. Los resultados dan cuenta de que el instrumento posibilita el análisis de la calidad narrativa de los relatos ficticios tanto cuantitativa como cualitativamente, permitiendo desglosar la naturaleza cualitativa del discurso, como también la significatividad de sus diferencias desde una perspectiva cuantitativa.
En cuanto al primer objetivo, se observa que los criterios finalmente escogidos responden a la necesidad de diferenciar las sutilezas entre los conceptos de narrativa, historia y relato, de tal forma que los cinco criterios seleccionados -coherencia pragmática, coherencia global, coherencia local, cohesión y figuras retóricas- responden a una mirada amplia de los aspectos que componen la compleja naturaleza del concepto calidad narrativa y superan formas parciales de análisis, en las cuales la calidad se mide solamente a través de la cohesión y la coherencia, y su capacidad para establecer elementos de conexión en los textos (Díaz Oyarce, 2019), o de la presencia/ausencia de dimensiones que provienen tanto de la lingüística como de la didáctica (Villalustre y Del Moral, 2014).
La discusión sobre qué evaluar cuando se analiza el discurso narrativo no es evidente en la literatura, en especial en sus aplicaciones pedagógicas o didácticas. Existen trabajos donde se propone una característica fundamental de un discurso de calidad como la “descontextualización”, pero sin definir su naturaleza (Merino, 2017), o donde se afirma que existen criterios para seleccionar un texto en función de su “calidad”, sin mencionarlos explícitamente (Cabré, 2016). Se avanza en esta investigación al identificar una influencia diferencial de los distintos componentes del discurso narrativo en los relatos finales del corpus.
Acerca del segundo objetivo, la operacionalización que se hizo de cada uno de los criterios permitió identificar diferencias más sutiles con respecto a su cumplimiento, de tal suerte que se supera la idea dicotómica de simplemente señalar si se cumple o no el criterio. Así las cosas, el criterio de coherencia pragmática permite distinguir entre aquellos textos que portan la superestructura narrativa (relatos conglomerados 3 y 2), de aquellos que son meras enumeraciones de eventos a los que no subyace una intencionalidad comunicativa de compartir un mensaje relacionado con una reflexión o un aprendizaje moralizador (relatos conglomerados 1). De esta forma, se establece la diferencia entre lo que es un discurso narrativo y un texto en que se enumeran hechos, que, aunque puede ser coherente y cohesivo, no se constituye en el relato de una historia.
El criterio de coherencia global, que apunta a valorar el relato respecto a la historia narrada, permite identificar el grado de pertinencia de la información suministrada, en cuanto a su valor para reflejar la verosimilitud de la historia según la lógica del mundo posible creado y la posibilidad de que los eventos referidos sean parte constitutiva de la trama. Gracias a esto, se puede señalar la presencia de información o eventos extraños -no pertinentes en el sentido planteado- que constituyen disrupciones y generan incoherencia. Lo anterior se evidenció en buena parte de los relatos del conglomerado 2, casi la mitad, en los que la presencia de información o eventos no relevantes afectaba el cumplimiento de por lo menos uno de los criterios mencionados, lo que se refleja también en puntajes bajos e intermedios en el criterio de coherencia local. Pareciera ser que la intromisión de eventos poco relevantes tuviera algún tipo de relación con quiebres en la lógica de la concatenación entre eventos y con el grado de cohesión del relato.
Finalmente, el tercer objetivo específico fue validar el instrumento en términos de su confiabilidad respecto de su consistencia interna, la concordancia intercodificadores y la validez de contenido. Los resultados pusieron de manifiesto que se alcanza una alta consistencia interna, una confiabilidad intercodificadores muy significativa y una validez de contenido significativa. Esto muestra que, con el entrenamiento adecuado, el ECAN permite una evaluación de relatos sin sesgos y errores de evaluación, siendo su uso confiable. En el mismo sentido de lo propuesto por Montanero et al. (2014), el índice de fiabilidad, obtenido por el coeficiente kappa de Cohen, es adecuado para calcular la fiabilidad de las rúbricas que analizan desempeños narrativos.
La mirada que se adoptó sobre el objeto de estudio de este artículo permitió la selección y el uso coordinado de categorías pragmáticas (coherencia pragmática y uso de figuras retóricas) y lingüísticas (coherencia semántica global y local, y cohesión) como criterios de evaluación para la valoración de la calidad narrativa de relatos orales ficticios. Lo anterior enriqueció el uso de la rúbrica, permitiendo analizar una cantidad considerable de relatos (184) con un detalle mayor que otras investigaciones, donde se ha privilegiado solamente el estudio de la superestructura discursiva y su posibilidad de proveer calidad informativa (Machado et al., 2018; Salazar-Villanea, 2020).
Vinculado a lo anterior, el uso del ECAN permite un estudio mucho más amplio del concepto de calidad narrativa, al asumir el reto de poner en evidencia su complejidad, superando así la limitación tradicional en este tipo de estudios de analizar solamente aspectos superficiales de carácter gramatical y ortográfico (Fernández et al., 2019). También permitió asumir su evaluación con el uso de escalas ordinales, diferentes a las distinciones básicas y prácticamente rudimentarias, como insuficiente/suficiente/bien/muy bien, utilizadas en otro estudio (Montanero y Madeira, 2019), o analizar más que la sola coherencia y la cohesión como únicos indicadores de calidad narrativa (Babaei et al., 2019).
Si bien la creación del ECAN obedeció a la necesidad de valorar la calidad narrativa de relatos maternos creados con el instrumento psicológico ASA, a partir de criterios puramente lingüísticos y pragmáticos, independientemente de si estos reflejan o no el GBS, surtido el proceso de diseño, es posible señalar algunos puntos de contacto entre los criterios seleccionados para la valoración de los relatos con el ECAN y algunos de los utilizados desde otros instrumentos para describir representaciones mentales de apego (Moya et al., 2018; Román, 2011). La identificación de los temas predominantes en las narrativas, su coherencia y la organización del discurso, claramente se refieren a aspectos captados con el criterio de coherencia (global, local). En el mismo sentido, la función reflexiva frente a los hechos relatados se identifica en buena medida (Ortiz-Granja et al., 2019) con el criterio de coherencia pragmática, toda vez que atiende a esos momentos de orientación y valoración que se consideran en la P3 y PΩ.
Se puede predecir que un relato generado con el ASA, que evidencie el GBS, 1) tendrá mayor calidad, porque de por sí estará reflejando una narrativa, en el sentido de que mostrará una situación normal en que se da una complicación (percepción de peligro y búsqueda de ayuda), que se resuelve con la ayuda de otra persona (resolución); y 2) será coherente, porque su estructura (macro y micro) será susceptible de ser interpretada con el GBS. En ese sentido, se asegura la coherencia pragmática, global y local, lo cual también ha sido planteado por Köber et al. (2019) y Waters et al. (2017). Sin embargo, lo mismo puede decirse de relatos que exhiben otro u otros tipos de macroestructuras, que incluso puede(n) ser opuesto(s) al GBS. Estos últimos son perfectamente reconocibles con el ECAN.
En tanto el ECAN es un instrumento que valora los relatos como objetos lingüísticos y pragmáticos, se asume que es aplicable a textos generados de manera oral y espontánea en general. No obstante, en este estudio, el corpus trabajado correspondió únicamente a textos producidos en el contexto del ASA. Así las cosas, sería necesario realizar estudios empíricos con muestras de textos no producidos con dicho instrumento, para explorar la generalización mencionada.
En coherencia con lo anterior, es recomendable, en futuros estudios, ampliar el tamaño de la muestra, de acuerdo con lo planteado por diversos autores en estudios en psicolingüística (Arízaga et al., 2019; Crismán-Pérez, 2016; Luna et al., 2016), para quienes las diferencias en el tamaño de las muestras resultan cruciales para la generalización de los resultados y el estudio de la utilidad de los hallazgos en aplicaciones posteriores.
En tanto se asume que un relato de calidad con una macroestructura clara no necesariamente tiene que manifestar el GBS, es necesario estudiar la posible incidencia de factores extralingüísticos en la calidad de los relatos; por ejemplo, aquellos relacionados con la formación educativa de quienes los producen (Nóblega et al., 2017), las condiciones de aplicación del ASA en el momento de levantar el corpus, la adaptación que se haya hecho al mismo con base en particularidades culturales, entre otros.