Fiabilidad del Instrumento de Evaluación Neuropsicológica Breve Neupsilin

JOSIANE PAWLOWSKI*
MARIA ALICE DE MATTOS PIMENTA PARENTE**
DENISE RUSCHEL BANDEIRA***

* Psicóloga, Doctora en Psicología, Profesora Adjunta del departamento de Psicometría del Instituto de Psicología de la Universidad Federal de Rio de Janeiro, Instituto de Psicología. Av. Pasteur, 250. Bairro Urca. Rio de Janeiro, RJ, Brasil. CEP 22290-250.
E-mail: josipski@gmail.com

** Fonoaudióloga, Post-doctorado y Doctorado en Psicología, Profesora Visitante Senior (Programa CAPES/2012) y Colaboradora del Núcleo de Neuropsicolinguística del Programa de Posgrado en Psicología de la Universidad Federal de Rio Grande del Sur.
E-mail: mariaalicem.pimenta@gmail.com

*** Psicóloga, Doctora en Psicología, Profesora Asociada del Instituto de Psicología y Profesora del Programa de Posgrado en Psicología de la Universidad Federal de Rio Grande del Sur.
E-mail: deniserbandeira@gmail.com

Para citar este artículo: Pawlowski, J., Parente, M. A. M. P. & Bandeira, D. R. (2013). Fiabilidad del instrumento de evaluación neuropsicológica breve Neupsilin. Avances en Psicología Latinoamericana, 31 (1), pp. 62-70

Fecha de recepción: 1° de agosto de 2012
Fecha de aceptación: 24 de septiembre de 2012

La investigación examinó la fiabilidad del Instrumento de Evaluación Neuropsicológica Breve Neupsilin, desarrollado en Brasil. Participaron 102 hombres y mujeres brasileños, de 18 a 40 años de edad. Se evaluó la fiabilidad del test-retest del Neupsilin y de la corrección, por distintos evaluadores, de la prueba para evaluación de apraxia constructiva. Se analizaron los datos con: el test de correlación de Spearman, el coeficiente de correlación intraclase y el coeficiente alpha de Cronbach. Las habilidades de lenguaje, memoria, praxias y funciones ejecutivas presentaron las más altas correlaciones para los resultados del test-retest. Se encontró una concordancia de moderada a alta entre los correctores de la tarea de praxia constructiva. Los resultados indicaron fiabilidad temporal para las tareas evaluadas por el Neupsilin y fiabilidad del corrector para la tarea praxia constructiva. Se presentan sugerencias para perfeccionar las tareas y mejorar la fiabilidad y la validez de la prueba.

Palabras clave: valuación neuropsicológica, fiabilidad, validez

This study aimed to evaluate the reliability of Neupsilin Brief Neuropsychological Assessment Instrument, a brief battery developed in Brazil. Hundred two Brazilian man and women participated, from 18 to 40 years of age. It was evaluated the test-retest reliability of the Neupsilin tasks and the reliability of the correction of the constructional praxis task by different evaluators. The data were analyzed by Spearman's correlation, intraclass correlation and Cronbach's alpha. Language, memory, praxis and executive functions presented the highest correlations in the test-retest analyses. The agreement in the correction of the constructional praxis task was moderate to high. The results indicate temporal reliability of Neupsilin tasks and inter-rater agreement in the correction of the constructional praxis task. Suggestions to improve the tasks, the validity and reliability of Neupsilin were presented.

Keywords: neuropsychological assessment, reliability, validity

Este estudo teve como objetivo investigar a fidedignidade do Instrumento de Avaliação Neuropsicológica Breve Neupsilin, desenvolvido no Brasil. Participaram 102 homens e mulheres brasileiros de 18 a 40 anos. Examinou-se a fidedignidade do teste-reteste das tarefas do Neupsilin e a fidedignidade da correção, por diferentes avaliadores, das tarefas de praxia construtiva. Os dados foram analisados utilizando correlação de Spearman, coeficiente de correlação intraclasse e coeficiente alfa de Cronbach. As habilidades de linguagem, memória, praxia e funções executivas apresentaram as maiores correlações nas análises de teste e reteste. Foi encontrada uma concordância de moderada a alta entre os corretores da tarefa praxia construtiva. Os resultados indicaram a fidedignidade temporal para as tarefas do Neupsilin e a concordância entre avaliadores das tarefas de praxia construtiva. Sugestões para melhorar as tarefas, a validade e a fidedignidade do Neupsilin foram apresentadas.

Palavras chave: avaliação neuropsicológica, fidedignidade, validade

La neuropsicología investiga las disfunciones producidas por el cerebro lesionado a través de la medición válida y fiable de los trastornos cognitivos y de la conducta resultante del daño cerebral (Labos, Slachevsky, Fuentes & Manes, 2008; Lezak, Howieson & Loring 2004). El daño neurológico es mejor examinado por la combinación de diferentes técnicas de registro de la actividad cerebral (Maestú et ál., 2003). La evaluación de las funciones neuropsicológicas afectadas es conducida por entrevistas, cuestionarios y pruebas que examinan el comportamiento del paciente y complementan el examen neurológico (Strauss, Sherman & Spreen, 2006).

La evaluación neuropsicológica es utilizada para diagnosticar, acompañar la evolución del paciente, evaluar la eficacia de tratamientos y generar nuevos descubrimientos mediante investigaciones (Burin, Drake & Harris, 2007; Lezak et ál., 2004). Estas actividades son realizadas con pruebas fiables y estandarizadas para la población en la cual fueron desarrolladas. La evaluación breve más utilizada en Brasil es el Miniexamen del Estado Mental (Folstein, Folstein & McHugh, 1975), que fue adecuado para la población brasileña en diferentes investigaciones (Almeida, 1998; Brucki, Nitrini, Caramelli, Bertolucci & Okamoto, 2003). Esta herramienta, de función tipo screening, evalúa de manera rápida la presencia de déficit cognitivo, pero es insuficiente para una evaluación neuropsicológica completa.

Una investigación con una batería breve y que evalúa más funciones cognitivas que el Miniexamen del Estado Mental fue realizada en Brasil por Abrisqueta-Gómez, Ostrosky-Solis, Bertolucci y Bueno (2008). Este estudio examinó la aplicabilidad de una versión en portugués de Brasil de la batería Neuropsi y su eficacia para detectar deterioro cognitivo en pacientes con Alzheimer. La batería Neuropsi: Evaluación Neuropsicológica Breve en Español fue desarrollada en México por Ostrosky-Solís, Ardila y Rosselli (1999). Algunos estudios mostraron la influencia de las variables edad y escolaridad en las puntuaciones de la prueba y su validez para la población mexicana (Ardila, Ostrosky-Solis, Rosselli & Gómez, 2000; Ostrosky-Solís et ál., 1999). Otro test, la batería Neuropsi: Atención y Memoria, también fue desarrollado con normas para la población mexicana (Ostrosky-Solís et ál., 2007). Las variables cultura, edad y escolaridad pueden producir cambios en las puntuaciones de la pruebas neuropsicológicas.

Debido a la influencia cultural y la falta de una prueba neuropsicológica breve en Brasil, Fonseca, Salles y Parente (2008) desarrollaron el Instrumento de Avaliação Neuropsicológica Breve Neupsilin. La prueba evalúa e indica un perfil neuropsicológico reducido del paciente en las habilidades de orientación, atención, percepción visual, memoria, habilidades aritméticas, lenguaje, praxias y función ejecutiva. El Neupsilin está compuesto por 32 tareas cortas, con duración de aplicación de treinta a cuarenta minutos en personas sin patologías psiquiátricas o neurológicas. Investigaciones psicométricas indicaron la validez del contenido de la prueba (Fonseca et ál., 2008) y evidencias de validez de constructo y de criterio (Pawlowski, Fonseca, Salles, Parente & Bandeira, 2008).

Además de estos estudios psicométricos, es necesario evaluar si la prueba es fiable, es decir, si es estable tras una nueva aplicación en una población de individuos (AERA, APA & NCME, 1999; Martínez-Arias, Hernández-Lloreda & Hernández-Lloreda, 2006). La estabilidad del comportamiento de los individuos se refleja en los resultados de las pruebas. Sin embargo, algunos cambios en los resultados pueden ocurrir como consecuencia de variables que no se relacionan directamente con los propósitos de la evaluación. Los resultados de los instrumentos de medida incluyen cierta cantidad de errores generados por el examinador y por el contexto donde se aplica la prueba. Según Urbina (2007), la fiabilidad es "una cualidad de las puntuaciones de la prueba que indica que son útiles porque son suficientemente consistentes y están libres de errores de medida" (p. 147).

El objetivo de esa investigación fue evaluar la fiabilidad de las puntuaciones del Neupsilin. Fueron aplicados los procedimientos de análisis de fiabilidad: (a) correlación para evaluar el coeficiente de estabilidad temporal o test-retest, y (b) concordancia entre evaluadores o acuerdo entre correctores en la puntuación de la tarea Praxia Constructiva.

Participaron 102 brasileños de lengua materna portuguesa de Brasil, 51% hombres y 49% mujeres, con edades de dieciocho a cuarenta años (M=27.69; DT=6.45), y con escolaridad a partir de dos años (31.4% de dos a cuatro, 30.4% de cinco a ocho y 38.2% con nueve o más años de estudio formal). Todos los participantes residían en la región sur del país.

Para el análisis test-retest, una muestra de treinta participantes, elegidos por la técnica de conveniencia, respondieron una vez más a los instrumentos, diecisiete mujeres y trece hombres, con edades entre diecinueve y cuarenta años, un tercio de cada grupo de escolaridad. La media de edad entre los grupos no presentó diferencia significativa.

Para la selección de los participantes de la muestra, se consideró el criterio de la ausencia relatada por el participante de lesión cerebral, enfermedad cerebrovascular, epilepsia, enfermedad de Parkinson, internación psiquiátrica y demás condiciones neurológicas o psiquiátricas. Los participantes no presentaban: (a) uso actual de sustancias psicoactivas, (b) déficit en la capacidad intelectual y (c) síntomas de depresión por encima del nivel leve. Entre los participantes que tenían la costumbre de consumir alcohol y fumar, ninguno de ellos presentó problemas relacionados con el uso de alcohol o nivel grave de dependencia a la nicotina. Los criterios de déficit en la capacidad intelectual, síntomas de depresión, problemas relacionados al uso de alcohol y nivel grave de dependencia a la nicotina afectan los resultados de las pruebas neuropsicológicas. Por lo tanto, fueron excluidos participantes que presentaban alguna de estas condiciones, para minimizar el cambio en los resultados en una segunda evaluación por efecto de estas variables.

Para la evaluación de los criterios de inclusión de los participantes, fueron aplicados: (a) cuestionario de datos demográficos y de condiciones de salud (Pawlowski, 2007): investigó la presencia de condiciones neurológicas o psiquiátricas y uso de sustancias psicoactivas; (b) prueba de las matrices progresivas de Raven - escala general (Raven, Court & Raven, 1992), traducido y adaptado para Brasil por Campos (2003): evaluó la presencia de déficit en la capacidad intelectiva; (c) inventario de depresión de Beck (Beck & Steer, 1993), adaptado y validado para Brasil por Cunha (2001): evaluó la presencia de síntomas de depresión; (d) cuestionario CAGE (Ewing & Rouse, 1970), versión de Amaral y Malbergier (2004): evaluó problemas relacionados con el uso de alcohol; y (e) cuestionario de tolerancia de Fagerström (Fagerström & Schneider, 1989), versión de Marques, Campana, Gigliotti, Lourenço, Ferreira y Laranjeira (2001): evaluó la dependencia a la nicotina.

Las variables orientación, atención, percepción visual, memoria, habilidades aritméticas, lenguaje, praxias, funciones ejecutivas y sus componentes fueron evaluados por las 32 tareas del Instrumento de Evaluación Neuropsicológica Breve Neupsilin (Fonseca et ál., 2009), aplicados en el orden presentado en la tabla 1.

Se realizó un estudio de diseño cuasiexperimental, aprobado por el Comité de Ética de la Universidade Federal do Rio Grande do Sul, de Brasil, protocolo número de 2006530. Los participantes, seleccionados por la técnica de muestreo de conveniencia, firmaron un término de consentimiento. Los participantes que presentaban los criterios de inclusión fueron evaluados con el instrumento Neupsilin. Para el retest, los participantes fueron contactados en un tiempo no inferior a dos meses y no superior a siete meses (criterios establecidos para evitar los efectos de recuerdo por el aprendizaje o de cambios por el tiempo prolongado para la segunda evaluación). Treinta participantes fueron testados nuevamente con el Neupsilin y el inventario de depresión de Beck (para excluir individuos que podrían presentar depresión en el retest), después del intervalo de tiempo medio de cuatro meses (M=4.7 meses; DT=1.8).

Para los análisis de concordancia entre evaluadores, un primer corrector examinó las tareas de praxias conctructivas de los 102 participantes. De esa evaluación, resultaron 38 casos que podrían tener la influencia de la subjetividad del corrector. Eses casos fueron puntuados por otros dos correctores.

Para la evaluación de la fiabilidad de los resultados en la comparación del test-retest, se aplicó la correlación de puestos de Spearman. Para evaluar la fiabilidad de la corrección de la tarea praxia constructiva, es decir, la concordancia en la puntuación de los dibujos por tres correctores, se utilizaron los coeficientes de correlación intraclase y el alpha de Cronbach.

En el análisis test-retest, el coeficiente de correlación de Spearman fue: (1) alto para el resultado total de Neupsilin (rs=.83) y las funciones lenguaje (rs=.81), memoria (rs=.70), praxias (rs=.86) y funciones ejecutivas (rs=.87); (2) moderado para orientación (rs=.50), percepción (rs=.58) y habilidades aritméticas (rs=.56) y (3) bajo para atención (rs=-.10). La tabla 2 presenta los valores mínimos y máximos obtenidos en las tareas e indica los valores de la correlación y del nivel crítico para los resultados del test y retest de todas las tareas. Las tareas que presentaron las correlaciones más altas fueron: memoria semántica de largo plazo, lenguaje escrito - escritura dictada, praxia constructiva y fluidez verbal.

En la evaluación de la concordancia entre tres correctores de las tareas de praxia constructiva, los coeficientes de correlación intraclase fueron de moderados a altos: ICC=.73 (p<.01) para la corrección del dibujo del cuadrado, ICC=.81 (p<.01) para la corrección del dibujo de la flor, ICC=.91 (p<.01) para la corrección del dibujo del cubo y ICC=.80 (p<.01) para la corrección del dibujo del reloj. Los resultados del coeficiente alpha de Cronbach de los tres correctores en la evaluación de los dibujos fue de .73 para el cuadrado, de .93 para la flor, de .97 para el cubo y de .92 para el reloj.

Los análisis indicaron estabilidad temporal para los resultados de la mayoría de las pruebas del Neupsilin. También se ha verificado la concordancia de evaluadores en la corrección de la tarea praxia constructiva. Las tareas de lenguaje de escritura dictada y fluidez verbal presentaron las correlaciones más altas para los resultados del test-retest. Estas tareas envuelven recursos consolidados en la memoria semántica y que requieren inteligencia cristalizada. Según Carrol (1993), la inteligencia cristalizada se asocia a los conocimientos adquiridos y a la inversión en experiencias de aprendizaje. Las habilidades más consolidadas en la memoria tienden a ser repetidas de la misma manera en evaluaciones subsecuentes, lo que puede haber determinado las correlaciones más altas en el análisis test-retest de estas habilidades. Para algunas de las tareas evaluadas, el test estadístico no realizó el cálculo de correlación pues la variabilidad de los resultados fue muy baja y los resultados se repitieron de manera muy similar en las dos evaluaciones. A continuación se discuten los resultados de correlación para algunas de las habilidades evaluadas por el Neupsilin.

Para orientación, fue encontrada poca variabilidad de los resultados en la tarea de orientación espacial. La correlación moderada para el resultado del test-retest para la suma de las tareas de orientación espacial y orientación temporal indica que la medición de la habilidad de orientación es fiable.

Para la función atención, en la tarea de repetición de secuencia de dígitos se necesita el empleo de la capacidad atencional y de memoria verbal inmediata (Ostrosky-Solís & Lozano, 2006). En la aplicación del Neupsilin no se permite un entrenamiento con secuencias más pequeñas de dígitos. De ese modo, se verificó la dificultad de los participantes para reproducir el mismo padrón de respuesta cuando fueron sometidos a la segunda evaluación. El bajo coeficiente de correlación en esta tarea puede también haber ocurrido por motivos relacionados con la aplicación, tales como ruidos del local donde se aplicó la prueba o diferencias en la velocidad de presentación de los estímulos por el evaluador. La atención es una habilidad muy susceptible a distractores del ambiente pues su proceso implica la alerta, la orientación, la focalización, la exploración, la concentración o la vigilancia y la inhibición de respuestas automáticas (Estévez-González, García-Sánchez & Junqué, 1997).

Para las tareas de la función lenguaje, la correlación muy baja encontrada para la tarea de comprensión escrita y escritura espontánea, además de la ausencia del cálculo estadístico para las tareas de nominación y comprensión oral, están relacionadas con la facilidad de las tareas. Fue observada una tendencia al acierto máximo en esas tareas. Además de eso, las tareas comprensión oral y comprensión escrita presentaban opciones de respuesta representadas por imágenes, lo que aumenta las oportunidades de acierto. La tarea de repetición, a pesar de ser fácil, requiere la habilidad de discriminación auditiva (percepción) y atención auditiva (Musiek & Chermak, 2007) sin la presencia de un facilitador visual, lo que puede haber ocasionado más variabilidad de respuestas y el nivel de correlación más alto.

En lo que se refiere a las tareas de praxias, la constructiva presentó la correlación más alta, lo que puede ser explicado por la mayor variabilidad de sus resultados. Para la tarea praxia ideomotora, casi la totalidad de aciertos de los participantes indica su facilidad y justifica el resultado muy bajo de la correlación. Dificultades en tareas simples de praxia ideomotora suelen ocurrir en pacientes con lesiones en el lóbulo parietal inferior izquierdo o en el cuerpo calloso, o en fases avanzadas de deterioración neural (Cappa, 2001; Wheaton & Hallett, 2007).

Para la tarea resolución de problemas, se verificó, en la aplicación de la prueba, más dificultad en la resolución del segundo problema: "La manzana es más grande que la naranja. ¿Cuál fruta es la más pequeña de las dos?". Por lo tanto, se sugiere la alteración de su instrucción, incluyendo la frase: "Conteste a la pregunta según la afirmación". Se espera el aumento de la fiabilidad a partir de la sugerencia de modificación en la instrucción de esta tarea.

En la evaluación de la concordancia de los correctores en la puntuación de la tarea praxia constructiva fueron encontrados índices de fiabilidad altos para los resultados de la copia de la flor y moderados para los dibujos del cuadrado, cubo y reloj. Según Urbina (2007), en este tipo de análisis se esperan correlaciones altas y positivas de .90, lo que sugiere una proporción de error de 10 % debido a las diferencias entre correctores. Algunos criterios de corrección fueron modificados después de esa evaluación y ejemplos de los dibujos fueron sugeridos para el manual de las normas de corrección de esas tareas, para facilitar su corrección.

Se resalta que la fiabilidad test-retest del resultado total del Neupsilin fue de .83. En el análisis psicométrico del instrumento de evaluación neuropsicológica Neuropsi para la población mexicana (Ostrosky-Solís et ál., 1999), fue encontrada una fiabilidad test-retest de .89 para el resultado total. El resultado semejante para el Neupsilin indica la tendencia de consistencia del instrumento.

Esta investigación presentó la fiabilidad temporal de las tareas del Neupsilin y de evaluadores en la prueba de praxias constructivas. Nuevos estudios deben ser realizados con el Neupsilin para confirmar su validez, tales como análisis factorial confirmatorio y evaluación de grupos clínicos. Además de normas que indiquen las diferencias en las puntuaciones del Neupsilin por edad y escolaridad, deben llevarse a cabo estudios con otras variables de interés; por ejemplo, la influencia de los hábitos de lectura y escritura en las tareas del Neupsilin.

Abrisqueta-Gómez, J., Ostrosky-Solis, F., Bertolucci, P.H.F. & Bueno, O.F.A. (2008). Applicability of the Abbreviated Neuropsychologic Battery (Neuropsi) in Alzheimer disease patients. Alzheimer Disease & Associated Disorders, 22 (1), 72-78.         [ Links ]

Almeida, O. P. (1998). Mini Exame do Estado Mental e o diagnóstico de demência no Brasil. Arquivos de Neuropsiquiatria, 56 (3B), 605-612.         [ Links ]

Amaral, R. A. & Malbergier, A. (2004). Avaliação de instrumento de detecção de problemas relacionados ao uso do álcool (CAGE) entre trabalhadores da Prefeitura do Campus da Universidade de São Paulo (USP) - Campus Capital. Revista Brasileira de Psiquiatria, 26(3),156-163.         [ Links ]

American Educational Research Association, American Psychological Association & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, D. C.: AERA.         [ Links ]

Ardila, A., Ostrosky-Solís, F., Rosselli, M. & Gómez, C. (2000). Age related cognitive decline during normal aging: The complex effect of education. Archives of Clinical Neuropsychology, 15(6), 495-513.         [ Links ]

Beck, A. T. & Steer, R. A. (1993). Manual for the Beck depression inventory. San Antonio, TX, Psychological Corporation.         [ Links ]

Brucki, S. M. D., Nitrini, R., Caramelli, P., Bertolucci, P. H. F. & Okamoto, I. H. (2003). Sugestões para 0 uso do Mini-exame do estado mental no Brasil. Arquivos de Neuropsiquiatria, 61 (3-B), 777-781.         [ Links ]

Burin, D. I., Drake, M. A. & Harris, P. (2007). Evaluación neuropsicológica en adultos. Buenos Aires: Paidós.         [ Links ]

Campos, F. (2003). Teste das Matrizes Progressivas -Escala Geral. Rio de Janeiro: CEPA.         [ Links ]

Cappa, S. F. (2001). Cognitive neurology: An introduction. London: Imperial College Press.         [ Links ]

Carrol, J. B. (1993). Human cognitive abilities: A survey of factor-analytic studies. New York: Cambridge University Press.         [ Links ]

Cunha, J. A. (2001). Escalas Beck. São Paulo: Casa do Psicólogo.         [ Links ]

Estévez-González, A., García-Sánchez, C. & Junqué, C. (1997). La atención: una compleja función cerebral. Revista de Neurología, 25 (148), 1989-1997.         [ Links ]

Ewing, J. A. & Rouse, B. A. (1970). Identifying the hidden alcoholic. In Program and abstracts of the 29^th International Congress on Alcohol and Drug Dependence. Sidney, Australia.         [ Links ]

Fagerström, K. O. & Schneider, N. G. (1989). Measuring nicotine dependence: A review of the Fagerstrom Tolerance Questionnaire. Journal of Behavioral Medicine, 12 (2), 159-182.         [ Links ]

Folstein, M.F., Folstein, S.E. & McHugh, P. R. (1975). Mini-Mental State: A practical method for grading the cognitive state of patients for clinician. Journal of Psychiatry Research, 12, 189-198.         [ Links ]

Fonseca, R.P., Salles, J.F. & Parente, M.A.M.P. (2009). Instrumento de Avaliação Neuropsicológica Breve Neupsilin. São Paulo, Brasil: Vetor.         [ Links ]

Fonseca, R.P., Salles, J.F. & Parente, M.A.M.P. (2008). Development and content validity of the Brazilian Brief Neuropsychological Assessment Battery Neupsilin. Psychology & Neuroscience, 1(1), 55-62.         [ Links ]

Labos, E., Slachevsky, A., Fuentes, P. & Manes, F. (2008). Tratado de neuropsicología. Buenos Aires: Librería Akadia Editorial.         [ Links ]

Lezak, M. D., Howieson, D. B. & Loring, D. W. (2004). Neuropsychological assessment. New York: Oxford Univertsity Press.         [ Links ]

Maestú, F., Quesney-Molina, F., Ortiz-Alonso, T., Campo, P., Fernández-Lucas, A. & Amo, C. (2003). Cognición y redes neurales: una nueva perspectiva desde la neuroimagen funcional. Revista de Neurología, 37, 962-966.         [ Links ]

Marqués, A. C. P. R., Campana, A., Gigliotti, A. P., Lourenço, M. T. C., Ferreira, M. P. & Laranjeira R. (2001). Consenso sobre o tratamento da dependência de nicotina. Revista Brasileira de Psiquiatría, 23 (4), 200-214.         [ Links ]

Martínez-Arias, M. R., Hernández-Lloreda, M. V. & Hernández-Lloreda, M. J. (2006). Psicometría. Madrid: Alianza Editorial.         [ Links ]

Musiek, F. E. & Chermak, D. D. (2007). Handbook of (central) auditory processing disorders: Auditory neuroscience and clinical diagnosis. San Diego, USA: Plural Publishing.         [ Links ]

Ostrosky-Solís, F. & Lozano, A. (2006). Digit span: Effect of education and culture. International Journal of Psychology, 41(5),333-341.         [ Links ]

Ostrosky-Solís, F., Ardila, A. & Rosselli, M. (1999). Neuropsi: A brief neuropsychological test battery in Spanish with norms by age and educational level. Journal of the International Neuropsychological Society, 5, 413-433.         [ Links ]

Ostrosky-Solís, F., Gómez-Pérez, E., Matute, E., Rosselli, M., Ardila, A. & Pineda, D. (2007). Neuropsi attention and memory: A neuropsychological test battery in Spanish with norms by age and educational level. Applied Neuropsychology, 14 (3),156-170.         [ Links ]

Pawlowski, J. (2007). Evidências de validade e fidedignidade do Instrumento de Avaliação Neuropsicológica Breve Neupsilin. Tesis de maestria no publicada, Programa de Pós-Graduação em Psicologia, Instituto de Psicologia, Universidade Federal do Rio Grande do Sul. Porto Alegre, RS.         [ Links ]

Pawlowski, J., Fonseca, R.P., Salles, J.F., Parente, M.A.M.P. & Bandeira, D.R. (2008). Evidências de validade do Instrumento de Avaliação Neuropsicológica Breve Neupsilin. Arquivos Brasileiros de Psicologia, 60 (2), 101-16.         [ Links ]

Raven, J. C., Court, J. H. & Raven, J. (1992). Standard progressive matrices. Manual. Oxford: Oxford Psychologists Press.         [ Links ]

Strauss, E., Sherman, E. M. S. & Spreen, O. A. (2006). A compendium of neuropsychological tests: administration, norms, and commentary. New York: Oxford University Press.         [ Links ]

Urbina, S. (2007). Claves para la evaluación con tests psicológicos (A. S. Kaufman & N. L. Kaufman, trad.). Madrid: TEA Ediciones (publicado originalmente en 2004).         [ Links ]

Wheaton, L. A. & Hallett, M. (2007). Ideomotor apraxia: A review. Journal of the Neurological Sciences, 260,1-10.         [ Links ]