Una discusión integral de los errores detectados tendría que analizar el porqué de los mismos, lo cual se dificulta por tratarse de eventos relacionados con conductas académicas, más que con fenómenos naturales y por la forma en que se colectó la información. Es posible mencionar algunos eventos que, combinados entre sí o de manera aislada, son determinantes en dicho proceso. El problema puede tener origen en una deficiente formación en la aplicación de los métodos estadísticos, lo cual a su vez podría deberse a un inadecuado enfoque de las correspondientes asignaturas o a la poca conciencia por parte del estudiante de la importancia de tales herramientas para su transcurrir académico en la Universidad y su posterior desempeño profesional. Estos errores podrían, asimismo, estar asociados con la inadecuada o inexistente asesoría estadística, así como con un deficiente seguimiento de las instrucciones suministradas en una adecuada asesoría estadística. A partir de la revisión de los informes finales, no les es posible a los autores de este estudio determinar cuáles de las anteriores circunstancias aplican a cada trabajo.

Además, en los casos en los que las conclusiones no corresponden con los resultados del método estadístico, no es posible discernir si se trata de errores involuntarios por parte del estudiante o de un desconocimiento de la adecuada interpretación de los resultados.

Por lo anterior, la presente discusión se centra en ilustrar las implicaciones de los principales errores detectados y en brindar recomendaciones en muchos de los casos, más que en el porqué de los mismos. En tal sentido, no se discuten los métodos en los cuales no se detectaron errores, ni aquéllos donde el error consistió en incluir resultados que no se analizaron o en no presentar resultados del método utilizado. Esta última situación también fue encontrada por Olsen 2003, en 14 % de los artículos revisados en la revista Infection and Immunity.

El hecho de que en 3 de los 5 programas evaluados, los trabajos con al menos un error superaran los trabajos en los que no se detectaron errores y que en general casi la mitad de los trabajos evaluados (49,2 %) contenía al menos un error, constituye una alerta para estudiantes, directores de trabajos y jurados, pues la veracidad del conocimiento que se generó a través de tales trabajos se vio afectada, no haciéndose un uso óptimo de la información en los casos más favorables, o llegando a conclusiones totalmente incorrectas en los casos más extremos.

Aunque estos resultados son inferiores a los hallados por otros autores en estudios similares, ello no significa que la situación sea menos preocupante, sólo evidencia que no se trata de un problema local. Kanter y Taylor 1994, al revisar 57 artículos de la revista Transfusion, encontraron que el 75 % de los mismos presentaba algún tipo de error estadístico; MacArthur y Jackson 1984, quienes evaluaron 114 artículos del Journal of Infectious Diseases, encontraron que un 95 % de los mismos presentó algún tipo de error estadístico. Los resultados más similares serían los de Olsen 2003, quien encontró errores en al menos la mitad de los 141 artículos revisados en la revista Infection and Immunity.

Teniendo en cuenta el compromiso de la Universidad con la comunidad y los importantes recursos invertidos en el desarrollo de los trabajos, se hace urgente tomar acciones correctivas que eviten la continuación de tal situación y que den validez externa a la producción académica de la Facultad.

Estadística descriptiva. Al evaluar el uso de medidas de resumen, se encontró que en algunos trabajos en los que se incluyeron medidas de tendencia central, éstas no se acompañaron con al menos una medida de dispersión. Aunque el uso aislado de una medida de tendencia central no se considera erróneo per se, ésta debe ir acompañada por un estadístico de dispersión siempre que ello sea posible, con el fin de describir de manera más completa el conjunto de datos. Esta carencia puede deberse al hecho de que las medidas de tendencia central, a diferencia de las medidas de dispersión, tienen una interpretación más directa, aún por aquellas personas que tomaron sus cursos de estadística hace mucho tiempo.

Los errores relacionados con las medidas de tendencia central y de dispersión se asocian con el uso indiscriminado de la media y la varianza sin tomar en consideración algunas características de los datos, como la escala de medición y la simetría de los mismos.

Al evaluar características medidas en escala ordinal, resulta inadecuado utilizar la media y la desviación estándar como medidas de resumen, pues dado que en este tipo de variables la distancia entre los diferentes niveles o categorías no es constante, la media aritmética no refleja la verdadera tendencia central de los datos. Consecuentemente, la desviación estándar tampoco resulta adecuada, por ser una medida basada en la media. En estos casos, deben usarse la mediana y la desviación mediana como medidas de resumen.

Aunque los estadísticos de forma se utilizan frecuentemente como valores de referencia para inferir sobre la distribución normal de un conjunto de datos, no se recomienda su uso aislado para tal fin; en estos casos es preferible utilizar una prueba formal de bondad de ajuste. Una aplicación adecuada y poco frecuente de los estadísticos de forma, en particular del coeficiente de asimetría, es orientar sobre la medida de tendencia central más adecuada para el conjunto de datos, pues la media, que es la medida de tendencia central más utilizada, sólo resulta adecuada cuando no se presenta una asimetría muy marcada; en caso contrario, se recomienda el uso de la mediana. Por lo anterior, se sugiere usar siempre el coeficiente de asimetría como guía para la elección de la medida de tendencia central (y, en consecuencia, de dispersión) más adecuada.

En lo que a las herramientas gráficas de la estadística descriptiva se refiere, existen dos figuras que por su forma a menudo son confundidas: los histogramas de frecuencias y los diagramas de barras. Los histogramas de frecuencias se usan cuando se tienen variables cuantitativas; en éstos las barras son adyacentes y su ubicación corresponde con el orden intrínseco de la variable. Los diagramas de barras se deben utilizar cuando se tienen variables cualitativas; en éstos las barras están separadas y su ubicación no responde a un orden particular. El uso de un histograma para la caracterización de una variable cualitativa podría generar la falsa idea de continuidad de dicha variable.

Una situación detectada cuando se hacía uso de métodos descriptivos consistió en hacer afirmaciones propias de la estadística inferencial, sin usar las herramientas propias de ésta. Cabe recordar que para generalizar a las poblaciones los comportamientos de las muestras que las representan, no basta con reportar la magnitud de las diferencias observadas; deben usarse métodos inferenciales, los cuales permiten cuantificar la probabilidad de error de las aseveraciones realizadas.

 El uso de la aproximación normal para obtener intervalos de confianza del parámetro p de una población binomial resulta especialmente inadecuado cuando el tamaño de la muestra es pequeño. En tales casos, lo más adecuado es obtener el intervalo de confianza exacto, usando la distribución binomial. De manera general, dada la actual disponibilidad de herramientas tecnológicas, se recomienda obtener en todos los casos el intervalo de confianza a partir de la distribución exacta.

Tras calcular medidas de resumen para variables ordinales (mediana y desviación mediana), no es adecuado construir intervalos de confianza para los parámetros µ y σ. Lo anterior resulta más evidente si se tiene en cuenta que µ y σ son los parámetros de una distribución normal, la cual resulta inadecuada para modelar fenómenos medidos en escala ordinal. Olsen 2003, también menciona esta situación en artículos médicos, donde se usaron métodos que requerían la distribución normal de los datos y éstos tenían una distrbución sesgada.

Regresión simple.  Uno de los errores detectados obedece a que existe la creencia de que la significancia de un modelo de regresión lleva implícito el buen ajuste del mismo. Esto, desde luego, no es cierto, ya que la significancia de un modelo de regresión lineal simple sólo indica la presencia de un efecto lineal significativo, pero no da ninguna información acerca de posibles efectos cuadráticos.

Otro error frecuente en el uso de los modelos de regresión es utilizarlo para predecir valores de la variable respuesta a partir de valores de la variable predictora que están por fuera de la región usada para ajustar el modelo. Esta acción no es recomendable, ya que el comportamiento de un fenómeno en una región determinada no garantiza que dicha tendencia se mantenga por fuera de la misma, lo cual puede causar que las estimaciones así realizadas estén bastante alejadas de la realidad.

Uno de los supuestos para el análisis de regresión es la homocedasticidad. Ésta sólo puede evaluarse de manera objetiva cuando se tienen repeticiones de los valores de la variable independiente. En caso contrario, que es lo más frecuente, este supuesto se evalúa a través del gráfico de residuales estandarizados; aún así, este procedimiento a menudo es omitido. Cuando las varianzas no son homogéneas, no es posible obtener un estimador adecuado de la varianza promedio de las subpoblaciones de la variable dependiente para cada nivel de la variable independiente, razón por la cual la inferencia realizada en tales situaciones resulta inadecuada.

El uso de modelos de regresión múltiple para predecir valores de la variable dependiente a menudo conlleva extrapolaciones, las cuales tienen las mismas implicaciones anotadas para el caso de regresión simple. Su detección, sin embargo, no es tan directa, pues no es suficiente que los valores usados para la predicción estén incluidos en el rango de valores usado para cada una de las variables independientes, sino que tendría que verificarse que la combinación evaluada esté en una región que haya sido usada para el ajuste del modelo.

Exceptuando aquellos casos en los cuales deba respetarse el principio de jerarquía, un modelo final de regresión sólo debe contener términos significativos, pues de lo contrario se estaría viciando el modelo con relaciones inexistentes, las cuales afectarían la capacidad predictiva del mismo, así como la estimación de los coeficientes de regresión, que miden el grado de asociación entre las demás variables independientes y la variable respuesta.

Para el caso de los modelos de regresión, el principio de jerarquía mencionado anteriormente establece que si un término de orden k resulta estadísticamente significativo, el modelo deberá contener todos los términos de orden inferior a k, aunque éstos no sean significativos. Este principio también es aplicable a aquellos modelos que incluyen interacciones significativas, en cuyo caso el modelo deberá incluir cada uno de los términos involucrados en la interacción, aun si éstos no son significativos.

Una situación ya mencionada en el contexto de diseño de experimentos, consistente en el uso de medidas repetidas en el tiempo sobre una misma unidad experimental, aparece también en el contexto de regresión, con las mismas implicaciones allí anotadas (en este caso se habla de autocorrelación de errores). Además de verse afectada cada lectura por los valores registrados en los tiempos anteriores, lo que va en contra del supuesto de independencia, los modelos ajustados carecerían de validez externa, es decir, que no podrían utilizarse para describir el comportamiento de la población, pues en realidad se habría modelado el comportamiento de unos individuos.

Como su nombre lo indica, el coeficiente de correlación lineal simple sólo es adecuado para caracterizar relaciones lineales entre variables, por lo que resulta erróneo el uso del mismo para caracterizar otros tipos de relaciones. Por lo anterior, al evaluar correlación entre dos variables, se recomienda acompañar el uso del coeficiente de correlación con el correspondiente gráfico de dispersión.

Por lo anterior, la no significancia del coeficiente de correlación sin el correspondiente diagrama de dispersión no podrá interpretarse como ausencia de relación entre las dos variables. Sólo podría decirse que no existe relación lineal  entre las mismas.

Al representar una clasificación jerárquica de individuos por medio de dendrogramas, la escogencia de los grupos, para un método de agrupamiento dado, debe estar acorde con la medida de similitud/disimilitud elegida. Si bien pueden plantearse diferentes agrupamientos dependiendo del nivel de detalle establecido, una vez que éste se elija, deberá usarse para todas las agrupaciones dentro de ese nivel de detalle. No es adecuado, por tanto, al usar métodos de clasificación jerárquica, fusionar subgrupos cuya disimilitud sea mayor que la existente entre otros grupos declarados como diferentes.

Otros.  Al plantear el esquema de muestreo para la caracterización de una variable, la presencia de condiciones que puedan afectar su comportamiento, generando subpoblaciones, hace necesario el uso de un esquema de muestreo acorde, esto es, un muestreo estratificado. El uso del esquema de muestreo aleatorio simple en tales casos desaprovecha el conocimiento de tales relaciones, haciendo ineficiente y posiblemente sesgada la caracterización de la variable de interés.

En este trabajo se definieron una serie de falencias conceptuales, carencias y violaciones evidentes a los supuestos, al aplicar métodos estadísticos. Todos éstos fueron tratados y discutidos con el nombre genérico de “errores”. En casi la mitad de los trabajos evaluados (49,2 %) se detectó al menos un error. A nivel de pregrado, en Ingeniería Forestal se observó el menor porcentaje de trabajos con al menos un error; mientras que el mayor porcentaje fue observado en Ingeniería Agrícola. El porcentaje de errores es similar en los trabajos de Ingeniería Agronómica y en los de Zootecnia; en ambos casos, tal porcentaje es cercano al 60 %.

Muchos de los errores se originaron en la poca claridad sobre el papel de la estadística como herramienta para la consecución de los objetivos planteados en los trabajos, lo cual se reflejó en que éstos incluyeran resultados estadísticos que en nada contribuían al cumplimiento de los objetivos, en que se omitieran resultados relevantes para su satisfacción y/o en que habiéndose generado resultados pertinentes, no se les diera discusión alguna.

El principal error detectado en el uso de los métodos de estadística descriptiva consistió en obtener medidas de resumen no adecuadas para la naturaleza de los datos, ya fuera por que éstos presentaban sesgo o porque se midieron en escala ordinal.

En inferencia para una población, se detectó que a pesar de la actual disponibilidad de herramientas tecnológicas que facilitan la obtención del intervalo de confianza exacto para el parámetro p de una población binomial, se sigue obteniendo el intervalo de confianza mediante la aproximación a la distribución normal, lo cual resulta más inadecuado cuando el tamaño de muestra es pequeño.

Los errores encontrados en los trabajos en los que se aplicaron métodos de inferencia estadística para los parámetros de una y de dos poblaciones, pueden resumirse en uso inadecuado de la aproximación normal. En algunos de los trabajos revisados en esta investigación se obtuvieron intervalos de confianza con base en dicha aproximación, sin tener en cuenta el tamaño de muestra; en otro caso, se usó tal aproximación para modelar variables ordinales, generando incluso intervalos de confianza para µ y σ.

Entre los errores detectados al usar métodos de regresión, los principales estaban relacionados con el no cumplimiento de supuestos tales como homocedasticidad e independencia. Con menor frecuencia se presentaron modelos definitivos con términos no significativos y la extrapolación de conclusiones por fuera del área analizada, además del uso de modelos de línea recta para modelar asociaciones evidentemente curvilíneas.

El principal error detectado en el uso de coeficientes de correlación tuvo que ver con su uso como prueba de causalidad. En un solo trabajo se identificó su uso para caracterizar una relación no rectilínea.

Como recomendación general, se considera necesario concientizar al estudiante sobre la importancia del adecuado dominio de los métodos estadísticos. Este proceso debe emprenderse desde el principio de la carrera, involucrando, no sólo a los miembros de la Sección de Bioestadística, sino a todos los encargados de las asignaturas donde se requiera el uso de tales métodos.

Específicamente, se considera oportuno que en la asignatura Bioestadística I se haga más énfasis en el capítulo de inferencia estadística, especialmente en lo relativo a pruebas de hipótesis, lo cual podría hacerse a expensas de disminuir el énfasis dado a la unidad de álgebra de probabilidades, limitando ésta a la presentación de las definiciones básicas y de las distribuciones de probabilidad más usadas.

En relación a la asignatura Bioestadística II, se considera innecesario continuar incluyendo en el programa el diseño de cuadrado latino, dado su poco uso. En cambio debe incluirse información relacionada con el análisis de medidas repetidas en el tiempo.

Aunque al momento de realizar el censo no existían trabajos de la Maestría en Ciencias Agrarias, se considera que sus tesis podrían exhibir errores similares a los detectados en los demás programas de la Facultad, dado que las interacciones entre estudiantes, profesores, directores y jurados son, asimismo, similares. Por tanto, el curso de Métodos Estadísticos para la Investigación, manteniendo sus particularidades, deberá enfocarse también en prevenir sobre los errores más frecuentemente encontrados.

Se considera muy importante la participación de los directores de trabajos de grado y tesis en una revisión más detallada de la metodología estadística, con la realización de las correspondientes consultas especializadas cuando la situación lo amerite. Con base en los correctivos que se sugieran, podrían optimizarse los recursos invertidos en los trabajos, obteniéndose la mayor información posible que apunte al logro de los objetivos y/o que pueda dar lugar a nuevos proyectos.

Este trabajo fue realizado con el apoyo financiero de la Dirección de investigación de la Universidad Nacional de Colombia, Sede Medellín –DIME- proyecto 030802611.

Kanter, M. H. and Taylor, J. R. 1994. Accuracy of statistical methods in transfusion: a review of articles from July/August 1992 through June 1993. En: Transfusion. Vol. 34, no. 8;  p. 697-701.        [ Links ]

Kuehl, R. O. 1994. Statistical principles of research design and analysis. Belmont, USA : Duxbury Press. 686 p.        [ Links ]

Lentner, M. and Bishop, T. 1986. Expemimental design and analysis. Blacksburg, USA : Valley Book Company. 557 p.        [ Links ]

Littell, R. C., Henry, P. R. and Ammerman, C. B. 1998. Statistical analysis of repeated measures using SAS procedures. En: Journal of Animal Science. Vol. 76; p. 1216–1231.        [ Links ]

Littell, R. C.; Milliken, G. A.; Stroup, W. W. and Wolfinger, R. D. 1996. SAS^® system for mixed models. Cary North Carolina, USA : SAS Institute. 633 p.        [ Links ]

Mac Arthur, R. D. and Jackson, G. G. 1984. An evaluation of the use of statistical methodology in the Journal of Infectious Diseases. En: Journal of Infectious Diseases. Vol. 149, no. 3; p. 349-354.        [ Links ]

Manly, B. F. J. 1992. The design and analysis of research studies. New York: Cambridge University Press.  353 p.        [ Links ]

Olsen, C. H. 2003. Review of the use of statistics in infection and immunity. En: Infection and Immunity. Vol. 71; p. 6689-6692.        [ Links ]

Petersen, R. G. 1994. Agricultural field experiments: design and analysis. New York: Marcel Dekker.  409 p.        [ Links ]

SAS Institute. 1999. SAS/STAT. Guide for personal computers. Versión 8. Cary, NC: SAS. 378 p.        [ Links ]

Steel, R. G. y Torrie, J. H. 1995. Bioestadística: principios y procedimientos. Mexico: McGraw Hill. 622 p.        [ Links ]

Zar, J. H. 1984. Biostatistical analysis. New Jersey: Prentice-Hall.  718 p.        [ Links ]