¿Qué indicadores económico-financieros podrían condicionar la decisión del experto independiente sobre la supervivencia de una empresa en su fase preconcursal? Evidencia empírica en España*

Which Financial Indicators Could Influence the Decision of the Independent Expert on the Survival of a Company going through a Pre-Bankruptcy Phase? Empirical Evidence in Spain

Quais indicadores econômico-financeiros poderiam condicionar a decisão do perito independente sobre a supervivencia de uma empresa na sua fase pré-concursal? Evidencia empírica na Espanha

María Jesús Segovia-Vargas¹
María del Mar Camacho-Miñano²

Fecha de recepción: 6 de febrero de 2012 Fecha de aceptación: 10 de mayo de 2012

Para citar este artículo

Segovia-Vargas, María Jesús & Camacho-Miñano; María del Mar (2012). ¿Qué indicadores económico-financieros podrían condicionar la decisión del experto independiente sobre la supervivencia de una empresa en su fase preconcursal? Evidencia empírica en España. Cuadernos de Contabilidad, 13 (32), 97-119.

Resumen

Palabras clave autor Insolvencia empresarial, ley concursal, indicadores, reorganización, inteligencia artificial.

Palabras clave descriptor Quiebra, indicadores económicos, España; Inteligencia artificial, Rentabilidad-Administración, España.

Códigos JEL G33, C45, M41.

Abstract

Key Words author Corporate insolvency, bankruptcy law, indicators, reorganization, artificial intelligence.

Key Words plus Bankruptcy, Economic indicators - Spain, Artificial intelligence, Profitability - Administration, Spain.

Resumo

Palavras-chave autor Insolvência de empresas, lei concursal (de falências), indicadores, reorganização, inteligência artificial.

Palavras-chave descritor Falência, Indicadores econômicos, Espanha; Inteligência artificial, Rentabilidade - Administração, Espanha.

Introducción

Debido a la actual crisis económica, hay muchas noticias en prensa relacionadas con problemas de insolvencia de empresas. Esta situación no solo genera enormes pérdidas económicas a los propietarios o acreedores de los negocios con problemas financieros, sino también un enorme coste social y económico a la nación implicada (Wu, 2010). Algunas de esas noticias reflejan el acogimiento de determinados negocios a una fase preconcursal como, por ejemplo, el reciente caso de Nueva Rumasa,¹ con 29 de sus empresas en esta situación. Este escenario previo al concurso se regula en España por el artículo 5.3 del Real Decreto-Ley 3/2009, de 27 de marzo, de medidas urgentes en materia tributaria, financiera y concursal ante la evolución de la situación económica. Se trata de una reforma parcial de la Ley 22/2004, de 9 de abril, Concursal (LC) española que plantea algunas reflexiones en cuanto a su implantación.

La fase preconcursal concede una prórroga a empresas que estén en situación de insolvencia a corto plazo, ya que la ley suspende la obligación del deudor de presentar el concurso voluntario durante un plazo máximo de cuatro meses. Este procedimiento también bloquea la presentación del concurso obligatorio por parte de sus acreedores. Para que una empresa en dificultades pueda acceder a la fase preconcursal debe cumplir ciertos requisitos. De hecho, durante el período preconcursal, los deudores obtienen indudables beneficios, ya que la empresa puede buscar refinanciar su deuda y evitar así el proceso concursal o puede planificar un posible convenio cuando entre en el proceso concursal o bien instar un concurso voluntario sin las tensiones propias de situaciones in extremis. Sin embargo, la fase preconcursal puede provocar perjuicios a los acreedores si no se realiza de manera correcta, ya que pueden ver reducidas sus expectativas de cobro (Hernández-Arranz, 2009).

La reforma de la LC española propone mejorar la implantación de la ley en una situación adversa de crisis económica, para favorecer la refinanciación previa a la entrada del concurso mediante el fomento de acuerdos extrajudiciales de refinanciación, lo que facilita los concursos de acreedores y reduce el tiempo y el coste que supone la activación de estos procesos. De hecho, uno de sus principales objetivos es aumentar la viabilidad de las empresas en crisis. A pesar de que en el año 2010 se produjo una disminución del 7,2% de empresas insolventes respecto a 2009, el número de deudores concursados fue de 5.750, el 84,3% de ellos correspondió a empresas (personas físicas con actividad empresarial y personas jurídicas) y solo una de cada cuatro sobrevivió tras la firma de un convenio. En cuanto a la tasa de recuperación² de los acreedores ascendió al 56% del nominal durante el año 2009.

En este artículo se analizan todas las empresas que están en proceso concursal en los doce Tribunales de los Juzgados de lo Mercantil de la Comunidad de Madrid.³ Los datos fueron extraídos de la página web de la Asociación de Registradores de España durante julio de 2010, y se complementó con la información financiera de las empresas extraída de la base de datos de SABI.⁴ El porcentaje de empresas en concurso ha ido aumentando debido, sobre todo, a la crisis financiera internacional (figura 1). De hecho, el porcentaje de empresas en concurso sobre el total de negocios existentes se ha incrementado desde el 0,02% en 2005 hasta el 0,17% en 2009 y la tasa de desempleo o paro ha subido desde el 8,5% a finales del año 2005 hasta el 19% en 2009.

Ante esta situación y teniendo en cuenta los datos aportados, el objetivo de este trabajo es proponer qué características o indicadores deberían tener las empresas españolas que quieran acogerse a la refinanciación previa para que logren sobrevivir en el mercado. Estos indicadores podrían ser útiles a los jueces, a los administradores concúrsales, a las entidades financieras, a los acreedores... a la hora de decidir si un negocio debería entrar a la fase preconcursal con garantías de éxito. Por el contrario, aquellas empresas que, aun cumpliendo los requisitos legales previstos, vayan a utilizar el proceso preconcursal para alargar injustificadamente los plazos y no pagar a sus acreedores, deberían liquidarse al menor coste posible cuanto antes. Utilizando metodologías pertenecientes a la inteligencia artificial, hemos obtenido unos modelos que pueden ayudar a predecir la probabilidad de supervivencia de una empresa según la regulación española.

El artículo se divide en un en la sección 1, con el planteamiento de la pregunta de investigación en la sección Análisis de la literatura previa. A continuación, se presentarán la muestra y la metodología propuesta y por último, se mostrarán los resultados, la discusión y las conclusiones más significativas.

1. Análisis de la literatura previa

El presente estudio versa sobre predicción pero no sobre la probabilidad de entrar en el proceso concursal, sino de la probabilidad de que, con la información previa a la entrada de una empresa en el proceso concursal español, su procedimiento concursal acabe en convenio y, por ende, se pueda cumplir el objetivo de la LC: maximizar la tasa de recuperación de las deudas de los acreedores, con la mayor tasa de supervivencia de las empresas. Realmente, ese objetivo se ve acrecentado por la necesidad actual de -al menos- no destruir empleo. En cualquier caso, la literatura internacional existente sobre la insolvencia empresarial es muy extensa y variada (Kumar & Ravi, 2007). Sin embargo, las enormes pérdidas económicas, sociales y financieras resultantes de situaciones de insolvencia llevan a seguir desarrollando modelos de predicción de crisis empresariales (Dimitras, Zanakis & Zopounidis, 1996; Jones & Hensher, 2004).

De hecho, uno de los motivos que justifican este tipo de estudios relativos a los problemas con las empresas insolventes es el impacto que la legislación general y la concursal, en particular, tienen en el desarrollo económico de un país (La Porta, López de Silanes, Shleifer & Vishny, 1998) y, por ende, en los resultados del proceso. Incluso la forma de legislar situaciones de insolvencia podría condicionar las decisiones de inversión en un país (Pindado, Rodrigues & De la Torre, 2008). Por ejemplo, en Suecia el 74% de las empresas en concurso después del procedimiento concursal (basado en subastas) sigue en funcionamiento (Thorburn, 2000). En Inglaterra, se ha demostrado empíricamente el impacto que tienen los bancos sobre el resultado de la continuación en el mercado de una empresa en situación concursal (Franks & Sussman, 2005). En España, como se ha comentado con anterioridad, solo el 10% de las empresas en concurso sobrevive.

Es decir, la configuración legal de la ley concursal condiciona el resultado e impacta en la economía de un país. Sin embargo, la literatura se ha centrado en el estudio de la predicción de insolvencia. Pocos estudios analizan la predicción de reorganización de empresas insolventes y menos con medianas y pequeñas empresas (Laitinen, 2011).

Tal como se ha comentado anteriormente, nuestro estudio tiene como punto de partida el escenario regulado por el artículo 5.3 del Real Decreto-ley 3 de 2009, de 27 de marzo, de medidas urgentes en materia tributaria, financiera y concursal ante la evolución de la situación económica. Se trata de una reforma parcial de la Ley 22 de 2003, de 9 de julio, Concursal (LC) que plantea algunas reflexiones en cuanto a su implantación, más aún si cabe, con la próxima reforma en ciernes, aún sin concretar. De hecho, las noticias del caso Nueva Rumasa sobre preconcurso han desatado muchas críticas, ya que muchos consideran esta fase previa al concurso una manera de prolongar aún más "la agonía del paciente". Sin embargo, la fase preconcursal consiste en adelantarse a una situación definitiva e irreversible con medidas que ayuden a conocer anticipadamente la situación del negocio y sanearlo (Fernández del Pozo, 2010). De este modo, a empresas que no pueden pagar a sus acreedores se les concede una prórroga durante un plazo máximo de cuatro meses para que puedan negociar la refinanciación de su deuda, sin la presión de presentación obligatoria de concurso por parte de sus acreedores. Una empresa debe cumplir dos requisitos para acceder a la fase preconcursal: haber iniciado negociaciones para obtener un posible convenio anticipado e informar al juzgado competente en un plazo de dos meses.

El período preconcursal concede a los deudores algunas ventajas, ya que la empresa puede evitar el proceso concursal y sus consecuencias (costes y demora en el tiempo, entre otras) y/o puede planificar un posible convenio para cuando entre en el procedimiento legal y/o puede instar un concurso voluntario. Sin embargo, también tiene desventajas para los acreedores, como se adelantó en la introducción. Dada la reciente implantación efectiva del preconcurso, aún no se ha encontrado evidencia empírica en la literatura de su impacto en España.

Por otro parte, asistimos a un nuevo enfoque a la hora de abordar muchos problemas financieros con base en la aplicación de técnicas y metodologías encuadradas en el ámbito de la Inteligencia Artificial (IA). Tradicionalmente, técnicas estadísticas -como el análisis discriminante o los análisis logic o probit- se han empleado a la hora de analizar numerosas cuestiones financieras en España (Ferrando & Blanco, 1998; Mora, 1994; Sanchís-Arellano, Gil-Fana & Heras-Martínez, 2003). Aunque los resultados obtenidos por estas técnicas son satisfactorios, presentan la limitación de que muchas de las hipótesis estadísticas requeridas al modelo o a la distribución que siguen datos (si hay o no observaciones atípicas) no se cumplen cuando se emplean datos reales y, además, los resultados son complejos de interpretar para un usuario no experto en esas técnicas. Las técnicas de IA -al no requerir que los datos satisfagan ningún tipo de hipótesis- pueden superar esas limitaciones y, además, muchas de ellas presentan los resultados de manera fácil de entender por un agente interesado no experto en esta metodología. Por tanto, las herramientas de la IA son de gran utilidad y un complemento y, en algunos casos, una alternativa a los métodos estadísticos, ya que solucionan en algunos aspectos algunos de sus problemas.

Siguiendo a Daniel E. O'Leary (1998), los sistemas inteligentes pueden construirse a partir de dos enfoques. El primer enfoque lo constituyen los denominados sistemas expertos. Consiste en introducir en el ordenador el conocimiento que los expertos humanos han ido acumulando a lo largo de su vida profesional; la mayor limitación de este enfoque radica en el proceso de captación de la información, que ha de hacerse mediante una serie de entrevistas a los expertos.

El segundo enfoque lo constituye el aprendizaje automático (machine learning). Este enfoque consiste en la elaboración de programas de computador u ordenador que sean capaces de generar conocimiento por medio del análisis de los datos y posteriormente utilizar ese conocimiento para realizar deducciones sobre nuevos datos. Entre las técnicas aplicables de este enfoque encontramos aplicados a datos españoles: redes neuronales artificiales (Serrano & Martín del Brío, 1993), algoritmos de inducción de reglas (Sanchís-Arellano, Segovia-Vargas, Gil-Fana, Heras-Martínez & Vilar-Zanón, 2007) y árboles de decisión (Díaz-Martínez, Sanchís-Arellano & Segovia-Vargas, 2009). Algunas de ellas tienen un carácter explicativo (inducción de reglas y árboles de decisión) y otras se caracterizan por un enfoque de caja negra (black box), como las redes neuronales. Dada la naturaleza del problema que queremos tratar, utilizaremos técnicas explicativas.

Ante todo lo expuesto anteriormente, se plantea la siguiente pregunta de investigación: ¿qué indicadores económico-financieros de empresas con dificultades económicas deben ser tenidos en cuenta por el experto independiente para que se ayude a su supervivencia en la fase preconcursal utilizando técnicas de IA?

Las contribuciones de este estudio a la literatura existente en materia concursal son las siguientes: en primer lugar, el análisis de las posibilidades de supervivencia que tienen las empresas en la fase preconcursal, para evitar entrar en el procedimiento concursal, está completamente justificado porque las estadísticas no coinciden con la exposición de motivos de la ley. La LC propone maximizar el valor de los créditos para el acreedor para mantener la continuidad del negocio y, sin embargo, muy pocas sobreviven. En segundo lugar, los estudios sobre concursos se han centrado en su mayoría en el análisis de grandes empresas cotizadas insolventes. No hay muchos estudios sobre pequeñas y medianas empresas (Pompe & Bilderbeek, 2005). En tercer lugar, el procedimiento preconcursal se ha extrapolado a otros países europeos -como Italia y Finlandia (Laitinen, 2008)-, por lo que estudios como el presente podrían ayudar a mejorar su implantación práctica en otros países. En cuarto lugar, en España hay una escasez de estudios sobre el análisis del impacto de la LC desde un punto de vista económico. Se ha analizado la antigua ley en otros estudios (González & González, 2000; Aybar-Arias, Casino-Martínez & López-Gracia, 2006; Banegas, Manzaneque & Rojas, 2005; López-Gutiérrez, García-Olalla & Torre-Olmo, 2009), pero no con datos de empresas bajo la nueva normativa concursal española. Anteriormente, en España, las condiciones para que una empresa entrara en la ley de quiebra y suspensión de pagos (nombres para referirse a los dos procedimientos sobre insolvencia que ahora se han unificado en un procedimiento único llamado proceso de concurso de acreedores) no eran las mismas que con la nueva ley. Es decir, empresas que estarían en proceso legal de insolvencia con la nueva ley podrían no estarlo según los requisitos de la antigua ley y viceversa. De hecho, en su mayoría, las investigaciones sobre la ley se han hecho desde el punto de vista legal y son descriptivas y, en ocasiones, están sesgadas desde el punto de vista meramente jurídico (Albert & Cabrillo, 2004; Sáez-Santurtún, 2010).

2. Datos de la muestra

Para conseguir el objetivo de nuestro estudio, se utilizan todas las empresas en concurso de los doce Tribunales del Juzgado de lo Mercantil en la Comunidad de Madrid, extraídas durante junio de 2010 de la página web www. registroconcursal.es. Las principales variables obtenidas de esta primera fuente son la fecha de entrada de la empresa al proceso concursal, el tipo de concurso (necesario o voluntario), la fecha de la decisión del juez una vez finalizada la fase común y la decisión del juez (liquidación o convenio). En total, había 1.387 empresas en concurso en Madrid en ese momento.

Los datos obtenidos de la fuente legal anteriormente citada se complementaron con la información financiera y económica (tabla 1) de las empresas en concurso de la base de datos SABI, de acuerdo con un criterio objetivo: el código de identificación fiscal (CIF) de cada empresa. Las variables extraídas de esta base de datos contable son la forma legal (sociedades anónimas o sociedades limitadas), el sector de pertenencia según los criterios del Código Nacional de Actividades Económicas (CNAE), la fecha de su fundación, el número de accionistas y de filiales si las tuviera, la información contable más significativa procedente del balance de situación y la cuenta de pérdidas y ganancias así como los ratios financieros y contables más importantes. La selección de variables en modelos de predicción de insolvencias es uno de los aspectos más controvertidos de la generación de modelos (Altman, 1968). Dependiendo de la información extraída de las bases de datos disponibles y según la literatura previa (Altman, 1968; Altman, 2000; Beaver, 1966; Bhimani, Gulamhussen & Lopes, 2010), las variables utilizadas no incluyen datos de mercado, que proporcionarían mayor información (Hillegeist, Keating, Cram & Lundstedt, 2004) y mejor poder predictivo (Chava & Jarrow, 2004; Chen, Chollete & Ray, 2010; Xu & Zhang, 2009), porque esta muestra carece de esa información al tratarse de empresas pequeñas y medianas no cotizadas.

Al partir de las 23 variables iniciales procedentes de las fuentes primarias anteriormente descritas en la sección Datos de la muestra, se ha efectuado una selección entre las mismas empleando la metodología Rough Set (RS o de conjuntos aproximados) (Pawlak, 1991, 2002; Pawlak & Skowron, 2007), para conformar un nuevo conjunto formado únicamente por nueve variables, marcadas con (*) en la tabla 1. La justificación para pasar de 23 a 9 variables es que un exceso de variables -si estas son redundantes y están correlacionadas-, lejos de aportar información, la distorsiona. El proceso de reducción de 23 variables al compuesto solo por 9 se produjo de la siguiente manera:

1. En cuanto a las variables no contables, la forma jurídica y el número de accionistas se han eliminado porque el tamaño de la empresa revela la misma información que estas variables.
2. En cuanto a los ratios contables se han seleccionado solo tres, el ratio de liquidez, el ROA y el de viabilidad financiera por tres razones: en primer lugar, el análisis estadístico de los ratios contables del sistema de información original mostraba que había muchos ratios con la misma información, lo que supone que es irrelevante y está correlacionada; este hecho complicaba mucho el análisis del sistema de información. En segundo lugar, para contrastarlo, hemos aplicado RS. Se ha utilizado esta metodología de IA, porque obtiene el mínimo conjunto de variables que mantienen la misma información que el conjunto de todas ellas. El análisis RS constató que 15 variables eran redundantes, ya que el sistema de información de 23 variables y el sistema de información de 9 variables llevaban al mismo modelo RS. En tercer lugar, porque los tres ratios seleccionados son los que aparecían con la frecuencia más alta al aplicar la metodología RS, como se presenta en el gráfico 1.

Como se puede observar, las variables que aparecen con mayor frecuencia (más del 25%) en el análisis efectuado con la metodología RS y que dan como resultado los denominados en el argot reductos son el ratio que mide el porcentaje de los derechos de cobro sobre el activo corriente (CC/AC), el ratio de viabilidad financiera (DF/EBITDA), el ratio de tesorería sobre activo circulante (TES/AC), el número de accionistas (ACCTAS) y la forma jurídica. Los ratios que aparecen con mayor frecuencia son a priori variables muy discriminatorias para el problema que se está analizando. Dado que entre las variables más discriminatorias se encuentran dos ratios de los denominados de liquidez (CC/AC y TES/AC) se ha optado por seleccionar el más utilizado en la literatura (TES/AC) y en lugar del otro ratio de liquidez se ha incorporado un ratio de rentabilidad, el ROA, porque aparece con frecuencia en los análisis económicos y porque se encuentra en un segundo grupo de variables discriminatorias. En relación con las variables no contables, la forma jurídica y el número de accionistas han sido eliminados, porque el tamaño de la empresa recoge la misma información. Teniendo en cuenta las razones expuestas y la literatura previa, se han preseleccionado las nueve expuestas (*) para el uso del PART.

Fueron eliminadas 147 empresas de la muestra, porque no se encontró información en SABI. Del resto de las sociedades, 1.240, se eliminaron aquellas que se encontraban inmersas en la fase común y sobre las que no había decisión judicial. La muestra final se compone de 235 empresas con problemas financieros y sobre las que hay una resolución concursal en firme. El 39% corresponde a sociedades anónimas, SA; el otro 61% corresponde a sociedades de responsabilidad limitada, SL, y los sectores de la construcción y del transporte son los más representativos de la muestra (tabla 2).

Al analizar las características de la muestra final (tabla 3), en su mayoría, las compañías concursadas no son empresas de nueva creación, ya que la media de supervivencia hasta el concurso se sitúa en los dieciocho años; aunque existe una elevada dispersión que abarca desde los 8 años de vida hasta los más de 25 años desde su fundación. La cifra media de los activos asciende a más de €4,5 millones, indicador de que se trata de pequeñas y medianas empresas (pyme). También es destacable que las empresas tienen una rentabilidad de los activos (ROA), un ratio de viabilidad financiera y un EBIDTA negativos. De hecho, la diferencia entre el resultado del ejercicio y el EBIDTA muestra un impacto fiscal y financiero negativo. En cuanto a la duración de la fase común (FC), la muestra refleja que la duración media de los procesos concursales en Madrid es de 454 días (casi un año y cuarto).

Una vez finalizada la fase común, hay 196 empresas liquidadas y 39 convenios; de estos, 26 empresas continuaron tras la decisión judicial y 13 se liquidaron, a pesar de la decisión judicial de convenio. Esto significa que un tercio de las decisiones en convenio acaba en liquidación. La duración del proceso puede ser una explicación, ya que se demora mucho tiempo la situación de empresa en concurso, lo que dificulta la confianza de los clientes y acreedores del negocio. El proceso de selección de la muestra se resume en el gráfico 2:

En el siguiente apartado se expone la metodología aplicada a la muestra de empresas en concurso para responder la pregunta planteada en la presente investigación.

3. Metodología

Entre las técnicas de Inteligencia Artificial citadas anteriormente en la revisión de la literatura (sección Análisis de la literatura previa), hemos escogido la metodología PART por su carácter explicativo y por las ventajas que presenta para analizar datos reales. Muy brevemente, podemos definir el algoritmo PART (desarrollado por Eibe Frank e Ian H. Witten, 1998) como un clasificador con base en reglas generadas mediante la incorporación de una forma modificada de un árbol de decisión J48 (el J48 es la implementación que hace el programa de minería de datos WEKA del árbol de decisión C4.5). La modificación que efectúa, de hecho, consiste en generar un árbol de decisión inicial en el que algunas de sus ramas se eliminan; por tanto, es un árbol de decisión parcial (Witten & Frank, 2005). Con la eliminación de esas ramas se logra una mayor flexibilidad y rapidez, aunque su principal ventaja es su simplicidad. Es decir, el algoritmo PART combina dos estrategias: primero, construye un árbol de decisión parcial (es decir, se trata de un árbol ordinario en el que hay ramas que conducirán a subárboles que no se van a explorar y quedarán indefinidos) en lugar de uno que explore por completo todas las ramificaciones; una vez que se ha obtenido ese subárbol, su construcción se detiene y se obtiene una regla.

Este procedimiento conduce a reglas más generales, porque se elige aquella rama que representa el mayor número de situaciones o casos.

Estas reglas se expresan mediante sentencias lógicas que relacionan la descripción, mediante variables de un objeto (condiciones) y las clases de decisión. Adoptan la siguiente forma:

Si <se cumplen condiciones> entonces <el objeto pertenece a una clase de decisión dada>

Cada regla de decisión se caracteriza por su fuerza, esto es, el número de objetos que satisfacen la parte de la condición de la regla (en el argot se dice cubiertos por la regla) y que pertenecen a la clase de decisión sugerida.

Las reglas resultantes del algoritmo son muy fáciles de comprender por el usuario/ analista y permiten justificar y explicar las conclusiones derivadas del análisis de los datos. El conjunto de reglas para todas las clases de decisión se denomina algoritmo de decisión. Las reglas derivadas de una tabla con esta metodología se pueden utilizar para clasificar nuevos objetos (en nuestro caso, empresas nuevas). La clasificación de cualquier nuevo objeto puede hacerse al comparar su descripción con las condiciones de cada una de las reglas de decisión.

Pueden establecerse dos perspectivas principales para la obtención de reglas de decisión derivadas de un conjunto de ejemplos según las finalidades que se persigan. Las más comunes se relacionan con:

• la inducción orientada a la clasificación y
• la inducción orientada al descubrimiento.

De los algoritmos aplicados al segundo enfoque, en su mayoría son los mismos que se utilizan para el enfoque de clasificación, lo cual provoca que den como resultado un mínimo número de reglas (objetivo del enfoque de clasificación, para el que las reglas demasiado específicas no tienen importancia) que representan solo una parte limitada de las reglas interesantes que puede haber.

Con esta filosofía, utilizaremos el algoritmo PART (Díaz-Martínez, Sanchís-Arellano & Segovia-Vargas, 2009): obtendremos un modelo consistente en un conjunto de reglas que usaremos para clasificar. Si el resultado de la clasificación es satisfactorio, las reglas estarán validadas y las analizaremos. Se parte de la muestra de empresas en situación de concurso, una vez finalizada la fase común del proceso, es decir, cuando el juez ha determinado su liquidación o convenio (reorganización). Para la aplicación del algoritmo PART, se comienza con una tabla en la que hay 235 empresas (136 en liquidación y 39 en reorganización) explicadas por variables, contables y no contables anteriormente descritas en la sección Datos de la muestra. Se han deducido patrones de información y regularidades (reglas) útiles para el experto independiente implicado en el proceso preconcursal. Las reglas obtenidas de la metodología PART determinarán si un objeto pertenece a una determinada clase, al asignarle una de dos categorías: 1-reorganización o 0-liquidación. Hemos utilizado los datos del año previo al concurso (t-1), ya que es la información que requiere el experto para su análisis. Esa tabla se ha introducido en el paquete de minería de datos WEKA de la Universidad de Waikato, Nueva Zelanda (Witten & Frank, 2005) con el que hemos desarrollado el análisis.

4. Resultados y discusión

Una vez aplicada la metodología PART a la muestra objeto de nuestro estudio, el primer análisis de la tabla 4 muestra que de las nueve variables introducidas para efectuar el análisis, el modelo solo considera cuatro (el número de participaciones, el sector, los años de existencia de la empresa y el activo total) y elimina el resto de las variables. La lista de reglas obtenidas es la siguiente:

La lista de reglas contenidas en la Tabla 4 que nos da el algoritmo PART es un conjunto de sentencias lógicas del tipo "Si... (se cumplen unas condiciones) entonces... (el objeto pertenece a la clase indicada). Por tanto, se leen de la siguiente manera:

• Regla 1: si la empresa no está participada por ninguna sociedad (PARTICIP = 0) y pertenece al sector de la construcción, se clasifica en la clase 0 (liquidación). La fuerza nos indica que esta regla derivada del modelo la verifican 55 empresas, de las cuales hay 4 errores (la verifican pero pertenecen a la clase 1).
• Regla 2: si la empresa no está participada por ninguna sociedad (PARTICIP = 0) y pertenece al sector comercio, se clasifica en la clase 0 (liquidación). La fuerza nos indica que esta regla derivada del modelo la verifican 54 empresas, de las cuales hay 9 errores (la verifican pero pertenecen a la clase 1).
• Regla3: Si...
  Y así sucesivamente.

Se puede observar que es una lista de reglas; las primeras son más fuertes que las últimas, luego son probablemente más ciertas de cara a la aplicación práctica del modelo.Las variables que considera el modelo son el sector (CNAE), el número de años desde que la empresa se fundó (AGE), el tamaño (TA) y la pertenencia a un grupo de empresas (PARTICIP). Estas variables están en línea con las obtenidas por Tyler Shumway (2001); Thomas E. McKee y Terje Lensberg (2002) y Erkki K. Laitinen (2011). También hay estudios que destacan que el tamaño, la liquidez, la rentabilidad y la estructura de capital condicionan las decisiones de reorganización (Routledge & Gadenne, 2000). Es más, la actual crisis no ha tenido el mismo impacto en todos los sectores. De hecho, el sector de la construcción y el comercio al por mayor y al por menor constituyen, en nuestra muestra, la mayoría de las empresas en bancarrota dada su gran dependencia de las exportaciones y su susceptibilidad ante el crack financiero mundial (Alonso & Furio 2010).

Como se puede comprobar, la mayoría de las reglas se refiere a la clase 0, dado que la mayoría de las empresas pertenece a esta clase. Antes de analizar el algoritmo, lo vamos a validar. Hemos de matizar que si se desarrolla un modelo y se valida con la misma muestra o con muestras que contienen las mismas empresas, aunque los datos se refieran a diferentes años, los resultados podrían ponerse en cuestión. Para ello, se seleccionan muestras independientes (no disponemos de suficientes datos) o se efectúa un proceso de validación-cruzada⁶ que consiste en hacer numerosas particiones de igual tamaño en los datos y dejar unas para estimar el modelo y las restantes para validar. A mayor tasa de validación cruzada, mayor fiabilidad de los modelos obtenidos. De ahí que cuando con ese procedimiento se obtiene una tasa de clasificación lo suficientemente alta, como en nuestro caso con casi un 80% de aciertos (79,15%), las conclusiones del modelo pueden considerarse como válidas, con la salvedad de que obviamente hay un 20% de casos en los que pueden no ser aplicables o correctas. El proceso se repite tantas veces como particiones hayamos hecho y vamos cambiando las que sirven para estimar de las que sirven para validar. El resultado final es la media de todos los resultados obtenidos. En la tabla 5 se muestran los resultados de la validación cruzada para 10 particiones.

Los resultados en términos de clasificación son muy satisfactorios, lo que permite dar por válido el modelo en forma de reglas que se ha obtenido. En este sentido, las reglas muestran los siguientes resultados:

1. Los resultados muestran, en primer lugar la importancia de pertenecer o no a un grupo (la variable PARTICIP). Queda reflejado que no pertenecer a un grupo (PARTICIP=0) está en una gran mayoría de los casos asociado a la clase de liquidación (0).
2. Después, la variable más relevante es el sector. Las reglas más fuertes (1, 2, 3) señalan que los sectores de la "construcción", el "comercio" y, en menor medida, las "actividades científicas y técnicas" están por sí solos asociados a la clase 0 liquidación.
3. El sector "manufacturas" se asocia a la clase 0 para valores bajos del activo (menor o igual a 6.664 en términos logarítmicos), es decir, se trata de una pyme. En cualquier otro caso, se asocia a la clase de reorganización.

Podemos concluir que hay sectores como el de la construcción y, en menor medida, el del comercio que, aunque las cuentas mostrasen que podrían reorganizarse, la crisis actual y sus peculiaridades hacen que esto no sea posible. Estos resultados vienen a constatar que, además del tamaño, la pertenencia o no a un grupo, el número de años desde su fundación y el sector también son importantes a la hora de definir cuáles son los factores que condicionan el éxito de la supervivencia de una empresa.

Desgraciadamente, en la actualidad, no hay ninguna teoría de predicción de insolvencia válida. Los modelos de predicción de fracaso empresarial -en su mayoría- son limitados (Nwogugu, 2007). Sin embargo, sí hay muchos estudios sobre predicción que llevan a resultados similares. A nuestro juicio, uno de los problemas es que el contexto de la muestra condiciona los resultados obtenidos. Por ejemplo, el tema del sector (concretamente el de construcción) está muy sesgado en esta muestra, por lo que se tomaría como una limitación a nuestro estudio. En cualquier caso, se trata de un reto para los investigadores actuales, ya que se requieren estudios más globales -del mercado internacional- para constatar si los resultados obtenidos se podrían generalizar.

Conclusiones

En este trabajo se ha contrastado la idoneidad de aplicar técnicas de IA, mediante su aplicación a un problema real en una muestra de pymes en situación concursal al obtener resultados muy satisfactorios y revelar algunas variables que, entre otras, deberían tenerse en cuenta para la evaluación del impacto de la nueva reforma concursal en ciernes. De hecho, la nueva reforma propuesta aboga por el uso de la fase preconcursal como paso previo a la liquidación, resultado casi generalizado en las empresas que entran el proceso concursal. El sector, el tamaño, la pertenencia o no a un grupo y el número de años desde su fundación determinarían el futuro de la empresa.

En términos prácticos, estas técnicas pueden usarse como sistemas de diagnóstico automático para preseleccionar, por ejemplo, aquellas empresas que necesiten una atención especial, de una manera rápida y a un coste bajo. De este modo, habría una gestión más eficiente del tiempo dedicado por el experto, analista financiero o la autoridad supervisora, para dar, además, uniformidad a los juicios emitidos sobre una empresa.

Más estudios en esta línea, en otros países y con más datos son necesarios para avalar estos resultados. Entre las limitaciones del estudio se encuentra que la muestra está sesgada en la Comunidad de Madrid y no es generalizable al resto de España, aunque esta región tiene un peso significativo en la riqueza nacional, lo que hace que los resultados puedan considerarse relevantes. En próximos estudios, se espera ampliar la muestra y contrastar los resultados obtenidos con metodologías diferentes.

Anexo 1

Explicación del proceso de validación cruzada

El procedimiento de validación es una técnica utilizada para evaluar los resultados de un análisis estadístico y garantizar que son independientes de la partición entre datos de entrenamiento y prueba. Consiste en repetir y calcular la media aritmética obtenida de las medidas de evaluación sobre diferentes particiones. Se utiliza en entornos en los cuales el objetivo principal es la predicción y se quiere estimar qué tan preciso es un modelo que se llevará a cabo a la práctica (Devijver & Kittler, 1982). Es una técnica muy utilizada en proyectos de inteligencia artificial para validar modelos generados.

En la validación cruzada de K iteraciones o K-fold cross-validation, los datos de muestra se dividen en K subconjuntos. Uno de los subconjuntos se utiliza como datos de prueba y el resto (K-1) como datos de entrenamiento. El proceso de validación cruzada se repite durante k iteraciones, con cada uno de los posibles subconjuntos de datos de prueba. Finalmente, se realiza la media aritmética de los resultados de cada iteración para obtener un único resultado. Este método es muy preciso, puesto que evaluamos a partir de K combinaciones de datos de entrenamiento y de prueba, pero aun así tiene una desventaja: a diferencia del método de retención, es lento desde el punto de vista computacional. En la práctica, la elección del número de iteraciones depende de la medida del conjunto de datos. Lo más común es utilizar la validación cruzada de 10 iteraciones (10-fold cross-validation) (Refaeilzadeh, Tang & Lui, 2008, FH Joanneum, 2006).

En cada una de las k iteraciones de este tipo de validación se realiza un cálculo de error. El resultado final se obtiene a partir de realizar la media aritmética de los K valores de errores obtenidos, según la fórmula:

Es decir, se realiza el sumatorio de los K valores de error y se divide entre el valor de K.

Pie de página

¹La empresa Nueva Rumasa es un entramado empresarial español creado con la vocación de reconstruir lo que era el holding Rumasa, antes de su expropiación por el Estado español en 1983, cuando contaba con 700 empresas. Nueva Rumasa está compuesto por más de un centenar de compañías, la mayoría de las cuales están radicadas en paraísos fiscales y no consolidan como holding, por lo que no están sujetas al control de la administración. Sus campos de negocio son la alimentación, las bodegas, las actividades turísticas, el sector inmobiliario y la distribución. También figuran una veintena de hoteles. El germen de Nueva Rumasa se remonta a 1996, cuando, ayudado por sus hijos, el empresario jerezano José María Ruiz-Mateos reinvierte lo que consiguió evadir de la expropiación de Rumasa para crear la nueva marca de la abeja. Nueva Rumasa dice tener 10.000 empleados, cifra que los sindicatos rebajan a 6.000 y un valor patrimonial de 5.900 millones de euros, tasación que también los expertos ponen en duda (Fuente: http://es.wikipedia.org/wiki/Nueva_Rumasa).
²Datos de 2009 obtenidos del Anuario de Estadística Concursal (2010), publicado por el Colegio de Registradores de España.
³La información se extrajo de la página web: www.publicidadconcursal.es
⁴SABI, Sistemas de Análisis de Balances Ibéricos (España y Portugal). es un producto de Bureau Van Dijk. Más información: http://services.informa.es/informa/index.php/en/Financial-products/SABI-AMADEUS-y-ORBIS, http://www.bvdinfo.com/Products/Company-Information/National/Sabi
⁵Los datos del cuarto trimestre aún no se habían publicado por el Instituto Nacional de Estadística, INE, aunque se ha obtenido una aproximación por las noticias de prensa.
⁶Dada la claridad con la que está explicado este concepto en Wikipedia, hemos considerado oportuno incluirlo como apéndice. También se puede ver con detalle en la tesis doctoral de María Jesús Segovia-Vargas (2005). Análisis de la solvencia en entidades aseguradoras mediante la metodología Rough Set. Monografías. Madrid: Thomson Civitas.

Referencias

Albert, Rocío & Cabrillo, Francisco (2004). Un análisis económico de la reforma concursal española. Revista Valenciana de Economía y Hacienda, 11, 113-136. Disponible en: portales.gva.es/c_economia/web/rveh/pdfs/n11/empre_11.pdf, http://works.bepress.com/francisco_cabrillo_rodriguez/14        [ Links ]

Alonso, Matilde & Furio, Elies (2010). La economía española. Del crecimiento a la crisis pasando por la burbuja inmobiliaria. Disponible en: http://ccec.revues.org/3212, http://ccec.revues.org/index3212.html#text        [ Links ]

Altman, Edward I. (1968). Financial ratios, discriminant analysis and the prediction of corporate bankruptcy. The Journal of Finance, 23 (4), 589-609. Disponible en: http://www.defaultrisk.com/_pdf6j4/Financial_Ratios_Discriminant_Anlss_n_Prdctn_o_ Crprt_Bnkrptc.pdf        [ Links ]

Altman, Edward I. (2000). Predicting financial distress of companies: revisiting the Z-score and ZETA models. Disponible en: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.25.1884&rep=rep1&type=pdf, http://pages.stern.nyu.edu/~ealtman/PredFnclDistr.pdf, http://scholar.google.es/scholar?q=Predicting+financial+dist ress+of+companies:+revisiting+the+Z-score+and+ZETA+models&hl=es&as_sdt=0&as_vis=1&oi=scholart        [ Links ]

Aybar-Arias, Cristina; Casino-Martínez, Alejandro & López-Gracia, José (2006). La reestructuración financiera de las pymes en crisis. Endogeneidad en la elección entre la vía privada y la vía concursal. Investigaciones Económicas, 30 (1), 137-162. Disponible en: http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=17330106        [ Links ]

Banegas, Regino; Manzaneque, Montserrat & Rojas, José Antonio (2005). Importancia de la previsión en los casos de Procesos de Insolvencia. Aportación de la Ley Concursal 22/2003. SPCS Documento de trabajo 2005/4. Universidad de Castilla-La Mancha. Disponible en: http://www.uclm.es/cu/csociales/pdf/documentosTrabajo/01_2006.pdf        [ Links ]

Beaver, William H. (1966). Financial ratios as predictors of failure. Journal of Accounting Research, 4, 71-111.         [ Links ]

Bhimani, Alnoor; Gulamhussen, Mohamed Azzim & Lopes, Samuel da Rocha (2010). Accounting and non-accounting determinants of default: an analysis of privately-held firms. Journal of Accounting and Public Policy, 29 (6), 517-532.         [ Links ]

Chava, Sudheer & Jarrow, Robert A. (2004). Bankruptcy prediction with industry effects. Review of Finance, 8 (4), 537-569.         [ Links ]

Chen, Jing; Chollete, Lorán & Ray, Rina (2010). Financial distress and idiosyncratic volatility: an empirical investigation. Journal of Financial Markets, 13 (2), 249-267.         [ Links ]

Colegio de Registradores de España (2010). Anuario de Estadística Concursal. Disponible en: https://www.registradores.org/estaticasm/Estadistica/concursal/Estadistica_ Concursal_Anuario.pdf        [ Links ]

Díaz-Martínez, Zuleyka; Sanchís-Arellano, Alicia & Segovia-Vargas, María Jesús (2009). Analysis of financial instability by means of decision trees and lists. En Richard O. Bailly (ed.). Emerging topics in macroeconomics, 303-327. New York: Nova Science Publishers.         [ Links ]

Dimitras, Augustinos I.; Zanakis, Stelios H. & Zopounidis, Constantin (1996). A survey of business failures with an emphasis on prediction methods and industrial applications. European Journal of Operational Research, 90 (3), 487-513.         [ Links ]

España (2009). Real Decreto-Ley 3 de 2009, de 27 de marzo, de medidas urgentes en materia tributaria, financiera y concursal ante la evolución de la situación económica. Boletín Oficial del Estado, BOE, 78, 30367-30385, 31 de marzo de 2009. Disponible en: http://www.boe.es/boe/dias/2009/03/31/pdfs/BOE-A-2009-5311.pdf        [ Links ]

Fernández del Pozo, Luis (2010). El régimen jurídico preconcursal de los acuerdos de refinanciación (d.ad.4°LC). Propuesta de reforma legislativa. Cuadernos de Derecho Registral. Madrid: Colegio de Registradores de la Propiedad, Fundación Registral.         [ Links ]

Ferrando-Bolado, Máximo & Blanco-Ramos, Francisco (1998). La previsión del fracaso empresarial en la Comunidad Valenciana: aplicación de los modelos discriminante y logit (1). Revista Española de Financiación y Contabilidad, 27 (95), 499-540. Disponible en: http://www.aeca.es/pub/refc/articulos.php?id=0291         [ Links ]

Frank, Eibe & Witten, Ian H. (1998). Generate accurate rules sets without global optimization. En Jude W. Shavlik (ed.). Proceedings of the Fifteenth International Conference on Machine Learning, ICML, Madison, Wisconsin, 144-151. San Francisco: Morgan Kaufmann.         [ Links ]

Franks, Julian R. & Sussman, Oren (2005). Financial distress and bank restructuring of small to medium size UK companies. Review of Finance, 9, 65-96. Disponible en: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.155.2846&rep=rep1&typ e=pdf        [ Links ]

González-Méndez, Víctor Manuel & González-Rodríguez, Francisco (2000). Procedimientos de resolución de insolvencia financiera en España: costes de insolvencia y transferencias de riqueza. Investigaciones Económicas, 24 (2), 357-384. Disponible en: http://redalyc.uaemex.mx/pdf/173/17324204.pdf         [ Links ]

Hernández-Arranz, Mariano (2009). Fase pre-concursal (art. 5.3 LC): los acreedores también podrían beneficiarse en algunos casos. Disponible en: http://www.unive.es/default.asp?menu=laboratorio&id=83         [ Links ]

Hillegeist, Stephen A.; Keating, Elizabeth K.; Cram, Donald P. & Lundstedt, Kyle G. (2004). Assessing the probability of bankruptcy. Review of Accounting Studies, 9 (1), 5-34.         [ Links ]

Jones, Stewart & Hensher, David A. (2004). Predicting firm financial distress: a mixed logit model. The Accounting Review, 79 (4), 1011-1038.         [ Links ]

Kumar, P. Ravi & Ravi, Vadlamani (2007). Bankruptcy prediction in banks and firms via statistical and intelligent techniques - A review. European Journal of Operation Research, 180 (1), 1-28.         [ Links ]

Laitinen, Erkki K. (2008). Data system for assessing probability of failure in SME reorganization. Industrial Management and Data Systems, 108 (7), 849-866.         [ Links ]

Laitinen, Erkki K. (2011). Assessing viability of Finnish reorganization and bankruptcy firms. European Journal of Law and Economics, 31, 156-198.         [ Links ]

La Porta, Rafael; López de Silanes, Florencio; Shleifer, Andrei & Vishny, Robert W. (1998). Law and finance. Journal of Political Economy, 106 (6), 1113-1155. Disponible en: http://mba.tuck.dartmouth.edu/pages/faculty/rafael.laporta/docs/publications/LaPorta%20PDF%20Papers-ALL/Law%20and%20Finance-All/Law%20and%20Finance.pdf        [ Links ]

Ley concursal: http://noticias.juridicas.com/base_datos/Privado/l22-2003.html        [ Links ]

López-Gutiérrez, Carlos; García-Olalla, Myriam & Torre-Olmo, Begoña (2009). The influence of bankruptcy law on equity value of financially distressed firms: an European comparative analysis. International Review of Law and Economics, 29 (3), 229-243.         [ Links ]

McKee, Thomas E. & Lensberg, Terje (2002). Genetic programming and rough sets: an hybrid approach to bankruptcy classification. European Journal of Operational Research, 138, 436-451. Disponible en: http://ceng.anadolu.edu.tr/stelceken/BIM452/icerik/Genetic%20programming%20and%20rough%20sets%20A%20hybrid%20approach%20to%20bankruptcy20classification.pdf         [ Links ]

Mora, Araceli (1994). Los modelos de predicción del fracaso empresarial: una aplicación empírica del logit. Revista Española de Financiación y Contabilidad, 78, 203-233. Disponible en: http://www.aeca.es/pub/refc/articulos.php?id=0440         [ Links ]

Nwogugu, Michael (2007). Decision-making, risk and corporate governance: a critique of methodological issues in bankruptcy/recovery prediction models. Applied Mathematics and Computation, 185, 178-196.         [ Links ]

O'Leary, Daniel E. (1998). Using neural networks to predict corporate failure. International Journal of Intelligent Systems in Accounting, Finance and Management, 7, 187-197. Disponible en: https://msbfile03.usc.edu/digitalmeasures/doleary/intellcont/nncorporate%20failure-1.pdf        [ Links ]

Pawlak, Zdzislaw (1991). Rough Sets. Theoretical aspects of reasoning about data. Dordrecht, Boston, London: Kluwer Academic Publishers.         [ Links ]

Pawlak, Zdzislaw (2002). Rough sets and intelligent data analysis. Information Sciences, 147 (1-4), 1-12.         [ Links ]

Pawlak, Zdzislaw & Skowron, Andrzej (2007). Rudiments of rough sets. Information Sciences, 177 (1), 3-27.         [ Links ]

Pindado, Julio; Rodrigues, Luis & Torre, Chabela de la (2008). How do insolvency codes affect a firm's investment? International Review of Law and Economics, 28 (4), 227-238.         [ Links ]

Pompe, Paul P. M. & Bilderbeek, Jan (2005). The prediction of bankruptcy of small- and medium-sized industrial firms. Journal of Business Venturing, 20 (6), 847-868.         [ Links ]

Routledge, James & Gadenne, David (2000). An exploratory study of the company reorganization decision in voluntary administration. Pacific Accounting Review, 16 (1), 31-56.         [ Links ]

Sáez-Santurtún Prieto, Jorge (2010). Efectos de la legislación concursal en la crisis empresarial: luces y sombras. Anales de la Academia Matritense del Notariado, 50, 327-354.         [ Links ]

Sanchís-Arellano, Alicia; Gil-Fana, José Antonio & Heras-Martínez, Antonio (2003). El análisis discriminante en la previsión de la insolvencia en las empresas de seguros de no vida. Revista Española de Financiación y Contabilidad, 32 (116), 183-234. Disponible en: http://www.aeca.es/pub/refc/articulos.php?id=0091        [ Links ]

Sanchís-Arellano, Alicia; Segovia-Vargas, María Jesús; Gil-Fana, José Antonio; Heras-Martínez, Antonio & Vilar-Zanón, José L. (2007). Rough Sets and the role of the monetary policy in financial stability (macroeconomic problem) and the prediction of insolvency in insurance sector (microeconomic problem). European Journal of Operational Research, 181 (3), 1554-1573.         [ Links ]

Serrano-Cinca, Carlos & Martín del Brío, Bonifacio (1993). Predicción de la quiebra bancaria mediante el empleo de redes neuronales artificiales. Revista Española de Financiación y Contabilidad, 22 (74), 153-176. Disponible en: http://www.aeca.es/pub/refc/articulos.php?id=0473        [ Links ]

Shumway, Tyler (2001). Forecasting bankruptcy more accurately: a simple hazard model. The Journal of Business, 74 (1), 101-124. Disponible en: http://textbiz.org/projects/defaultprediction/hazardmodel.pdf        [ Links ]

Thorburn, Karin S. (2000). Bankruptcy auctions: costs, debt recovery, and firm survival. Journal of Financial Economics, 58 (3), 337-368.         [ Links ]

Witten, Ian H. & Frank, Eibe (2005). Data mining: practical machine learning tools and techniques. 2^nd ed. San Francisco: Morgan Kaufmann.         [ Links ]

Wu, Wei-Wen (2010). Beyond business failure prediction. Expert Systems with Applications, 37 (3), 2371-2376.         [ Links ]

Xu, Ming & Zhang, Chu (2009). Bankruptcy prediction: the case of Japanese listed companies. Review of Accounting Studies, 14 (4), 534-558. Disponible en: http://www.pdfio.com/k-131845.html         [ Links ]

Direcciones de internet

http://services.informa.es/informa/index.php/en/Financial-products/SABI-AMADEUS-y-ORBIS        [ Links ]

www.publicidadconcursal.es        [ Links ]

Bibliografía sugerida

Balcaen, Sofie & Ooghe, Hubert (2006). 35 years of studies on business failure: an overview of the classic statistical methodologies and their related problems. The British Accounting Review, 38 (1), 63-93.         [ Links ]

Referencias Anexo

Devijver, Pierre A. & Kittler, Josef (1982). Pattern recognition: a statistical approach. London: Prentice-Hall.         [ Links ]

FH Joanneum (2005-2006). Cross-Validation Explained. Graz, Austria: Institute for Genomics and Bioinformatics, Graz University of Technology.         [ Links ]

Refaeilzadeh, Payam; Tang, Lei & Lui, Huan (November 6, 2008). K-fold Cross-Validation. Metro Phoenix: Arizona State University. Disponible en: http://wwww.public.asu.edu/~ltang9/papers/ency-cross-validation.pdf        [ Links ]

Fuente: http://Wikipedia.es        [ Links ]