Comparative Benchmark of Eleven Regression Models for Software Effort Estimation on a COCOMO-Like Dataset

Abstract

This study develops a comparative benchmark for software effort estimation using the benchmark suite implemented in Python and the result package generated by that suite. Eleven regressors were compared under a leakage-safe protocol on a COCOMO-like dataset of 62 projects and 20 numeric predictors, with 49 projects reserved for model development and 13 for final hold-out testing. The evaluated methods were a three-hidden-layer deep neural network, CatBoost, XGBoost, stacked ensemble regression, random forest, support vector regression with radial basis kernel, Gaussian process regression, LightGBM, an optimized M5P model tree, gradient boosting, and AdaBoost. Model quality was judged through repeated 5×2 cross-validation on the training partition and through an independent hold-out test set, using MAE, RMSE, R², MMRE, MdMRE, and PRED(25). The repeated-CV ranking identified Gaussian process regression as the most accurate and stable model, with mean rank = 1.0000, RMSE = 0.2152, R² = 0.8998, and PRED(25) = 0.9289. The same model also dominated the hold-out evaluation, achieving MAE = 0.1444, RMSE = 0.1835, R² = 0.9084, MMRE = 0.0850, MdMRE = 0.0634, and PRED(25) = 0.9231. The overall order of precision from repeated cross-validation was: Gaussian process regression, optimized model tree (M5P), stacked ensemble regressor, gradient boosting regressor, XGBoost regressor, random forest regressor, CatBoost regressor, AdaBoost regressor, support vector regression, deep neural network, and LightGBM regressor. Permutation importance of the best model showed KDSI, ACAP, PCAP, RELY, and AAF as the most influential predictors. The evidence indicates that, for the present small-sample COCOMO-like setting, kernel-based and piecewise linear/tree-based methods outperform the deeper neural alternative.

Spanish-language metadata / Metadatos en español
Título en español:
Benchmark comparativo de once modelos de regresión para la estimación del esfuerzo de software en un conjunto de datos similar a COCOMO

Resumen:
Este estudio desarrolla un benchmark comparativo para la estimación del esfuerzo de software utilizando la batería de evaluación implementada en Python y el paquete de resultados generado por dicha batería. Se compararon once regresores mediante un protocolo diseñado para evitar fugas de información (data leakage) sobre un conjunto de datos similar a COCOMO compuesto por 62 proyectos y 20 predictores numéricos, de los cuales 49 proyectos se reservaron para el desarrollo de los modelos y 13 para la prueba final con un conjunto hold-out.

Los métodos evaluados fueron una red neuronal profunda con tres capas ocultas, CatBoost, XGBoost, regresión mediante un ensamble apilado (stacked ensemble), bosque aleatorio, regresión de vectores de soporte con kernel de base radial, regresión mediante procesos gaussianos, LightGBM, un árbol de modelos M5P optimizado, gradient boosting y AdaBoost.

La calidad de los modelos se evaluó mediante validación cruzada repetida 5×2 sobre la partición de entrenamiento y mediante un conjunto independiente de prueba hold-out, utilizando MAE, RMSE, R², MMRE, MdMRE y PRED(25).

La clasificación obtenida mediante validación cruzada repetida identificó la regresión mediante procesos gaussianos como el modelo más preciso y estable, con un rango medio = 1,0000, RMSE = 0,2152, R² = 0,8998 y PRED(25) = 0,9289. El mismo modelo también dominó la evaluación hold-out, alcanzando MAE = 0,1444, RMSE = 0,1835, R² = 0,9084, MMRE = 0,0850, MdMRE = 0,0634 y PRED(25) = 0,9231.

El orden global de precisión obtenido mediante validación cruzada repetida fue el siguiente: regresión mediante procesos gaussianos, árbol de modelos optimizado (M5P), regresor de ensamble apilado, regresor de gradient boosting, regresor XGBoost, regresor de bosque aleatorio, regresor CatBoost, regresor AdaBoost, regresión de vectores de soporte, red neuronal profunda y regresor LightGBM.

El análisis de importancia por permutación del mejor modelo mostró que KDSI, ACAP, PCAP, RELY y AAF fueron los predictores más influyentes. La evidencia indica que, para el presente escenario de tamaño muestral reducido y similar a COCOMO, los métodos basados en kernels y los enfoques lineales por tramos o basados en árboles superan a la alternativa neuronal más profunda.

Palabras Claves:
estimación del esfuerzo de software, estimación del coste de software, regresión mediante procesos gaussianos, árbol de modelos, stacking, benchmark, MMRE, PRED(25), conjunto de datos similar a COCOMO, clasificación de regresores

Smart citations:

SciteAI. 
Dimensions.
Open Alex.