FrançaisEnglish

Érudit | Dépôt de documents >
CIRANO - Centre interuniversitaire de recherche en analyse des organisations >
Cahiers scientifiques >

Please use this identifier to cite or link to this item:

https://depot.erudit.org//id/000077dd

Title: No unbiased Estimator of the Variance of K-Fold Cross-Validation
Authors: Bengio, Yoshua
Grandvalet, Yves
Issue Date: 2003-05
Publisher: Centre interuniversitaire de recherche en analyse des organisations (CIRANO)
Series/Report no.: Série scientifique (CIRANO);2003s-22
Scientific series (CIRANO);2003s-22
Abstract: L'erreur de prédiction, donc la perte attendue sur des données futures, est la mesure standard pour la qualité des modèles d'apprentissage statistique. Quand la distribution des données est inconnue, cette erreur ne peut être calculée mais plusieurs méthodes de rééchantillonnage, comme la validation croisée, peuvent être utilisées pour obtenir un estimateur non-biaisé de l'erreur de prédiction. Cependant pour comparer des algorithmes d'apprentissage, il faut aussi estimer l'incertitude autour de cet estimateur d'erreur future, car cette incertitude peut être très grande. Cependant, les estimateurs ordinaires de variance d'une moyenne pour des échantillons indépendants ne peuvent être utilisés à cause du recoupement des ensembles d'apprentissage utilisés pour effectuer la validation croisée. Le résultat principal de cet article est qu'il n'existe pas d'estimateur non-biaisé universel (indépendant de la distribution) de la variance de la validation croisée, en se basant sur les mesures d'erreur faites durant la validation croisée. L'analyse fournit une meilleure compréhension de la difficulté d'estimer l'incertitude autour de la validation croisée. Ces résultats se généralisent à d'autres méthodes de rééchantillonnage pour lesquelles des données sont réutilisées pour l'apprentissage ou le test.

In statistical machine learning, the standard measure of accuracy for models is the prediction error, i.e. the expected loss on future examples. When the data distribution is unknown, it cannot be computed but several resampling methods, such as K-fold cross-validation can be used to obtain an unbiased estimator of prediction error. However, to compare learning algorithms one needs to also estimate the uncertainty around the cross-validation estimator, which is important because it can be very large. However, the usual variance estimates for means of independent samples cannot be used because of the reuse of the data used to form the cross-validation estimator. The main result of this paper is that there is no universal (distribution independent) unbiased estimator of the variance of the K-fold cross-validation estimator, based only on the empirical results of the error measurements obtained through the cross-validation procedure. The analysis provides a theoretical understanding showing the difficulty of this estimation. These results generalize to other resampling methods, as long as data are reused for training or testing.
URI: http://www.cirano.qc.ca/pdf/publication/2003s-22.pdf
https://depot.erudit.org/id/000077dd
ISSN: 1198-8177
Appears in Collections:Cahiers scientifiques

Files in This Item:

2003s-22.pdf (Adobe PDF ; 279.39 kB)

Items in the Repository are protected by copyright, with all rights reserved, unless otherwise indicated.

 

About Érudit | Subscriptions | RSS | Terms of Use | Contact us |

Consortium Érudit ©  2016