FrançaisEnglish

Érudit | Dépôt de documents >
CIRANO - Centre interuniversitaire de recherche en analyse des organisations >
Cahiers scientifiques >

Please use this identifier to cite or link to this item:

https://depot.erudit.org//id/000349dd

Title: Inference for the Generalization Error
Authors: Bengio, Yoshua
Nadeau, Claude
Issue Date: 1999-07
Publisher: Centre interuniversitaire de recherche en analyse des organisations (CIRANO)
Series/Report no.: Série scientifique (CIRANO);99s-25
Scientific series (CIRANO);99s-25
Abstract: Nous considérons l'estimation par validation croisée de l'erreur de généralisation. Nous effectuons une étude théorique de la variance de ect estimateur en tenant compte de la variabilité due au choix des ensembles d'entraînement et des exemples de test. Cela nous permet de proposer deux nouveaux estimateurs de cette variance. Nous montrons, via des simulations, que ces nouvelles statistiques performent bien par rapport aux statistiques considérées dans Dietterich (1998). En particulier, ces nouvelles statistiques se démarquent des autres présentement utilisées par le fait qu'elles mènent à des tests d'hypothèses qui sont puissants sans avoir tendance à être trop libéraux.

We perform a theoretical investigation of the variance of the cross-validation estimate of the generalization error that takes into account the variability due to the choice of training sets and test examples. This allows us to propose two new estimators of this variance. We show, via simulations, that these new statistics perform well relative to the statistics considered in Dietterich (1998). In particular, tests of hypothesis based on these don't tend to be too liberal like other tests currently available, and have good power.
URI: http://www.cirano.qc.ca/pdf/publication/99s-25.pdf
https://depot.erudit.org/id/000349dd
ISSN: 1198-8177
Appears in Collections:Cahiers scientifiques

Files in This Item:

99s-25.pdf (Adobe PDF ; 971.84 kB)

Items in the Repository are protected by copyright, with all rights reserved, unless otherwise indicated.

 

About Érudit | Subscriptions | RSS | Terms of Use | Contact us |

Consortium Érudit ©  2016