FrançaisEnglish

Érudit | Dépôt de documents >
CIRANO - Centre interuniversitaire de recherche en analyse des organisations >
Cahiers scientifiques >

Please use this identifier to cite or link to this item:

https://depot.erudit.org//id/000149dd

Title: Input Decay: Simple and Effective Soft Variable Selection
Authors: Bengio, Yoshua
Chapados, Nicolas
Issue Date: 2002-05
Publisher: Centre interuniversitaire de recherche en analyse des organisations (CIRANO)
Series/Report no.: Série scientifique (CIRANO);2002s-52
Scientific series (CIRANO);2002s-52
Abstract: Pour tenir compte des problèmes de sur-entraînement qui apparaissent quand il n'y a pas assez d'exemples comparativement au nombre de variables d'entrées durant l'apprentissage supervisé, les approches traditionnelles sont la pénalisation de la norme des paramètres (weight decay) et la sélection de variables vorace. Une alternative qui est apparue tout récemment est de garder toutes les variables, mais de mettre plus d'emphase sur celles qui sont le plus utiles. Nous introduisons une nouvelle méthode de régularisation, appelé "pénalisation sur la norme des entrées" (input decay), qui applique une plus grande penalité relative sur les paramètres associés aux entrées qui contribuent le moins à la fonction apprise. Cette méthode, comme la pénalisation de la norme des paramètres (weight decay) et la sélection de variables, demande tout de même d'appliquer une sorte de sélection de modèle. Une série d'expériences comparatives avec cette nouvelle méthode ont été appliquées à deux taches de régression, une qui était simulée et l'autre à partir d'une vrai problème financier.

To deal with the overfitting problems that occur when there are not enough examples compared to the number of input variables in supervised learning, traditional approaches are weight decay and greedy variable selection. An alternative that has recently started to attract attention is to keep all the variables but to put more emphasis on the most useful ones. We introduce a new regularization method called "input decay" that exerts more relative penalty on the parameters associated with the inputs that contribute less to the learned function. This method, like weight decay and variable selection, still requires to perform a kind of model selection. Successful comparative experiments with this new method were performed both on a simulated regression task and a real-world financial prediction task.
URI: http://www.cirano.qc.ca/pdf/publication/2002s-52.pdf
https://depot.erudit.org/id/000149dd
ISSN: 1198-8177
Appears in Collections:Cahiers scientifiques

Files in This Item:

2002s-52.pdf (Adobe PDF ; 264.56 kB)

Items in the Repository are protected by copyright, with all rights reserved, unless otherwise indicated.

 

About Érudit | Subscriptions | RSS | Terms of Use | Contact us |

Consortium Érudit ©  2016