Locally Weighted Full Covariance Gaussian Density Estimation

Abstract

Nous décrivons une application du principe d'apprentissage local à l'estimation de densité. Le lissage pondéré localement d'une gaussienne utilisant une matrice de covariance pleine et régularisée conduit à un estimateur de densité ayant un comportement amélioré lorsque la masse de probabilité est concentrée le long d'une variété de basse dimension. Même si l'estimateur proposé n'est pas garanti d'intégrer à 1 sur un ensemble de données fini, nous prouvons la convergence asymptotique de la vraie densité. Les résultats expérimentaux illustrant les avantages de cet estimateur sur les estimateurs non paramétriques classiques sont présentés.

We describe an interesting application of the principle of local learning to density estimation. Locally weighted fitting of a Gaussian with a regularized full covariance matrix yields a density estimator which displays improved behavior in the case where much of the probability mass is concentrated along a low dimensional manifold. While the proposed estimator is not guaranteed to integrate to 1 with a finite sample size, we prove asymptotic convergence to the true density. Experimental results illustrating the advantages of this estimator over classic non-parametric estimators are presented.