FrançaisEnglish

Érudit | Dépôt de documents >
CIRANO - Centre interuniversitaire de recherche en analyse des organisations >
Cahiers scientifiques >

Please use this identifier to cite or link to this item:

https://depot.erudit.org//id/000074dd

Title: Spectral Clustering and Kernel PCA are Learning Eigenfunctions
Authors: Bengio, Yoshua
Vincent, Pascal
Paiement, Jean-François
Issue Date: 2003-05
Publisher: Centre interuniversitaire de recherche en analyse des organisations (CIRANO)
Series/Report no.: Série scientifique (CIRANO);2003s-19
Scientific series (CIRANO);2003s-19
Abstract: Dans cet article, on montre une équivalence directe entre la classification spectrale et l'ACP à noyau, et on montre que les deux sont des cas particuliers d'un problème plus général, celui d'apprendre les fonctions propres d'un noyau. Ces fonctions fournissent une base pour un espace de Hilbert dont le produit scalaire est défini par rapport à la densité des données. Les fonctions propres définissent une transformation de coordonnées naturelles pour de nouveaux points, alors que des méthodes comme la classification spectrale et les 'Laplacian eigenmaps' ne fournissaient un système de coordonnées que pour les exemples d'apprentissage. Cette analyse suggère aussi de nouvelles approches à l'apprentissage non-supervisé dans lesquelles on extrait des abstractions qui résument la densité des données, telles que des variétés et des classes naturelles.

In this paper, we show a direct equivalence between spectral clustering and kernel PCA, and how both are special cases of a more general learning problem, that of learning the principal eigenfunctions of a kernel, when the functions are from a Hilbert space whose inner product is defined with respect to a density model. This defines a natural mapping for new data points, for methods that only provided an embedding, such as spectral clustering and Laplacian eigenmaps. The analysis also suggests new approaches to unsupervised learning in which abstractions such as manifolds and clusters that represent the main features of the data density are extracted.
URI: http://www.cirano.qc.ca/pdf/publication/2003s-19.pdf
https://depot.erudit.org/id/000074dd
ISSN: 1198-8177
Appears in Collections:Cahiers scientifiques

Files in This Item:

2003s-19.pdf (Adobe PDF ; 329.18 kB)

Items in the Repository are protected by copyright, with all rights reserved, unless otherwise indicated.

 

About Érudit | Subscriptions | RSS | Terms of Use | Contact us |

Consortium Érudit ©  2016