Nichtlineare Hauptkomponentenanalyse auf Basis neuronaler Netze

Abstract

Die Hauptkomponentenanalyse (Principal Component Analysis, PCA) ist eine weit verbreitete und vielfältig anwendbare Methode der Dimensionsreduktion und der Merkmalsextraktion. Sie wird benutzt zur Komprimierung, zum Entrauschen von Daten oder allgemein als Vorverarbeitung bei Klassifikations-, Regressions- oder Quellentrennungsaufgaben. Die PCA ist auf die Erkennung linearer Strukturen in Datenräumen beschränkt. Daher gibt es verschiedene Ansätze, eine mächtigere Methode zur Merkmalsextraktion zu entwickeln, welche auch nichtlineare Strukturen erkennen kann. In dieser Arbeit wird eine nichtlineare PCA auf der Basis eines autoassoziativen neuronalen Netzes untersucht - dem Autoencoder. Es werden die Möglichkeiten, aber auch die Grenzen dieser Netzarchitektur aufgezeigt. Darauf aufbauend wird eine nichtlineare PCA konstruiert, deren nichtlineare Komponenten hierarchisch geordnet sind, vergleichbar mit der Ordnung der linearen Komponenten der klassischen PCA. Anschließend wird diese nichtlineare PCA mit anderen Methoden der nichtlinearen Merkmalsextraktion anhand verschiedener Datensätze aus unterschiedlichen Anwendungsgebieten verglichen.

Nonlinear principal component analysis (NLPCA) is known as a nonlinear generalization of the standard principal component analysis (PCA). Since nonlinear PCA is a non-unique concept, it is discussed, how nonlinear PCA can be defined as a nonlinear feature extraction technique most similar to linear PCA. The nonlinear reduction of a data set from its original dimension to the intrinsic dimension of the data is one aspect, but we also request that the nonlinear features spanning this intrinsic data space are hierarchically arranged similar to the linear features of PCA. Thus, such nonlinear PCA is a powerful pre-processing step. It can be used as nonlinear sphering (whitening) or it can be considered as a smoothing method which removes nonlinear correlations between variables. Nonlinear PCA can be performed by minimizing a hierarchical error function. This error function is applied to the autoencoder which is a multi-layer perceptron used in auto-associative mode to perform the identity mapping.