edoc-Server der Humboldt-Universität zu Berlin

Dissertation

Autor(en): Pietro Berkes
Titel: Temporal slowness as an unsupervised learning principle – self-organization of complex-cell receptive fields and application to pattern recognition
Gutachter: Andreas Herz; Laurenz Wiskott; Peter König
Erscheinungsdatum: 31.01.2006
Volltext: pdf (urn:nbn:de:kobv:11-10058759)
Fachgebiet(e): Biowissenschaften, Biologie
Schlagwörter (ger): Mustererkennung, zeitliche Langsamkeit, komplexe Zellen, slow feature analysis, SFA, rezeptive Felder, quadratische Formen
Schlagwörter (eng): temporal slowness, complex cells, slow feature analysis, SFA, receptive fields, quadratic forms, pattern recognition, feature extraction
Einrichtung: Humboldt-Universität zu Berlin, Mathematisch-Naturwissenschaftliche Fakultät I
Zitationshinweis: Berkes, Pietro: Temporal slowness as an unsupervised learning principle – self-organization of complex-cell receptive fields and application to pattern recognition; Dissertation, Humboldt-Universität zu Berlin, Mathematisch-Naturwissenschaftliche Fakultät I , publiziert am 31.01.2006, urn:nbn:de:kobv:11-10058759
Metadatenexport: Um den gesamten Metadatensatz im Endnote- oder Bibtex-Format zu speichern, klicken Sie bitte auf den entsprechenden Link. Endnote   Bibtex  
print on demand: Wenn Sie auf dieses Icon klicken, können Sie ein Druckexemplar dieser Publikation bestellen.
Diese Seite taggen: Diese Icons führen auf so genannte Social-Bookmark-Systeme, auf denen Sie Lesezeichen anlegen, persönliche Tags vergeben und Lesezeichen anderer Nutzer ansehen können.
  • connotea
  • del.icio.us
  • Furl
  • RawSugar

Abstract (ger):
In dieser Doktorarbeit untersuchen wir zeitliche Langsamkeit als Prinzip für die Selbstorganisation des sensorischen Kortex sowie für computer-basierte Mustererkennung. Wir beginnen mit einer Einführung und Diskussion dieses Prinzips und stellen anschliessend den Slow Feature Analysis (SFA) Algorithmus vor, der das matemathisches Problem für diskrete Zeitreihen in einem endlich dimensionalen Funktionenraum löst. Im Hauptteil der Doktorarbeit untersuchen wir zeitliche Langsamkeit als Lernprinzip für rezeptive Felder im visuellen Kortex. Unter Verwendung von SFA werden Transformationsfunktionen gelernt, die, angewendet auf natürliche Bildsequenzen, möglichst langsam variierende Merkmale extrahieren. Die Funktionen können als nichtlineare raum-zeitliche rezeptive Felder interpretiert und mit Neuronen im primären visuellen Kortex (V1) verglichen werden. Wir zeigen, dass sie viele Eigenschaften von komplexen Zellen in V1 besitzen, nicht nur die primären, d.h. Gabor-ähnliche optimale Stimuli und Phaseninvarianz, sondern auch sekundäre, wie Richtungsselektivität, nicht-orthogonale Inhibition sowie End- und Seiteninhibition. Diese Resultate zeigen, dass ein einziges unüberwachtes Lernprinzip eine solche Mannigfaltigkeit an Eigenschaften begründen kann. Für die Analyse der mit SFA gelernten nichtlinearen Funktionen haben wir eine Reihe mathematischer und numerischer Werkzeuge entwickelt, mit denen man die quadratischen Formen als rezeptive Felder charakterisieren kann. Wir erweitern sie im weiteren Verlauf, um sie von allgemeinerem Interesse für theoretische und physiologische Modelle zu machen. Den Abschluss dieser Arbeit bildet die Anwendung des Prinzips der zeitlichen Langsamkeit auf Mustererkennungsprobleme. Die fehlende zeitliche Struktur in dieser Problemklasse erfordert eine Modifikation des SFA-Algorithmus. Wir stellen eine alternative Formulierung vor und wenden diese auf eine Standard-Datenbank von handgeschriebenen Ziffern an.
Abstract (eng):
In this thesis we investigate the relevance of temporal slowness as a principle for the self-organization of the visual cortex and for technical applications. We first introduce and discuss this principle and put it into mathematical terms. We then define the slow feature analysis (SFA) algorithm, which solves the mathematical problem for multidimensional, discrete time series in a finite dimensional function space. In the main part of the thesis we apply temporal slowness as a learning principle of receptive fields in the visual cortex. Using SFA we learn the input-output functions that, when applied to natural image sequences, vary as slowly as possible in time and thus optimize the slowness objective. The resulting functions can be interpreted as nonlinear spatio-temporal receptive fields and compared to neurons in the primary visual cortex (V1). We find that they reproduce (qualitatively and quantitatively) many of the properties of complex cells in V1, not only the two basic ones, namely a Gabor-like optimal stimulus and phase-shift invariance, but also secondary ones like direction selectivity, non-orthogonal inhibition, end-inhibition and side-inhibition. These results show that a single unsupervised learning principle can account for a rich repertoire of receptive field properties. In order to analyze the nonlinear functions learned by SFA in our model, we developed a set of mathematical and numerical tools to characterize quadratic forms as receptive fields. We expand them in a successive chapter to be of more general interest for theoretical and physiological models. We conclude this thesis by showing the application of the temporal slowness principle to pattern recognition. We reformulate the SFA algorithm such that it can be applied to pattern recognition problems that lack of a temporal structure and present the optimal solutions in this case. We then apply the system to a standard handwritten digits database with good performance.
Zugriffsstatistik: Die Daten für die Zugriffsstatistik der einzelnen Dokumente wurden aus den durch AWStats aggregierten Webserver-Logs erstellt. Sie beziehen sich auf den monatlichen Zugriff auf den Volltext sowie auf die Startseite. Die Zugriffsstatistik wird nicht standardisiert erfasst und kann maschinelle Zugriffe enthalten.
 
Bei Formatversionen eines Dokuments, die aus mehreren Dateien bestehen (insbesondere HTML), wird jeweils der monatlich höchste Zugriffswert auf eine der Dateien (Kapitel) des Dokuments angezeigt.
 
Um die detaillierten Zugriffszahlen zu sehen, fahren Sie bitte mit dem Mauszeiger über die einzelnen Balken des Diagramms.
Startseite: 5 Zugriffe PDF: 12 Zugriffe Startseite: 5 Zugriffe PDF: 10 Zugriffe Startseite: 5 Zugriffe PDF: 2 Zugriffe PDF: 12 Zugriffe Startseite: 4 Zugriffe PDF: 13 Zugriffe Startseite: 1 Zugriffe PDF: 12 Zugriffe Startseite: 1 Zugriffe PDF: 9 Zugriffe PDF: 43 Zugriffe PDF: 47 Zugriffe Startseite: 2 Zugriffe PDF: 13 Zugriffe Startseite: 11 Zugriffe PDF: 25 Zugriffe Startseite: 3 Zugriffe PDF: 13 Zugriffe PDF: 14 Zugriffe PDF: 15 Zugriffe PDF: 18 Zugriffe PDF: 13 Zugriffe PDF: 21 Zugriffe PDF: 27 Zugriffe PDF: 38 Zugriffe Startseite: 6 Zugriffe PDF: 25 Zugriffe PDF: 27 Zugriffe Startseite: 5 Zugriffe PDF: 24 Zugriffe Startseite: 6 Zugriffe PDF: 30 Zugriffe PDF: 17 Zugriffe Startseite: 1 Zugriffe PDF: 18 Zugriffe Startseite: 2 Zugriffe PDF: 24 Zugriffe Startseite: 4 Zugriffe PDF: 31 Zugriffe Startseite: 3 Zugriffe PDF: 34 Zugriffe PDF: 65 Zugriffe Startseite: 1 Zugriffe PDF: 24 Zugriffe Startseite: 4 Zugriffe PDF: 32 Zugriffe PDF: 28 Zugriffe PDF: 37 Zugriffe Startseite: 1 Zugriffe PDF: 27 Zugriffe Startseite: 3 Zugriffe PDF: 28 Zugriffe Startseite: 10 Zugriffe PDF: 29 Zugriffe Startseite: 5 Zugriffe PDF: 29 Zugriffe
Jul
11
Aug
11
Sep
11
Oct
11
Nov
11
Dec
11
Feb
12
Apr
12
May
12
Jun
12
Jul
12
Aug
12
Sep
12
Oct
12
Nov
12
Dec
12
Jan
13
Feb
13
Mar
13
Apr
13
May
13
Jun
13
Jul
13
Aug
13
Sep
13
Oct
13
Nov
13
Dec
13
Jan
14
Feb
14
Mar
14
Apr
14
May
14
Jun
14
Jul
14
Aug
14
Sep
14
Monat Jul
11
Aug
11
Sep
11
Oct
11
Nov
11
Dec
11
Feb
12
Apr
12
May
12
Jun
12
Jul
12
Aug
12
Sep
12
Oct
12
Nov
12
Dec
12
Jan
13
Feb
13
Mar
13
Apr
13
May
13
Jun
13
Jul
13
Aug
13
Sep
13
Oct
13
Nov
13
Dec
13
Jan
14
Feb
14
Mar
14
Apr
14
May
14
Jun
14
Jul
14
Aug
14
Sep
14
Startseite 5 5 5   4 1 1     2 11 3               6   5 6   1 2 4 3   1 4     1 3 10 5
PDF 12 10 2 12 13 12 9 43 47 13 25 13 14 15 18 13 21 27 38 25 27 24 30 17 18 24 31 34 65 24 32 28 37 27 28 29 29

Gesamtzahl der Zugriffe seit Jul 2011:

  • Startseite – 88 (2.38 pro Monat)
  • PDF – 886 (23.95 pro Monat)
 
 
Generiert am 31.10.2014, 03:38:40