Show simple item record

2006-01-31Dissertation DOI: 10.18452/15414
Temporal slowness as an unsupervised learning principle
dc.contributor.authorBerkes, Pietro
dc.date.accessioned2017-06-18T07:25:48Z
dc.date.available2017-06-18T07:25:48Z
dc.date.created2006-02-24
dc.date.issued2006-01-31
dc.identifier.urihttp://edoc.hu-berlin.de/18452/16066
dc.description.abstractIn dieser Doktorarbeit untersuchen wir zeitliche Langsamkeit als Prinzip für die Selbstorganisation des sensorischen Kortex sowie für computer-basierte Mustererkennung. Wir beginnen mit einer Einführung und Diskussion dieses Prinzips und stellen anschliessend den Slow Feature Analysis (SFA) Algorithmus vor, der das matemathisches Problem für diskrete Zeitreihen in einem endlich dimensionalen Funktionenraum löst. Im Hauptteil der Doktorarbeit untersuchen wir zeitliche Langsamkeit als Lernprinzip für rezeptive Felder im visuellen Kortex. Unter Verwendung von SFA werden Transformationsfunktionen gelernt, die, angewendet auf natürliche Bildsequenzen, möglichst langsam variierende Merkmale extrahieren. Die Funktionen können als nichtlineare raum-zeitliche rezeptive Felder interpretiert und mit Neuronen im primären visuellen Kortex (V1) verglichen werden. Wir zeigen, dass sie viele Eigenschaften von komplexen Zellen in V1 besitzen, nicht nur die primären, d.h. Gabor-ähnliche optimale Stimuli und Phaseninvarianz, sondern auch sekundäre, wie Richtungsselektivität, nicht-orthogonale Inhibition sowie End- und Seiteninhibition. Diese Resultate zeigen, dass ein einziges unüberwachtes Lernprinzip eine solche Mannigfaltigkeit an Eigenschaften begründen kann. Für die Analyse der mit SFA gelernten nichtlinearen Funktionen haben wir eine Reihe mathematischer und numerischer Werkzeuge entwickelt, mit denen man die quadratischen Formen als rezeptive Felder charakterisieren kann. Wir erweitern sie im weiteren Verlauf, um sie von allgemeinerem Interesse für theoretische und physiologische Modelle zu machen. Den Abschluss dieser Arbeit bildet die Anwendung des Prinzips der zeitlichen Langsamkeit auf Mustererkennungsprobleme. Die fehlende zeitliche Struktur in dieser Problemklasse erfordert eine Modifikation des SFA-Algorithmus. Wir stellen eine alternative Formulierung vor und wenden diese auf eine Standard-Datenbank von handgeschriebenen Ziffern an.ger
dc.description.abstractIn this thesis we investigate the relevance of temporal slowness as a principle for the self-organization of the visual cortex and for technical applications. We first introduce and discuss this principle and put it into mathematical terms. We then define the slow feature analysis (SFA) algorithm, which solves the mathematical problem for multidimensional, discrete time series in a finite dimensional function space. In the main part of the thesis we apply temporal slowness as a learning principle of receptive fields in the visual cortex. Using SFA we learn the input-output functions that, when applied to natural image sequences, vary as slowly as possible in time and thus optimize the slowness objective. The resulting functions can be interpreted as nonlinear spatio-temporal receptive fields and compared to neurons in the primary visual cortex (V1). We find that they reproduce (qualitatively and quantitatively) many of the properties of complex cells in V1, not only the two basic ones, namely a Gabor-like optimal stimulus and phase-shift invariance, but also secondary ones like direction selectivity, non-orthogonal inhibition, end-inhibition and side-inhibition. These results show that a single unsupervised learning principle can account for a rich repertoire of receptive field properties. In order to analyze the nonlinear functions learned by SFA in our model, we developed a set of mathematical and numerical tools to characterize quadratic forms as receptive fields. We expand them in a successive chapter to be of more general interest for theoretical and physiological models. We conclude this thesis by showing the application of the temporal slowness principle to pattern recognition. We reformulate the SFA algorithm such that it can be applied to pattern recognition problems that lack of a temporal structure and present the optimal solutions in this case. We then apply the system to a standard handwritten digits database with good performance.eng
dc.language.isoeng
dc.publisherHumboldt-Universität zu Berlin, Mathematisch-Naturwissenschaftliche Fakultät I
dc.rights.urihttp://rightsstatements.org/vocab/InC/1.0/
dc.subjectMustererkennungger
dc.subjectzeitliche Langsamkeitger
dc.subjectkomplexe Zellenger
dc.subjectslow feature analysisger
dc.subjectSFAger
dc.subjectrezeptive Felderger
dc.subjectquadratische Formenger
dc.subjecttemporal slownesseng
dc.subjectcomplex cellseng
dc.subjectslow feature analysiseng
dc.subjectSFAeng
dc.subjectreceptive fieldseng
dc.subjectquadratic formseng
dc.subjectpattern recognitioneng
dc.subjectfeature extractioneng
dc.subject.ddc570 Biologie
dc.titleTemporal slowness as an unsupervised learning principle
dc.typedoctoralThesis
dc.subtitleself-organization of complex-cell receptive fields and application to pattern recognition
dc.identifier.urnurn:nbn:de:kobv:11-10058759
dc.identifier.doihttp://dx.doi.org/10.18452/15414
dc.identifier.alephidHU001541805
dc.date.accepted2005-06-23
dc.contributor.refereeHerz, Andreas
dc.contributor.refereeWiskott, Laurenz
dc.contributor.refereeKönig, Peter
dc.subject.dnb32 Biologie
dc.subject.rvkYG 4404
dc.subject.rvkYG 4414
dc.subject.rvkYG 4421
dc.subject.rvkYG 4493
local.edoc.type-nameDissertation
local.edoc.institutionMathematisch-Naturwissenschaftliche Fakultät I

Show simple item record