Slowness learning

Abstract

In dieser Doktorarbeit wird Langsamkeit als unüberwachtes Lernprinzip in sensorischen Systemen untersucht. Dabei wird zwei Aspekten besondere Aufmerksamkeit gewidmet: der mathematischen Analyse von Slow Feature Analysis - einer Implementierung des Langsamkeitsprinzips - und der Frage, wie das Langsamkeitsprinzip biologisch umgesetzt werden kann. Im ersten Teil wird zunächst eine mathematische Theorie für Slow Feature Analysis entwickelt, die zeigt, dass die optimalen Funktionen für Slow Feature Analysis die Lösungen einer partiellen Differentialgleichung sind. Die Theorie erlaubt, das Verhalten komplizierter Anwendungen analytisch vorherzusagen und intuitiv zu verstehen. Als konkrete Anwendungen wird das Erlernen von Orts- und Kopfrichtungszellen, sowie von komplexen Zellen im primären visuellen Kortex vorgestellt. Im Rahmen einer technischen Anwendung werden die theoretischen Ergebnisse verwendet, um einen neuen Algorithmus für nichtlineare blinde Quellentrennung zu entwickeln und zu testen. Als Abschluss des ersten Teils wird die Beziehung zwischen dem Langsamkeitsprinzip und dem Lernprinzip der verhersagenden Kodierung mit Hilfe eines informationstheoretischen Ansatzes untersucht. Der zweite Teil der Arbeit befasst sich mit der Frage der biologischen Implementierung des Langsamkeitsprinzips. Dazu wird zunächst gezeigt, dass Spikezeit-abhängige Plastizität unter bestimmten Bedingungen als Implementierung des Langsamkeitsprinzips verstanden werden kann. Abschließend wird gezeigt, dass sich die Lerndynamik sowohl von gradientenbasiertem Langsamkeitslernen als auch von Spikezeit-abhängiger Plastizität mathematisch durch Reaktions-Diffusions-Gleichungen beschreiben lässt.

In this thesis, we investigate slowness as an unsupervised learning principle of sensory processing. Two aspects are given particular emphasis: (a) the mathematical analysis of Slow Feature Analysis (SFA) as one particular implementation of slowness learning and (b) the question, how slowness learning can be implemented in a biologically plausible fashion. In the first part of the thesis, we develop a mathematical framework for SFA and show that the optimal functions for SFA are the solutions of a partial differential eigenvalue problem. The theory allows (a) to make analytical predictions for the behavior of complicated applications and (b) an intuitive understanding of how the statistics of the input data are reflected in the optimal functions of SFA. The theory is applied to the learning of place and head-direction representations and to the learning of complex cell receptive fields as found in primary visual cortex. As a technical application, we use the theoretical results to develop and test a new algorithm for nonlinear blind source separation. The first part of the thesis is concluded by an information-theoretic analysis of the relation between slowness learning and predictive coding. In the second part of the thesis, we study the question, how slowness learning could be implemented in a biologically plausible manner. To this end, we first show that spike timing-dependent plasticity can under certain conditions be interpreted as an implementation of slowness learning. Finally, we show that both gradient-based slowness learning and spike timing-dependent plasticity lead to receptive field dynamics that can be described in terms of reaction-diffusion equations.