Co-registration of eye movements and EEG during active vision

Abstract

Obwohl Blickbewegungen einen elementaren Bestandteil des natürlichen Sehens darstellen, werden hirnelektrische Korrelate der visuellen Verarbeitung im Elektroenzephalogramm (EEG) zumeist während passiver Stimulation des ruhenden Auges erfasst. Ein alternativer methodischer Zugang ist die Kopplung des EEG an Beginn oder Ende natürlich auftretender Augenbewegungen mit Hilfe simultanen, hochauflösenden Eye-Trackings (ET). Die resultierenden sakkaden- bzw. fixationskorrelierten Potentiale (SRPs/FRPs) wurden in zwei Forschungskontexten untersucht und angewendet. Der erste Teil der Arbeit (Publikation 1 & 2) befasst sich mit den elektrophysiologischen Korrelaten von Mikrosakkaden, unwillkürlichen Fixationsaugenbewegungen die auch während traditioneller EEG-Messungen auftreten. Es wird gezeigt, dass Mikrosakkaden trotz ihrer geringen Amplitude eine wesentliche, aber mit herkömmlichen Methoden kaum auszuschließende Quelle muskulärer und kortikaler Aktivität im EEG darstellen (mikrosakkadische SRPs), welche in der Mehrzahl experimenteller Durchgängen aktiv ist, und zur Fehlinterpretation reizgekoppelter Potentiale führen kann. Der zweite Teil der Arbeit demonstriert die Machbarkeit und Nützlichkeit von FRP-Analysen zur Untersuchung hirnelektrischer Prozesse beim Lesen. In Publikation 3 werden Einflüsse verschiedener Messartefakte sowie visuell-evozierter, motorischer und kognitiv modulierter Potentiale auf die FRP-Wellenform beschrieben und Methoden zur Signaloptimierung vorgeschlagen. Wir zeigen, dass sich im natürlichen Satzlesen der klassische N400 Wortvorhersagbarkeitseffekt reproduzieren und in Bezug zu Maßen der Fixationsdauer setzen lässt. In Publikation 4 wurde mittels FRPs das Ausmaß der parafovealen Wortverarbeitung bestimmt. Simultanes ET ist eine sinnvolle Ergänzung zur bestehenden EEG-Methodik, sowohl zur Kontrolle von Mikroaugenbewegungen, als auch zur Erforschung natürlichen Blickbewegungsverhaltens und Integration von Befunden der ET- und EEG-Forschung.

Although natural vision involves an active sampling of the environment with several saccadic eye movements per second, electroencephalographic (EEG) correlates of visual cognition are predominantly recorded under artificial conditions of prolonged fixation. An alternative approach to EEG analysis, explored in the present thesis, is to time-lock the signal not to passive stimulations, but to the on- or offsets of naturally occurring eye movements, yielding saccade- and fixation-related potentials (SRPs/FRPs). Using simultaneous high-resolution eye-tracking (ET), this technique was applied in two contexts. The first part of the thesis (publications 1 & 2) investigated brain-electric correlates of microsaccades, small involuntary eye movements, which occur despite attempted fixation during traditional EEG paradigms. In a series of experiments, we show that SRPs from microsaccades present a significant, but normally hidden source of visuocortical potentials that is active in most trials and can confound the interpretation of stimulus-locked data under specific conditions. The second part of the thesis assessed the feasibility and utility of using FRPs in the study of natural reading. Publication 3 provides a review of artifact sources, low-level factors, and high-level influences determining the FRP waveform in free viewing and proposes methods to optimize signal quality. We then replicate the N400 word predictability effect, a cornerstone of neurolinguistic research, in left-to-right sentence reading and relate N400 amplitude to measures of fixation time. In publication 4, the FRP technique was combined with gaze-contingent display manipulations to investigate the depth of parafoveal preprocessing in fluent reading. Our results show that simultaneous recordings improve the understanding of electrophysiological data recorded during fixation, extend the EEG’s methodological scope to naturalistic viewing scenarios, and help to integrate findings from EEG and ET research.