Gaze Behaviour and Its Functional Role During Facial Expression Recognition

Abstract

Die visuelle Enkodierung emotionaler Gesichtsausdrücke stellt bisher ein Rätsel dar. Ziel der vorliegenden Dissertation war es daher, durch die Untersuchung von Blickbewegungen und ihrer Funktionalität für das Erkennen von Gesichtsausdrücken, neue Erkenntnisse zu den zugrundeliegenden Prozessen zu liefern. In vier Blickbewegungsexperimenten, in denen Probanden ärgerliche, angeekelte, fröhliche, traurige und neutrale Gesichtsausdrücke in statischer und dynamischer Darbietung kategorisieren sollten, wurde untersucht, ob allgemeine Strategien der Gesichterverarbeitung bereits auf der Ebene der visuellen Enkodierung anhand spezifischer Blickbewegungsmuster zu identifizieren sind und ob Unterschiede bei der initialen Aufnahme visueller Information als Folge unterschiedlicher Fixationspositionen das Erkennen von Gesichtsausdrücken beeinflussen. Die Ergebnisse zeigten, dass für statische Gesichtsausdrücke nur sehr wenige Fixationen gemacht werden, die hauptsächlich auf das Zentrum des Gesichts und auf emotionsspezifische, diagnostische Gesichtsmerkmale gerichtet sind, was eine kombiniert holistisch-merkmalsorientierte Enkodierungsstrategie nahelegt. Für weniger intensive und dynamische Gesichtsausdrücke deuten die Ergebnisse auf eine stärker konfigurale Enkodierungsstrategie mit mehreren Fixationen zu einer größeren Anzahl unterschiedlicher Gesichtsmerkmale hin. Darüber hinaus waren Blickbewegungsunterschiede relevant für die Emotionserkennung. Die Fixation diagnostischer Gesichtsmerkmale beschleunigte das Erkennen statischer Gesichtsausdrücke. Für das Erkennen dynamischer Gesichtsausdrücke war hingegen eine zentrale Fixationsposition vorteilhaft, vermutlich durch die Förderung von holistischer Gesichterverarbeitung und Veränderungserkennung. Insgesamt zeigte sich, dass allgemeine Strategien der Gesichterverarbeitung bereits auf der Ebene der visuellen Enkodierung identifizierbar sind und dass Unterschiede in diesen frühen Prozessen die Erkennungsleistung beeinflussen.

Processes that underlie the visual encoding of facial expressions still pose a conundrum. Therefore, this dissertation set out to provide new insights into these processes by investigating gaze behaviour and its functional role during the recognition of facial expressions. Four experimental studies were conducted to examine whether general face processing strategies are already reflected on the visual encoding stage of facial expression recognition indicated by specific fixation patterns and whether differences at the initial uptake of visual information as a consequence of varying fixation positions affect facial expression recognition. Gaze behaviour was recorded while participants were asked to categorise angry, disgusted, happy, sad, and neutral facial expressions in static and dynamic displays. Results revealed that gaze behaviour for static facial expressions was characterised by only a few fixations mainly directed to the centre and to expression-specific diagnostic facial features of the face, suggesting a combined holistic and featural encoding strategy. For less intense and dynamic facial expressions, results indicated a more configural encoding strategy with multiple fixations to a greater number of different facial features. In addition, differences in gaze strategy were relevant for facial expression recognition. Fixating diagnostic facial features accelerated the recognition of static facial expressions. In contrast, a central fixation position was beneficial for recognizing dynamic facial expressions, presumably by facilitating holistic face processing and change detection. Overall, findings demonstrated that general face processing strategies are already reflected on the visual encoding stage of facial expression recognition and that variations in these early processes affect recognition performance.