Guided by generalization and uncertainty

Abstract

Wie navigieren Menschen in unüberschaubaren Umgebungen, wenn es nicht möglich ist, alle Optionen ausführlich zu untersuchen? Die Forschung zum menschlichen Lernen hat in den letzten Jahrzehnten rasche Fortschritte gemacht: Von der Entdeckung des neuronalen Substrats für Vorhersagefehler bis hin zur Verwendung ähnlicher Prinzipien zum Aufbau künstlicher Intelligenz, die in Geschicklichkeitsspielen wie Go die besten menschlichen Spieler schlagen kann. Bisher lag der Forschungsschwerpunkt auf dem Lernen durch wiederholte Interaktionen mit ein und derselben Situation. Dabei ist ungeklärt, wie Menschen sich schnell an neue Situationen anpassen können und aus spärlichen Beispielen lernen können. Wir schlagen vor, dass die Generalisierung eine wesentliche Rolle dabei spielt, wie Men- schen effizient die Welt erforschen und sich in ihr zurechtfinden. Inspiriert von Roger Shepards „law of generalization“ präsentieren wir eine allgemeine Theorie der Generalisierung in räumlichen, konzeptuellen und strukturierten Umgebungen. Wir verwenden ein Funktionslernmodell, um zu beschreiben, wie Menschen begrenzte Erfahrungen auf eine Vielzahl neuer Situationen generalisieren, basierend auf dem einfachen Prinzip, dass ähnliche Aktionen zu ähnlichen Ergebnissen führen. Unser Modell der Generalisierung erzeugt Vorhersagen über die erwartete Belohnung und die damit verbundene Unsicherheit unerforschter Optionen—zwei wichtige Komponenten dafür, wie Menschen die Welt aktiv erkunden.

How do people navigate the vastness of real-world environments where it is not feasible to explore all possibilities and the exact same situation is rarely encountered twice? The study of human learning has made rapid progress in the past decades, from discovering the neural substrate of reward prediction errors, to using similar principles to build artificial intelligence capable of beating the best human players in skillful games such as Go. Yet this line of research has primarily focused on learning through repeated interactions with the same stimuli. How are humans able to rapidly adapt to novel situations and learn from such sparse examples? We propose that generalization plays a crucial role in guiding human exploration and learning. Inspired by Roger Shepard’s law of generalization, we present a domain general theory of generalization across spatial, conceptual, and structured environments. We use a function learning model to describe how people generalize limited experiences to a wide set of novel possibilities, based on the simple principle that similar actions produce similar outcomes. Our model of generalization generates predictions about the expected reward and underlying uncertainty of unexplored options, where both are vital components in how people actively explore the world.