VolumetricOR: A New Approach to Simulate Surgical Interventions in Virtual Reality for Surgical Education

Abstract

VolumetricOR ist eine Anwendung zur videobasierten Simulation der komplexen Interaktion und Zusammenarbeit zwischen chirurgischen Gesundheitsberufen. Ziel ist es, das gegenseitige Verständnis der Arbeitsabläufe und Entscheidungswege chirurgischer Gesundheitsberufe, wie etwa Chirurgen, Anästhesisten und chirurgischer Assistenten, zu verbessern und zu verbessern.

In einer Virtual Reality Umgebung können Benutzer chirurgische Eingriffe und Arbeitsabläufe aus jeder Perspektive und in realem Maßstab dreidimensional nachvollziehen. Die Grundlage von VolumetricOR ist ein technischer Workflow, der aus drei Elementen besteht: a) einer fotogrammetrischen Rekonstruktion eines Operationssaals der Charité - Universitätsmedizin Berlin, Campus Charité Mitte, b) volumetrischen Videosequenzen, die direkt im Operationssaal aufgenommen werden und c) Ortsbasierte Metadaten, die der Szene eine digitale Ebene interaktiver Informationen hinzufügen.

Die Anwendung VolumetricOR bietet eine Einführung in das volumetrische Videoformat und ermöglicht es BenutzerInnen, Sequenzen einer chirurgischer Arbeitsabläufe nachzuvollziehen. Das Projekt wurde im Rahmen einer interdisziplinären Forschungskooperation zwischen Chirurgie, Design und Medienwissenschaft an der Klinik für Chirurgie / Experimentelle Chirurgie der Charité - Universitätsmedizin Berlin und dem Exzellenzcluster Bild Wissen Gestaltung der Humboldt-Universität zu Berlin entwickelt. Der Prototyp ist eine native Virtual-Reality-Anwendung, die für die Verwendung mit dem Vive-Headset (HTC Inc., New Taipei, Taiwan) optimiert ist, jedoch mit allen Geräten kompatibel ist, die die Steam-Plattform unterstützen (Valve Corporation, Bellevue, USA). Neben der Anwendung werden hier auch die Rohdatensätze zur Verfügung gestellt.

Based on the combination of virtual reality and volumetric video, VolumetricOR presents the prototype for a digital classroom to simulate the complex interaction and collaboration of surgical health professions, i.e. surgeons, anaesthesiologists and surgical assistants in a virtual operating room.

Situated in a virtual reality environment, users can experience surgical workflows based on the spatial reconstruction of photo and video images recorded directly in the operating theatre. VolumetricOR implements volumetric data into a virtual reality environment in which users are situated within the surgical scene in a way that lets them experience surgical action and workflows three-dimensionally, from any perspective and in real scale. The core of VolumetricOR is a technical workflow that consists of three elements: a) a photogrammetric reconstruction of an operating room at Charité – Universitätsmedizin Berlin, Campus Charité Mitte, b) volumetric video sequences which are recorded directly in the operating room and c) location-based metadata that adds a digital layer of interactive information inside the surgical scene.

The software VolumetricOR features a comprehensible introduction into the volumetric video format and lets users explore sequences of a living kidney donation surgery. The project has been developed during an interdisciplinary research collaboration between surgery, design and media studies at the Department of Surgery / Experimental Surgery at Charité – Universitätsmedizin Berlin and the Cluster of Excellence Image Knowledge Gestaltung at Humboldt-Universität zu Berlin. The prototype is a native virtual reality application that is optimized for use with the Vive headset (HTC Inc., New Taipei, Taiwan) but is compatible with all devices that support the Steam platform (Valve Corporation, Bellevue, U.S.). In addition to the software, the raw data sets are also made available here.