Das interaktive Bild

Virtuelle Realität findet nicht nur in komplexen Installationen statt, die ein völliges Eintauchen in die virtuelle Welt erlauben und die Betrachter von der Außenwelt abschotten. Auch auf normalen PCs kann am Monitor in virtuellen Welten navigiert werden. Einige dieser Desktop-VR-Systeme lassen sich über Rechnernetze nutzen, insbesondere bei Verwendung film- und bildgestützter Verfahren der virtuellen Realität.

Abbildung statt Modellierung

Herkömmliche Verfahren der virtuellen Realität (VR) berechnen aus einem zuvor erzeugten dreidimensionalen Modell zur Darstellungszeit die erforderlichen Ansichten und stellen sie dar [5]. In der Modellierungsphase ist die Darstellung von Realität vielfach ein Problem der Komplexität; insbesondere reale Umgebungen können sehr komplex und vielschichtig sein und erfordern so einen entsprechend hohen Modellierungsaufwand. Abhilfe können für abstrakte Objekte Regelsysteme [7] schaffen, die aber schnell an ihre Grenzen stoßen und Realitätsnähe in der Darstellung vermissen lassen. Aber auch die Repräsentations- und die Darstellungskomplexität steigt mit zunehmender Realitätsnähe, was sich dann negativ auf die Darstellungsleistung auswirkt. Vielfach wird eine spezielle Hardware erforderlich.

Werden dagegen, wie bei den film- und bildgestützten Verfahren der VR, Bilder als Grundlage für die Erzeugung der virtuellen Welt verwendet, entfällt die Modellierungsphase, und eine realitätsnahe Darstellung ist durch den Abbildungscharakter automatisch vorhanden. Bei diesen Ansätzen handelt es sich somit um Erweiterungen des Bildes. Das Bild wird um Interaktivität und Navigierbarkeit erweitert.


Abb. 1: Herkömmliche VR vs. film- und bildgestützte VR

Außerdem wird die Berechnung des zur Darstellung kommenden Bildes vom eigentlichen Darstellungsprozeß entkoppelt, da alle Bilddaten zur Darstellungszeit bereits vorliegen. Die Darstellungskomplexität ist somit unabhängig von der Szenenkomplexität. Dies führt dazu, daß für die Darstellung der virtuellen Welt keine aufwendige Spezial-Hardware erforderlich ist und so eine Nutzung auch über Rechnernetze problemlos möglich wird, da relativ geringe Anforderungen an die Endgeräte gestellt werden. So kann es sogar sinnvoll sein, zunächst aus dreidimensionalen Modellen einzelne Bilder zu generieren und hieraus dann film- bzw. bildgestützte virtuelle Welten herzustellen1.

Film- und bildgestützte Verfahren der virtuellen Realität

Diese Verfahren stammen ursprünglich aus der Videospiel-Industrie [6], und auch heute noch gehören die meisten Anwendungen in den Freizeit- und Unterhaltungssektor. Film- und bildgestützte virtuelle Welten lassen sich relativ einfach und schnell erzeugen2.

Bei den filmgestützten Verfahren wird jede mögliche Ansicht als vollständiges Bild abgespeichert. Alle darzustellenden Ansichten werden beim Erzeugungsprozeß bearbeitet und abgespeichert. Die simulierten Bewegungen werden dann über Einzelbilddarstellungen realisiert. Für die Darstellung ist so nur noch ein einfaches Darstellungsprogramm erforderlich. Um mit diesem Verfahren weiche Bewegungen zu simulieren, müssen viele Blickrichtungen zugelassen werden. Es sind dann große Überlappungen zwischen den einzelnen Bildern notwendig, und die Bildinformationen sind hochgradig redundant. Simulierte Standortveränderungen werden über Filmsequenzen realisiert, mögliche Alternativen für die Standortveränderung über Verzweigungen dieser Filmsequenzen. Dieser Ansatz ist auch unter dem Namen Verzweigende Filme bekannt [6] und wurde u.a. bei der Movie Map, einem frühen Beispiel für die Verwendung von verzweigenden Filmen mit computergesteuerten Videodiscs [9], und im Virtual Museum (vergl. auch [6]) verwendet. Auch die 1993 von Apple entwickelten Navigable Movies [10] verwenden einen filmgestützten Ansatz zur Navigation in Bildern.


Abb. 2: Bewegungspfade in der Movie Map

Bildgestützte Verfahren der virtuellen Realität basieren dagegen auf einem blickrichtungsunabhängigen Bild, einem Rundumbild oder digitalen Panorama. Wenn bei der Aufnahme der Standpunkt stationär bleibt und nur die Blickrichtung verändert wird, die Kamera also um ihr optisches Zentrum gedreht wird, können alle Einzelbilder auf einen Zylinder abgebildet werden. Dieses Abbildungsverfahren heißt Environment Mapping [8]. Veränderungen der Blickrichtung sind so einfach zu realisieren, problematisch sind hierbei simulierte Standortveränderungen, die aber durch Verbindung mehrerer Rundumblicke realisiert werden können.

Interaktive Abbildungen mit QuickTime VR

Die Firma Apple hat im Sommer 1995 mit QuickTime VR den film- und bildgestützten Ansatz der virtuellen Realität als kommerzielles Produkt realisiert [2], hiermit erzeugte Anwendungen zur interaktiven Visualisierung haben sich seitdem recht weit verbreitet. Eine Einbettung derartiger virtueller Welten in HTML-Seiten - und so eine Nutzung im WWW - ist einfach möglich, was sicherlich auch wesentlich zur Verbreitung dieser Technik beigetragen hat. Im Februar 1997 gab es etwa 5000 Web-Sites, die diese Technik verwenden [1]. Seit Anfang 1998 ist der Erzeugungsprozeß durch eine einheitliche grafische Benutzungsoberfläche [3] wesentlich vereinfacht worden und hat so die Popularität dieser Technik weiter gesteigert.

Wesentlicher Bestandteil von QuickTime VR ist eine Systemerweiterung, die QuickTime VR-Medien darstellen kann. Diese Erweiterung basiert auf der QuickTime Systemarchitektur für zeitvariante Daten, wie Bewegtbilder und Audio. Außerdem gibt es eine Entwicklungsumgebung zur Erzeugung derartiger virtueller Welten, Programmierschnittstellen zur Herstellung von speziellen Anwendungen und verschiedene Betrachtungsprogramme. Die Entwicklungsumgebung QuickTime VR Authoring Studio und die Programmierschnittstellen sind nur unter MacOS lauffähig, Betrachtungsprogramme und Systemerweiterung sind auch für Windows-Systeme erhältlich [2].

Objekte, Panoramen und Szenen

Mit dem QuickTime VR Authoring Studio können VR-Objekte, Panoramen und Szenen erzeugt werden. Ein VR-Objekt ist eine Abbildung eines realen Objekts, die interaktiv von verschiedenen Blickwinkeln aus betrachtet werden kann. VR-Objekte repräsentieren den filmgestützten Anteil in QuickTime VR, da jede Ansicht als vollständiges Einzelbild gespeichert ist. VR-Objekte sind auch geeignet, Vorgänge und Abläufe interaktiv zu visualisieren.

Ein Panorama ist eine Rundumabbildung einer virtuellen oder realen Szene. Panoramen müssen nicht zwangsläufig vollständige Rundumblicke sein. Zulässig sind auch Bildwinkel unter 360°. Der Standpunkt, von dem die Abbildung aufgenommen wurde, wird Knoten genannt. Die technische Grundlage ist hier ein einziges blickrichtungsunabhängiges Bild. Panoramen repräsentieren so den bildgestützten Ansatz in QuickTime VR.

Eine Szene ist die Verbindung mehrerer Panoramen untereinander beziehungsweise ihre Verbindung mit VR-Objekten. In einer Szene mit mehreren Knoten kann ein Benutzer sich virtuell von einem Standpunkt zum nächsten bewegen. Verbindungen zwischen Objekten und Panoramen ermöglichen es, die Objekte aus unterschiedlichen Blickwinkeln zu betrachten und sich dann virtuell zu anderen Standorten weiterzubewegen und hier die Navigationsmöglichkeiten der digitalen Panoramen zu nutzen. Auch andere Datentypen, wie Text, Bild, Bewegtbild und Ton oder URLs (Uniform Resource Locator), können mit derartigen interaktiven Szenen verbunden werden.

Erzeugung von VR-Objekten

Der kompliziertere und aufwendige Teil bei der Erzeugung von VR-Objekten ist die Aufnahme der Bilder. Ansichten aus verschiedenen Blickwinkeln, die möglichst gleichmäßigen Abstand voneinander haben sollen, müssen hergestellt werden. Bei kleinen Objekten können Drehscheiben, auf denen die Objekte plaziert und dann gedreht werden, helfen. Bei größeren Objekten muß die Kameraposition verändert werden.


Abb. 3: Aufnahme von VR-Objekten

Die Einzelbilder der verschiedenen Ansichten von VR-Objekten werden dann mit der QuickTime VR Entwicklungsumgebung entsprechend der Aufnahmeposition angeordnet. Abbildungsparameter, wie die Anzahl und der Abstand horizontaler und vertikaler Aufnahmepositionen, müssen eingegeben werden. Wenn mehrere unterschiedliche Bilder für eine Aufnahmeposition vorliegen, können diese als Animationssequenz der Blickrichtung zugeordnet werden. Es können auch verschiedene Betrachtungsmodi realisiert werden, die bei der Darstellung beispielsweise durch Drücken der Maustaste oder durch Tastaturbefehle ausgelöst werden können.


Abb. 4: Erzeugung von VR-Objekten mit dem QuickTime VR Authoring Studio

Montage von Panoramen

Digitale Panoramen werden mit der QuickTime VR Entwicklungsumgebung aus überlappenden Einzelbildern montiert. Das können aufgenommene oder computergenerierte Bilder sein. Die Kamera muß bei der Aufnahme für ein Rundumbild an einem Standort um ihr optisches Zentrum gedreht werden. Bei computergenerierten Bildern ist entsprechend zu verfahren.


Abb. 5: Stativkopf für Panoramaaufnahmen

Die Einzelbilder werden in den Farbwerten angeglichen und geometrisch korrigiert, so im Überlappungsbereich einander angepaßt und zum Panorama montiert. Das durch die Montage entstandene Rundumbild wird mit Environment Mapping [8] auf die Innenseite eines Zylinders projiziert. Anschließend werden die Daten komprimiert und in das QuickTime VR Datenformat konvertiert. Bei einer ebenen Darstellung des Zylinders - oder von Ausschnitten daraus - treten Verzerrungen auf, horizontale Linien werden zu Kurven. Für die Darstellung auf dem planen Bildschirm werden diese Verzerrungen wieder korrigiert und herausgerechnet [6]. Vom Rundumbild ist dann nur ein Ausschnitt sichtbar, der interaktiv verändert werden kann. Vertikal sind - bedingt durch die zylindrische Projektion - Blickwinkel bis zu 180° möglich, während horizontal volle Rundumblicke möglich werden. Der exakte vertikale Blickwinkel ist natürlich von den vorliegenden Bilddaten, also vom Blickwinkel der Aufnahme, abhängig, da mit der Standardentwicklungsumgebung die Bilder nicht vertikal montiert werden können.


Abb. 6: Montage der Einzelbilder mit dem QuickTime VR Authoring Studio

Erstellung von Szenen

Die digitalen Panoramen und VR-Objekte in QuickTime VR ermöglichen Verbindungen untereinander, zu URLs und zu anderen Daten, wie zum Beispiel linearen Bildsequenzen, Bildern und Texten [2]. Diese Verbindungen lassen sich mit der Entwicklungsumgebung einfach erzeugen3. Verbindungen zwischen Panoramen bzw. VR-Objekten sind immer Verbindungen zu einer bestimmten Ansicht. Bereiche, die Verbindungen erlauben, heißen Hot Spots und werden im Herstellungsprozeß über Farben markiert. Bis zu 254 Verbindungen sind von einem Panorama oder VR-Objekt aus möglich. Hier unterscheidet man zwischen internen und externen Links. Interne Links verbinden Panoramen und VR-Objekte, die in einer Datei gespeichert werden, externe Links verzweigen zu Daten in anderen Dateien.


Abb. 7: Markierung von Hot Spots und Angabe der Zielansicht

Darstellung von QuickTime VR-Medien

Über eine Systemerweiterung werden die QuickTime VR-Medien von allen Programmen unterstützt, die auch lineare QuickTime Movies darstellen können, beispielsweise vom MoviePlayer oder von Präsentationsprogrammen, wie Powerpoint. Dadurch können QuickTime-Medien auch direkt in Präsentationen genutzt werden. Auch Webbrowser mit QuickTime PlugIn, wie Netscape oder Microsoft Explorer, können QuickTime VR-Medien darstellen. Die Einbettung in HTML-Seiten ist sehr einfach und erfolgt über den EMBED-Tag.

Außerdem können QuickTime VR-Medien mit Autorensystemen, wie HyperCard oder Macromedia Director, direkt in interaktive multimediale Anwendungen eingebettet werden. Eine C-Programmierschnittstelle zur Programmierung spezieller Anwendungen gibt es seit der Version QuickTime VR 2.0 [4].

Die interaktive Steuerung der VR-Medien erfolgt über eine Kombination von 2D-Maus und Tastatur. Die Form des Cursors ändert sich bei einer Bewegung über dem Darstellungsfenster, um die aktuell möglichen Aktionen in den jeweiligen Bildbereichen anzuzeigen. Dies können sein: kontinuierliche Drehungen um zwei Dimensionen, kontinuierliches Ein- und Auszoomen über die Tastatur, Bewegungen zu anderen Knoten und Aktivierung von Hot Spots. Drücken der Maustaste löst die entsprechenden Aktionen aus. Gedrückthalten der Maustaste und Verschieben der Maus führen zu Veränderungen der Blickrichtung. Die Geschwindigkeit der Bewegung wird über die relative Entfernung zu der Position, an der die Maustaste gedrückt wurde, gesteuert.

Anwendungen

Film- und bildgestützte virtuelle Welten können in allen Bereichen angewendet werden, in denen es erforderlich ist, reale oder imaginäre Szenen darzustellen. Beispiele für Anwendungen sind: virtuelles Reisen, Architektur-Visualisierung, virtuelle Ausstellungen oder Museen, aber auch virtuelles Einkaufen und Spiele in virtuellen Welten.

Diese Verfahren können auch sehr gut für Simulationen im wissenschaftlichen Bereich angewendet werden. Viele Simulationen erfordern lange Berechnungen auf besonders leistungsfähigen Rechnern. Die Simulationsergebnisse können für alle Blickwinkel berechnet und als VR-Objekt oder als Szene abgespeichert werden. Diese Simulationsergebnisse können dann auf einfachen PCs betrachtet werden.

Anwendungen dieser Techniken können entweder auf CD-ROM bzw. DVD gespeichert und vertrieben oder durch die Einbindung in HTML-Seiten über Netzwerke genutzt werden.

Mit VRScript, einer einfachen Skriptsprache, können die Möglichkeiten dieser Technik erweitert werden. Töne, 3D-Modelle und Filme können räumlich in VR-Medien integriert werden. VRScript ist eine Entwicklung des Apple Developer Team, die nicht offiziell von der Firma Apple unterstützt wird, aber recht gut die Möglichkeiten der Weiterentwicklung dieser Technik zeigt4.

Einige Beispiele für Panoramen und VR-Objekte sind auf den WWW-Seiten des Rechenzentrums5 veröffentlicht. Ein anderes etwas umfangreicheres Beispiel ist Virtual Humboldt6: dies ist eine WWW-Anwendung mit QuickTime VR Panoramen, die im Rahmen einer Lehrveranstaltung am Institut für Informatik der Humboldt-Universität zu Berlin entstand. Zusätzlich zu den Standardmöglichkeiten sind hier Verbindungen zu Texten, eine Menüsteuerung und eine Orientierungskarte, die den Standort angibt und auch zur Navigation genutzt werden kann, integriert.

Literatur

[1] Apple Computer Inc.: Apple Enhances QuickTime VR to Integrate Image-Based Virtual Reality With 3D, Movies, Animation, and Sound. Cupertino, 1997 - Pressemitteilung im WWW, 07.01.1997 (http://product.info.apple.com/pr/press.releases/1997/q2/970107.pr.rel.qtvr.html).

[2] Apple Computer Inc. (Hrsg.): QuickTime VR Authoring Tools Suite, Volume 1. Using The Authoring Tools. Cupertino: Apple Computer, Inc., 1995 - Manual.

[3] Apple Computer Inc. (Hrsg.): QuickTime VR Authoring Studio. Cupertino: Apple Computer, Inc., 1997 - Manual.

[4] Apple Computer Inc. (Hrsg.): Virtual Reality Programming With QuickTime VR 2.0. Cupertino: Apple Computer, Inc., 1997 - Manual.

[5] Brugger, R.: 3D-Computergrafik und -animation. Bonn: Addison-Wesley, 1993.

[6] Chen, S. E.: QuickTime VR - An Image-Based Approach to Virtual Enviroment Navigation. - Computer Graphics (Proc. SIGGRAPH `95), 29-38 (1995).

[7] Drewes, F., Pirr, U.: Abstrakte Objekte dreidimensional und interaktiv. Bremen: Universität Bremen, Informatik, 1996 (Bericht 3/96).

[8] Foley, J. D., van Dam, A., Feiner, S. K., Hughes, J. F.: Computer Graphics, Principles and Practice. 2nd Edition. Reading, Massachusetts: Addison-Wesley, 1990.

[9] Lippman, A.: Movie-Maps: An Application of the Optical Videodisc to Computer Graphics. - Computer Graphics (Proc. SIGGRAPH `80), 32-42 (1980).

[10] Yawitz, M. A.: Navigable Movie Toolkit. Human Interface Group / ATG, Apple Computer, Inc., 1993 - User Manual Version 1.0.2.

Uwe Pirr
pirr@rz.hu-berlin.de


1 Zur Verwendung von computergenerierten Bildern siehe auch [7].

2 Die einfache und schnelle Erzeugung läßt sich unter anderem mit der CD Star Treck: Interactive Technical Manual belegen. Sie wurde als eine der ersten Anwendungen mit QuickTime VR in weniger als zwei Monaten vollständig erzeugt. Dabei wurden in den Originalkulissen aufgenommene Bilder als Grundlage verwendet [6].

3 Von der Systemerweiterung und den Betrachtungsprogrammen werden nur Verbindungen zu Panoramen, Objekten und URLs unterstützt. Für andere Verbindungen müssen eigene Anwendungen programmiert werden.

4 Der Source-Code der VRScript-Anwendung ist auf den WWW-Seiten von Apple unter http://www.apple.com/quicktime/developers/samplecode.html#qtvr veröffentlicht.

5 http://www.hu-berlin.de/rz/multimedia/multimed/Galerie/index.html

6 http://waste.informatik.hu-berlin.de/VH/VH.html