Research, Interaction Design

Interaction with Objects –
Real-Objekte als Eingabemethode in der virtuellen Realität

Interaction with Objects –
Real-Objekte als Eingabemethode in der virtuellen Realität

Interaction with
Objects –
Real-Objekte als Eingabemethode in
der virtuellen Realität

Interaction with Objects –
Real-Objekte als Eingabe-
methode in der virtuellen
Realität

Interaction with Objects –
Real-Objekte als Eingabemethode in der virtuellen Realität

2019
Masterarbeit
HTWG Konstanz

Leitfrage.

Ermöglicht die Nutzung von Real-Objekten eine Steigerung der Immersion und eine daraus mögliche kostengünstigere, vielfältigere Nutzung?

Ermöglicht die Nutzung von Real-Objekten eine Steigerung der Immersion und eine daraus mögliche kostengünstigere, vielfältigere Nutzung?

Ermöglicht die Nutzung von Real-Objekten eine Steigerung der Immersion und eine daraus mögliche kostengünstigere, vielfältigere Nutzung?

Zusammenfassung.

Die Masterthesis Interaction with Objects beschäftigt sich mit einem Konzept zur Nutzung von realen Objekten als Eingabemethode für die virtuelle Realität. Da die realistische Haptik für den Menschen sehr wichtig ist und sie derzeit aufwendig simuliert wird, stellte sich die Frage, warum nicht einfach reale Objekte als Controller für die VR genutzt werden. In dieser Arbeit wird daher ein Interaktionskonzept angedacht, welches auf die Nutzung realer Objekte als Eingabemedium in der VR zurückgreift. Das Konzept zeigt auf, welche Funktionen ein entsprechendes Real-Objekt erfüllen muss, welche Aufgaben der Nutzer durchführen muss, um ein Real-Objekt in der virtuellen Realität zu nutzen und wo die Vor- und Nachteile eines solchen Konzeptes – gegenüber bestehenden Lösungen – liegen.

Ist-Zustand.

Die Popularität ist in den vergangenen Jahren immer mehr gestiegen. Somit werden auch immer mehr Hardwarelösungen entwickelt, die versuchen Haptik aufwendig zu simmulieren. Das VR-Magazin mixed.de beschreibt das Problem sehr gut: "Haptik-Controller für VR: Hohe Erwartungen, kaum Ergebnisse" Auch in eigenen Projekten wurde bereits festgestellt, dass der Controller eine Schwachstelle des Systems sein könnte und eine bessere Lösung benötigt wird.

Die Popularität ist in den vergangenen Jahren immer mehr gestiegen. Somit werden auch immer mehr Hardwarelösungen entwickelt, die versuchen Haptik aufwendig zu simmulieren. Das VR-Magazin mixed.de beschreibt das Problem sehr gut: "Haptik-Controller für VR: Hohe Erwartungen, kaum Ergebnisse" Auch in eigenen Projekten wurde bereits festgestellt, dass der Controller eine Schwachstelle des Systems sein könnte und eine bessere Lösung benötigt wird.

Ziel?

Diese Masterarbeit dient dazu einen Gedankenansatz zu geben, welcher die Branche verändern könnte und im besten Fall die perfekte Lösung zur Interaktion darstellt. Es sollte eine Basis geschaffen werden, die als Diskussionsgrundlage dienen kann und dabei hilft die Thema Interaktion, Immersion und Haptik besser zu beleuchten.

Haptik

Haptik

Haptik ist sehr wichtig.

"Die Menschheit entwickelte sich mit unseren Händen Wir sollten sie nutzen." Diese Aussage traf Jaron Lanier, einer der VR Pioniere der 80er Jahren im Bezug auf die Interaktion mit VR-Anwendungen. Mit dieser Aussage ist er nicht alleine. Denn nach Aussage verschiedener anderer Autoren ist die Interaktion mit den Händen die geeigneste Interaktionsform der VR, da sie uns von Natur aus sehr vertraut ist.

These.

Ich entwickelte die These, dass auch die Kombination von Gewicht, Form und Handling  entscheidend für das haptische Empfinden ist. Dazu gehören die taktilen und kinästhetischen Reize. Aber diese Situation sehe ich zum jetzigen Zeitpunkt nicht als gegeben und kann mir diese auch nur schwer vorstellen.

Bestehendes Konzept

Bestehendes Konzept

HTC Vive Tracker.

Es mag sich aber für den ein oder anderen die Frage stellen, wieso ich denn ein solches Konzept entwickelte, da es ja bereits die HTC Vive Tracker gibt, mit denen man bereits reale Objekte in die VR transferieren kann. Das Problem: Der Nutzer muss bauliche Maßnahmen vornehmen, denn der Tracker muss fest am Objekt verankert werden. Das bedeutet, er muss sich eine Befestigung überlegen und zerstört dabei ggf. das Objekt. Auch wenn sie nicht viel wiegen, bedeutet das natürlich bei verschiedensten Objekten dennoch einen signifikanten Eingriff.

> Einfaches System für den Nutzer

> Einfaches System für den Nutzer

Wissenschaftliche Arbeit

Wissenschaftliche Arbeit

APC_0289-hdr
APC_0280-hdr
APC_0274-hdr
APC_0262-hdr
APC_0244-hdr
APC_0271-hdr

Integrationsprozess

Integrationsprozess

Kennzeichnung von Objektflächen.

Damit ein Real-Objekt ohne Tracker in der VR genutzt werden kann, muss der Nutzer verschiedene Bereiche des Objektes kennzeichnen, damit diese vom System erkannt werden können.

> Input-Element
> Interaktions-Element
> Interface-Element

Input-Element

Input-Elemente stellen die realen Eingabe-Elemente eines Objektes dar. Sie müssen gekennzeichnet werden, um die reale Nutzung von Objekten zu ermöglichen. Die Eingabe kann anschließend via Fingertracking genutzt werden.

Interaktions-Element

Das Interaktions-Element kennzeichnet die Flächen eines Objektes, die zur Interaktion mit der Umgebung genutzt werden. Das bedeutet also, es wird die Fläche gekennzeichnet, die eine Aktion ausführen kann.

Interface-Element

Das Interface-Element ist ein Platzhalter-Element, welches einen Bereich definiert, in dem grafische Eigenschaften platziert werden können.

Besen_weiß3
Zange_weiß
Zange_Werkzeug_weiß
Bohrmaschiene

Wie kommen die Objekte in die VR.

Dabei entsteht die Frage, wie die Objekte in der VR ohne Tracker genutzt werden können. Aus diesem Grund wurde ein Integrationsprozess entwickelt, in dem der Nutzer die Objekte in die VR transportieren kann.

Dabei entsteht die Frage, wie die Objekte in der VR ohne Tracker genutzt werden können. Aus diesem Grund wurde ein Integrationsprozess entwickelt, in dem der Nutzer die Objekte in die VR transportieren kann.

menu_visual
  1. Integrationsprozess starten
  2. Scanvorgang ausführen
    > System erstellt 3D Modell
  3. Gattung bestimmen
    > System erfasst aus Scan, wenn bereits
    Informationen vorhanden
    > Objektfunktion wird durch System ergänzt
    > Potentialfunktion wird durch System ergänzt
  4. Interaktion integrieren
    > Interaktionsflächen definieren
    > Nicht vorhandene Funktionen integrieren
    > System stellt Potentialfunktionen bereit
    > Software liefert Objektparameter
  5. Input integrieren
    > Bewegungen aufnehmen
    > Zustände definieren
  6. Interface-Elemente integrieren
  7. Objekt benennen
  8. Nutzung
    > Software stellt Prozessfunktionen
    > Software stellt Erkennbarkeit der Funktionen
    > System stellt Tracking
    > System stellt Potentialfunktionen
plattform_spiegel
ui_table

Ein Prototyp

Ein Prototyp

Interaktion mit realen Gegenständen.

Aber wie interagiert man mit einem realen Objekt? Viele interessenten haben bzw. hatten noch nicht die Möglickeit mit einer VR, geschweige denn mit realen Objekten in der VR zu interagieren. Um das Konzept an potentielle Interessenten zu vermitteln, wurde eine Demo entwickelt, in der mit unterschiedlichen realen-Objekten in der VR interagiert werden kann. 

IMG_5723-Bearbeitet
IMG_5731-Bearbeitet

Sich einmal wie Pollock oder Richter fühlen!

Der Nutzer kann sich an einer virtuellen Leinwand kreativ austoben. Die Interaktion erfolgt mit einem Besen sowie einem Joghurtglas. Somit bekommt er ein haptisches Empfinden und eine Darstellung der Interaktion mit Real-Objekten, ohne direkt in einem detailierten Prozess gefangen zu sein. Unterstützt wird die Anwendung durch ein reales Feedback von Boden und Wand.

Der Nutzer kann sich an einer virtuellen Leinwand kreativ austoben. Die Interaktion erfolgt mit einem Besen sowie einem Joghurtglas. Somit bekommt er ein haptisches Empfinden und eine Darstellung der Interaktion mit Real-Objekten, ohne direkt in einem detailierten Prozess gefangen zu sein. Unterstützt wird die Anwendung durch ein reales Feedback von Boden und Wand.

Conclusion

Conclusion

Learnings.

In diesem Projekt habe ich noch einmal einiges lernen können. Unter anderem habe ich hier das erste mal eine VR-Anwendung entwickelt und auch teilweise eigenständig programmiert. Außerdem wurde bewusst, dass es nicht immer das Maximum sein muss, sondern viel mehr die Einfachheit entscheidend für den Erfolg einer Anwendung ist.

Reflektion.

Das Feedback von Testpersonen und Professoren zeigte die Relevanz eines solchen Konzepts. Die Nutzung von realer Haptik kann eine kostengünstige und vielseitige Nutzung ermöglichen.

Das Feedback von Testpersonen und Professoren zeigte die Relevanz eines solchen Konzepts. Die Nutzung von realer Haptik kann eine kostengünstige und vielseitige Nutzung ermöglichen.

Danke.

Betreuende Professoren:
Prof. Jo Wickert
Prof. Brian Switzer

Technische Unterstützung:
Daniel Hipp

Weitere Projekte