Mit Interaktion zwischen
Mensch und Maschine
neue Wege beschreiten

Mixed Reality Labor Rosenheim

ein Projekt des Innovation Lab Rosenheim, welche eine Einrichtung des Zentrums Digitalisierung.Bayern an der Fakultät Informatik der Hochschule Rosenheim ist.

Ikea bietet seit 2013 eine App an: Ein Tablet-PC ergänzt das Kamerabild beispielsweise des Wohnzimmers um eine 3D-Grafik des Wunschsofas. Man kann um das 3D-Modell im Wohnzimmer herumlaufen. Eine solche Anwendung fällt unter den allgemeinen Begriff Mixed-Reality, da virtuelle Welt und reale Welt verknüpft werden. Das Labor für Mixed Reality hat das Ziel, in diesem Themenfeld zusammen mit unseren Kunden neue Konzepte zu entwickeln.

Fast jedes Smartphone kann mittlerweile die über die Kamera aufgenommene Realität um passend platzierte Computergrafiken ergänzen. Wir erinnern uns an Pokemon-Go. Für die Software-Entwicklung bieten die Hersteller inzwischen viel Unterstützung an, etwa die AR-Kits von Apple und Google. Für ambitionierte Laien, Gamer sowie im industriellen Umfeld verbreiten sich Lösungen wie die Microsoft Hololens, die HTC-Vive Pro oder Smart-Glasses wie die von Vuzix. Das Anwendungsfeld in der Industrie ist groß: Viele Unternehmen starten mit einem „Hingucker“ für Messen: Es ist spannend eine Hololens auszuprobieren. Das Sandbox-Projekt für das RoLiP ist immer noch ein Publikumsmagnet: Man kann in Sand buddeln und dabei Seen und Berge erschaffen. Über Assistenzsysteme wird diskutiert: Wie können wir einem Mitarbeiter mit wenig Erfahrung über Mixed-Reality helfen, komplexe Aufgabenstellungen zu bewältigen? Beispiele für komplexe Aufgabenstellungen sind etwa umfangreiche Diagnosen und Reparaturen an komplexen Maschinen oder der Zusammenbau von umfangreicher Technik. Da Geräte wie die Hololens eine Kamera enthalten, kann bei sehr komplexen Fragestellungen auch ein Experte zugeschaltet werden, der dann dasselbe wie der Mitarbeiter über dessen Kamera sieht und diesen beraten kann.

Das Labor für Mixed Reality

Das Thema Mixed Reality selbst und die Technologien sind komplex, die Umsetzung von Projekten in Software und die eventuell notwendige 3D-Grafik sind aufwendig. Um hier strukturiert Wissen aufzubauen und zu behalten, haben wir als Abspaltung vom Innovationslabor, ein eigenes Labor für Mixed-Reality aufgebaut. Die Hochschule unterstützt dieses Projekt großzügig mit 20.000 EUR aus dem „Labore der Zukunft“ Programm. Dafür haben wir die notwendige Hardware beschafft, Microsoft-Hololens und HTC-Vive Pro. Wir gehen an das Thema mit einer Reihe konkreter Projekte an, daraus werden Vorlesungen und Abschlussarbeiten und ggf. Forschungsprojekte abgeleitet.

Bisher verwendete Hardware

...

HoloLens

Eine Brille zur Erweiterung der Realität durch Hologramme, welche Virtuelle Objekte mit vielerlei Sensorik mit der Welt interagieren lassen kann.

...

Oculus Quest

Das erste kommerzielle standalone Virtual-Reality-Headset, das eine freie Bewegung im Raum ermöglicht

...

HTC Vive/ Vive Pro

Eine Virtual Reality Brille, welche die Immersion in Fantasie- und Zukunftswelten ermöglicht.

...

Intel Realsense

Hochauflösede Tiefenkamera, welche auch z.B. für Gestensteuerung verwendet werden kann.

...

Head Mounted Tablet

Ein am Kopf getragenes Tablet, welches durch Sprach- und Gestensteuerung bedient wird.

...

Sammlung an Peripherie

Unterstützend verfügen wir über verschiedenste Geräte, wie diverse Smart Home Geräte, verschiedenste Embedded Computer bis hin zu einem steuerbaren Lenkrad

Bei Bedarf kann auch andere Hardware verwendet werden.

Projekte

Ein studentisches Team hat einen virtuellen Auto Verkaufsraum Prototyp entwickelt, in dem ein Roboter der Verkaufsberater ist. Es ist dabei möglich ein Auto live an die persönlichen Wünsche anzupassen, sei es Farbe, Ausstattung oder Modell. Um den Innenraum zu begutachten kann das Auto geöffnet und betreten werden. Im Innenraum ist es dann möglich den Motor zu starten, wobei auch die Fahrzeuglichter aufleuchten. Falls man Unterstützung braucht steht einem der Roboter Assistent per Sprachbefehl stets zur Seite

...

In diesem Projekt wurde ein Fahrsimulator in Virtual Reality geschaffen. Das Besondere an diesem Simulator ist, dass der Benutzer autonomes fahren auf einer Stufe erleben kann, welche derzeit noch nicht auf deutschen Straßen möglich ist. Die Testfahrt beginnt in einer Stadt und das Auto bewegt sich autonom an einigen Ereignissen vorbei, wie z.B. Personen, die über Zebrastreifen gehen, oder Verkehr an einer Abbiegung und reagiert dabei auf diese Ereignisse unterschiedlich. Dabei wird während der Simulation zwischen verschiedenen Level des autonomen Fahrens gewechselt, um die Unterschiede aufzuzeigen.

...

Mithilfe von Augmented Reality (Erweiterter Realität) wurde ein interaktives Kochsystem entwickelt, welches dem Benutzer ermöglicht in begrenzter Zeit gesunde, selbst zubereitete, frische Gerichte zu kochen. Dabei kann der Benutzer neue Gerichte entdecken und Anweisungen an besonders kniffligen Stellen erhalten.

...

Im Rahmen der Lehrveranstaltung "DV-Anwendungen des Software-Engineering" sollte ein Prototyp einer Augmented Reality Sandbox entwickelt werden. Indem echter Sand geformt wird, welcher in Echtzeit durch eine Höhencolorierung erweitert wird, können mit der Sandbox Topographie-Modelle erstellt werden. Für Schüler und Studenten ist die Sandbox eine Möglichkeit, sich mit dem Augmented Reality Phänomen auseinanderzusetzen und neue Erfahrungen zu sammeln

...

Unsere Partner im Bereich Mensch und Maschine

Capgemini
NTT DATA
Siemens Home Appliances

Kontakt

… zum Team des Innovationslabors an der Hochschule Rosenheim.

...
...
...
...