General Informationen for the Course "Mixed Reality" (5800V and 5800UE)

Course Type: Mandatory course
Holding: in the winter term
Course Number: Lecture: 5800V und Tutorial: 5800UE
Hours per Week: 3 (2 Lecture, 1 Tutorial, 0 Laboratory)
ECTS-Credits: 5,0
Dates Lecture: Fri., 8:00 - 10:00, (ITZ) SR 001
Dates Tutorial: Thu., 12:00 - 14:00, (IM) SR 007 (fortnightly)
Expected Number of Participants: ca. 40
Begin of the Lecture: 16.10.2015
Begin of the Tutorial: 22.10.2015

Course Description

Content:
  • Grundlagen und Geschichte der Mixed Reality. Mixed Reality Kontinuum. Unterschiede zwischen Augmented Reality und Virtual Reality. Augmented Reality Kernmodule. Augmented Reality Plattformen.
  • Registrierungs- und Tracking Grundlagen. Unterschiede zwischen räumlicher und visueller Registrierung. Unterschiede zwischen Registrierung und Tracking. Mixed Reality Anforderungen and Trackingsysteme. Taxonomie von Trackingsystemen. Überblick über ausgewählte Trackingsysteme.
  • Kamerakalibrierung. Bedeutung der Kamerakalibrierung für Mixed Reality Systeme. Lochkameramodell. Extrinsische und Intrinsiche Kameraparameter. Verzeichnung. Algorithmen zur Kamerakalibrierung.
  • Grundlagen des Markertracking. Markertracking Pipeline.
  • Natural Feature Tracking. Grundlagen. Was sind gute Features? Merkmalsdetektion, -beschreibung, und –matching. Ausgwählte Merkmalsdetektoren und – deskriptoren. Template-basiertes Tracking. Erweiterte Trackingverfahren (Deformierbare Oberflächen, SLAM).
  • Szenengraphen. Unterschiede low-level APIs (OpenGL) und Szenegraphen. 3D Engines. Knoten. Modelieren von Szenen mittels Knotenhierarchien. Graphentraversierung. Intersection und Picking.
  • Grundlagen des Mixed Reality Renderings. Erstellung von Video-See-Through Augmented Reality Szenen mittels Szenengraphen.
  • Displaysysteme. Displayeigenschaften. Mensch-zentrierte Displaytaxonomie. Head-Mounted Displays. Optische vs. Video-See-Through Displays. Immersive VR Displays. Handheld Displays. Projektive Displays. Formveränderbare Displays. Multi-Display Umgebungen.
  • Optische See-Through Kalibrierung. Unterschiede und Gemeinsamkeiten zur Kamerakalibrierung. Datensamlungsmethoden.Bestätigungsmethoden. Evaluierungsmethoden. Rekalibrierung. (Semi-) automatische Kalibrierung.
  • Erweitertes Mixed Reality Rendering. User Perspective vs. Device Perspective Rendering. Simulieren von Kameraartefakten. Schätzung der Umgebungsbeleuchtung.
  • Augmented Reality Visualisierungstechniken. X-Ray. Ghosting. Cut Aways. Explosionsdiagramme. Labeling. Cluttermanagement. Informationsfilterung.
  • Mixed Reality Interaktionstechniken. Interaktionsaufgaben. Interaktionsgeräte. Touchbasierte Interaktion. Räumliche Interaktion. Multimodale Interaktion.
Previous knowledge required: none
Previous knowledge expected: Systementwicklungsprojekt (SEP) oder MES Praktikum. Programmierung in Java oder Programmierung 1 und Programmierung 2, Grundlagen der Mensch-Maschine-Interaktion, Bildverarbeitung.
Learning organization: Die theoretischen Inhalte und Konzepte werden im Rahmen der 2-stündigen Vorlesung vermittelt. Die Übung dient der Vertiefung der Inhalte der Vorlesung sowie der praktischen Einübung mittels Präsenz-Übungsaufgaben sowie Programmierbeispielen. Die Inhalte der Vorlesung und Übung sind im Selbststudium zusätzlich zu vertiefen. Die nachfolgenden Zeitangaben beziehen sich durchschnittlich gute Studierende (Studierende mit Nachholbedarf müssten also Mehraufwand investieren).
 
  • 45 Stunden Präsenz (=Vorlesungsbesuch)
  • 105 Stunden Vor- und Nachbearbeitung sowie Teilnahme an der Übung (=Übungsbesuch + Bearbeitung)
Objective (expected results of study and acquired competences): Nach der Teilnahme an den Modul-Veranstaltungen ist der Studierende in der Lage:
  • Kenntnisse: Die Studierenden kennen Grundlagen und Anwendungen von Mixed Reality Systemen. Insbesondere sind die Studierenden befähigt Unterschiede und Gemeinsamkeiten von Augmented Reality und Virtual Reality Systemen, sowie artverwandten Techniken zu erklären. Weiterhin können Registrierungs- und Trackingverfahren, Displaysysteme, Renderingalgorithmen und Interaktionsmethoden charakterisiert werden. Besonderheiten der mobilen Augmented Reality und immersiver Virtual Reality erklärt werden.
  • Fähigkeiten: Die Studierenden beherrschen theoretische und praktische Fragestellungen von Mixed Reality Systemen. Insbesondere sind sie befähigt ein rudimentäres Augmented Reality Systeme bestehend aus Tracking-, Rendering-, und Interaktionskomponenten programmiertechnisch umzusetzen. Dazu benötigte grundlegende Algorithmen können sie erklären und ggf. mit alternativen Algorithmen vergleichen (z.B. Einsatz von verschiedenen Merkmalsdeskriptoren). Sie sind weiterhin befähigt relevante Aspekte der Mensch-Maschine-Interaktion in Mixed Reality Umgebungen anzuwenden (z.b. Objektselektierungsverfahren).
  • Kompetenzen: Die Teilnehmer erlernen theoretische und praktische Kompetenzen in der Konzeption, Umsetzung und Evaluierung von Mixed Reality Systemen. Insbesondere werden Kompetenzen zum modulbasierten Erstellen einer komplexen Augmented Reality Software erlernt. Weiterhin sind die Studierenden befähigt einzelne Module auch auf andere Problemstellungen anzuwenden (z.B. Objekterkennung).
Languages of instruction: German
Scheduled dates: see StudIP
Course criteria & registration: Please refer to the official announcements of the university office (Studiensekretariat). They will be announced usually 4-6 weeks after the start of the term. Please direct all information requests directly and solely to the university office (Studiensekretariat).

Exam Information

Assessment (exam method and evaluation): 90-minütige Klausur oder mündliche Prüfung (ca. 20 Minuten) oder Portfolio-Prüfung;
  Mögliche Portfoliobestandteile sind:
  • Schriftliche Teilprüfung
  • Technischer Bericht
  • Dokumentierter und funktionsfähiger Quelltext für einzelne Module
  • Live Systemdemonstration
  • Erstellung von Videodemonstrationen
  • Präsentation der erstellten Materialien unter Einsatz geeigneter Präsentationstechniken, z.B. PowerPoint
  • Teilpräsentationen zu Einzelleistungen
  • Laufende, fortzuschreibende technische Teilberichte zur Zusammenfassung zu einem Gesamtdokument
  • Abschlusspräsentation
   
  Die Bearbeitung der Portfolio-Leistungen erfolgt begleitend zur Lehrveranstaltung. Die Bearbeitungszeit der einzelnen Bestandteile der Portfolioprüfung darf dabei 4 Wochen nicht übersteigen. Die letzte Leistung ist bis spätestens 4 Wochen nach Ende der Vorlesungszeit zu erbringen.
  Der Umfang eines einzelnen technischen Berichtes soll dabei 10 Seiten nicht übersteigen. Der Umfang eines Teilberichts soll dabei 5 Seiten betragen.
  Der Umfang einer Teilpräsentation soll dabei 10 Minuten umfassen und durch geeignete Medien und Präsentationsformen unterstützt werden.
  Der Umfang der Abschlusspräsentation soll dabei 15 Minuten umfassen und durch geeignete Medien und Präsentationsformen unterstützt werden.
  Die genauen Anforderungen werden vom Dozierenden zu Beginn der Veranstaltung bekanntgegeben.
  Die Modulnote entspricht der Note der Prüfung.
Exam dates & registration: will be announced.
Number of exam dates per semester: 1

Further Information:

StudIP: https://studip.uni-passau.de/studip/dispatch.php/course/details/?cid=a3ee6a93ba93847535e098495f48ff23
Wiki: -
Moodle: -
Recommended Reading: -
Supplementary literature: David Benyon: