© Hochschule Düsseldorf
ZIM-Innovationsprojekt "iVVmed"
Interaktive Volumenvideos für die medizinische Fachausbildung
Ziel des Innovationsprojekts "iVVmed" ist die Schaffung der notwendigen Voraussetzungen für die Umsetzung einer neuartigen Augmented Reality (AR)-Anwendung im Bereich der medizinischen, primär physiotherapeutischen Fachausbildung. Zwei Partner:innen aus dem Innovationsnetzwerk AIMECA – die LAVAlabs Moving Images GmbH & Co. KG und das Team MIREVI (Mixed Reality and Visualization) der Hochschule Düsseldorf – arbeiten gemeinsam an der erfolgreichen Projektumsetzung. Interaktive Volumenvideos (iVV) sollen erstmalig in Kombination mit einer AR-Anwendung zur Vermittlung von komplexen dreidimensionalen medizinischen Lehrinhalten genutzt werden. Die lernende Person wird mittels digitaler Technologie in eine reale Behandlungssituation eingeführt, in der der Lernprozess stattfindet.
Das Projekt wird mit einem Gesamtvolumen von rund 443.000 Euro aus dem Zentralen Innovationsprogramm Mittelstand (ZIM) gefördert. Die erfolgreiche Umsetzung des F&E-Projekts ermöglicht es medizinischen Ausbildungseinrichtungen das Angebot an lerneffektiven digitalen Lehrmedien zu erweitern, wodurch eine wichtige Grundlage für eine erfolgreiche Dezentralisierung der Ausbildung von Fachkräften im Sinne einer Remote-Ausbildung geschaffen wird.
Automatisierung von Produktion und Nachbearbeitung
Das Team MIREVI arbeitet daran, die Produktion und Nachbearbeitung von interaktiven Volumenvideos zu automatisieren. Dabei wird eine effiziente technische Pipeline entwickelt, um die Datenverarbeitung zu optimieren. Um die Generierung von iVV-Inhalten bei der Produktion zu beschleunigen, werden Segmentierungsmethoden verwendet , die auf neuronalen Netzen basieren und klassenübergreifende Tracking-Funktionen haben. Außerdem werden die Möglichkeiten der Implementierung eines statistisches 3D-Polygonnetz-Modells zur Reduktion von Produktionsfehlern und der Einsatz von Neural Radiance Fields (NeRF) für das fotorealistische Rendering von volumetrischen Videos untersucht.
Die LAVAlabs Moving Images GmbH & Co. KG konzentriert sich darauf, die AR-Anwendung für die Bereitstellung, Gestaltung und Wiedergabe von iVV zu entwickeln. Im Zuge dessen untersucht, interpretiert und realisiert das Unternehmen didaktische Konzepte, um Informationen mithilfe der neuen Technologie zu vermitteln. Content-Creation-Werkzeuge werden gestaltet, die es ermöglichen, selbstgesteuerte Free-Tours und geführte Guided Tours innerhalb der iVV zu erstellen. Diese Werkzeuge basieren auf Erkenntnissen zu neuartigen Methoden der Intentionserkennung, Aufmerksamkeitslenkung und Interaktion, um sicherzustellen, dass die Lerninhalte flexibel an den jeweiligen Lernkontext angepasst werden können. Die Entwicklungsphase umfasst den Großteil des F&E-Projekts. In der Umsetzungs- und Validierungsphase findet die Integration aller Komponenten zu einem Gesamtsystem, die Inbetriebnahme und die Validierung des finalen Prototypen statt.
Die Idee zum Projekt "iVVmed" ist im Rahmen des Innovationsnetzwerks AIMECA - Künstliche Intelligenz in der medizinischen Versorgung entstanden, das über das Zentrale Innovationsprogramm Mittelstand (ZIM) gefördert wird. Im Zuge der Mitgliedschaft werden die Partner:innen aktiv bei der Realisierung von F&E-Projekten sowie der Sicherstellung der Finanzierung unterstützt. Betreut wird AIMECA von der IWS GmbH, die auch das Antragsmanagement der Kooperationsprojekte übernimmt und die Mitglieder intensiv bei der Entwicklung neuer Technologien begleitet.