LAVIS (Learning and Visual Systems)

Ongoing Projects

AI-FORCAST

Wälder spielen eine entscheidende Rolle bei der Minderung der Auswirkungen des Klimawandels, indem sie als Kohlenstoffsenken fungieren, die atmosphärisches Kohlendioxid absorbieren und speichern. Im Einklang mit den Initiativen des Kyoto-Protokolls können Länder mit positiver Kohlenstoffbilanz ihre Kohlenstoffguthaben an andere Nationen verkaufen. Die Grundlage dafür ist jedoch eine genaue Bewertung der Kohlenstoffvorräte der Wälder, die fundierte Entscheidungen ermöglicht und die Formulierung gezielter Konservierungs- und Wiederherstellungspläne ermöglicht. Traditionelle Methoden zur Bewertung des Kohlenstoffs in Wäldern beruhen bislang in der Regel auf arbeitsintensiven Feldmessungen und komplexen Modellierungstechniken, die mit hohem Zeit- und Ressourcenaufwand einhergehen. AI-FORCAST untersucht eine vielversprechende Alternative, indem es verschiedene Fernerkundungstechnologien und maschinelles Lernen kombiniert: Satellitenbilder, LiDAR-Daten und bodengestützte Sensorsysteme liefern Daten, anhand derer Methoden des Deep Learnings hochauflösende räumliche Informationen über die Struktur und Zusammensetzung der Wälder schätzen können. Hierdurch sollen Kohlenstoffvorräte in einem viel größeren Maßstab, schneller und genauer geschätzt werden können. Der Forschungsfokus von AI-FORCAST liegt auf neuartigen Lösung zur Integration von Fernerkundungsdaten mit feldbasierten Stichprobeninventaren von Waldflächen, was die Kartierung umfangreicher Waldgebiete mit größerer Genauigkeit und Abdeckung ermöglichen soll. DAAD_logo

AI-FORCAST wird in Kooperation mit der National University of Sciences and Technology (NUST) in Islamabad / Pakistan durchgeführt. Das Projekt wird durch den Deutschen Akademischen Austauschdienst (DAAD) gefördert.

DeepLearningCargo

The DeepLearningCargo project will primarily contribute to basic research in the area of AI generalization and explainability. However, in the orientation of its scientific research design for hypothesis testing, it will take up aspects from the areas of Aviation Next Generation, logistics, mobility and digital transformation. In this respect, the project addresses central topics of the HOLM research agenda.

Dieses Projekt wird im Rahmen des House of Logistics and Mobility (HOLM) / Innovationsförderung des Landes Hessen gefördert. holm_logo ha_logo hmwevw_logo
DeepWeather

DeepWeather

Numerische Wettermodelle berechnen den zukünftigen Zustand der Atmosphäre zu bestimmten Zeitpunkten, indem sie den auf Basis von Messungen und Sonden-Aufstiegen ermittelten Ist-Zustand durch Lösen von komplexen, extrem rechenintensiven und nichtlinearen physikalischen Gleichungssystemen für spätere Zeitpunkte prognostizieren. Während großflächige Trends hierbei mittelfristig gut prognostiziert werden können, haben die aktuellen Verfahren noch einige Schwächen für die lokale Wettervorhersage. Zum einen werden die Wetterprognosen nur in sehr groben Rastern von mehreren km berechnet. Zum anderen waren viele Messwerte bisher nicht meter- und minutengenau verfügbar. Hier setzt das vorliegende Projekt mit der Entwicklung einer meter- und minutengenauen Wettervorhersage an. Hierbei werden moderne KI-Verfahren auf Basis von hochaufgelösten lokalen Wetterdaten aus dem Internet-of-Things für die Wettervorhersage entwickelt. Der innovative Lösungsansatz besteht dabei in der dynamischen Interpolation bestehender Wettermodelle mittels Regression durch künstliche neuronale Netze und Verifikation durch die hochaufgelösten lokalen Daten. ZIM_BMWI_logo

DeepWeather wird durch das Zentrale Innovationsprogramm Mittelstand (ZIM) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.
DemoToGo

Demo To Go

Demonstrationen sind wesentliche Elemente für den Technologieaustausch. Dazu sollen zunächst herkömmliche Demozentren eingerichtet werden, in denen ohne großen Vorbereitungsaufwand Gästen der Hochschule Forschungsresultate aus dem Anwendungsbereich Smart Home / Smart Energy / Smart Mobility sowie Technologie- und Dienstleistungsdemos aus dem Forschungsschwerpunkt "Smarte Systeme für Mensch und Technik" demonstriert werden können. In einem zweiten Schritt sollen Demos mit Methoden der Virtuellen Realität realisiert werden, um eine Ortsunabhängigkeit und in Ergänzung zu reinen Videos eine Interaktivität zu erreichen. Damit können diese Demos auf hybriden Plattformen vorgeführt werden, z.B. kann eine Demo, die besonderes Equipment am Hochschulstandort Rüsselsheim benötigt, auch am Standort Wiesbaden gezeigt werden. Andere Orte sind z.B. Messen oder Vorort-Demonstrationen bei Externen. In einem dritten Schritt sollen die Demonstrationen so erweitert werden, dass sie nicht nur von eingewiesenem Hochschulpersonal sondern auch Unternehmen und Konsumenten selber BMBF_GWK_logo durchgeführt werden können. Methoden der Serious Games sollen genutzt werden, um diesen ein motivierendes und unterhaltsames Demo-Erlebnis zu vermitteln. Die Demonstrationen sollen auch in der Lehre Verwendung finden.
DemoToGo

Flow Lens

In unserer digital vernetzten Welt ist es wichtig und gleichzeitig zunehmend schwieriger, den Überblick über die Akteure und Vorgänge in Rechnernetzen zu bewahren. Datendiebstahl und Angriffe, Fehlkonfigurationen, Ineffizienzen und andere Anomalien müssen identifiziert, diagnostiziert und beseitigt werden um betriebliche Abläufe sicherzustellen. Dies betrifft verschiedenste Organisationen, von kritischer Infrastruktur wie z.B. Krankenhäusern über Produktionsanlagen und Unternehmen bis hin zu Behörden. Effizienz ist hier (nicht zuletzt aufgrund von Fachkräftemangel) oberstes Gebot, auch um die begrenzten IT-Budgets möglichst zielgerichtet einsetzen zu können. Flow Lens soll Netzwerkverantwortlichen neue Einblicke in die Vorgänge innerhalb ihrer Netze ermöglichen. Hierzu kategorisiert es die Akteure (oder “Knoten”) sowie die zwischen ihnen ausgetauschten Daten (oder “Flows”). Da sich die Daten, Protokolle und Knotentypen je Netzwerkumgebung und Anwendungsdomäne stark unterscheiden, soll der/die NetzwerkexpertIn interaktiv ein KI-Modell für das jeweils zu analysierende Netz anlernen können. Hierzu kategorisiert Flow Lens einfache Knoten und Datenströme vor und zeigt dem/der AnalystIn andere interessante Daten zur händischen Beurteilung auf. Sind die Vorgänge im Netz kategorisiert, wird es möglich, ungewöhnliches und verdächtiges Verhalten sowie Anomalien aufzuzeigen. Mit der Strategie, Klassifikatoren für Netzwerkdaten in der Praxis interaktiv anzulernen, betreten die Antragspartner consistec und die Hochschule RheinMain Neuland. Flow Lens geht aber noch einen Schritt weiter: Auf Grundlage der klassifizierten Flows soll es möglich sein, synthetische Netzwerkstrukturen und Flows zu erzeugen, die individuelle Kunden-Netze - datenschutzkonform - nachbilden und als Basis für weitere wissenschaftliche Arbeiten öffentlich zur Verfügung gestellt werden können. Hiermit soll Flow Lens einen Beitrag leisten, KI-gestützte Verfahren in der Netzwerkanalyse zu etablieren. BMBF_GWK_logo

Dieses Projekt wird in Zusammenarbeit mit der Consistec GmbH durchgeführt. Es wird durch das Programm KI4KMU (FKZ: 01IS24017B) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

MobiliAR

MobiliAR beschreitet innovative Wege, um das Marktpotenzial für Softwareunterstützung im Möbelvertrieb durch Augmented Reality (AR) und damit verbunden Computer Vision und Künstliche Intelligenz (KI) auszuschöpfen. Diese Technologien sollen es erlauben, die Möbel im Kontext des geplanten Standorts beim Kunden direkt zu erleben, aber auch neue Features im digital-gestützten Möbelvertrieb bereit zu stellen, z.B. den Möbelstandort zu vermessen, bisherige Möbel aus dem Blickfeld zu entfernen, oder Konfigurationsmöglichkeiten von Möbeln intelligent anzubieten. Neben der technischen Innovation ist eine Anwendungsinnovation Ziel von MobiliAR, wozu passende Geschäftsmodelle entwickelt und eingesetzt werden. Dies kann perspektivisch auf andere Anwendungsfälle, auch im öffentlichen Bereich, umgemünzt werden. Zur Realisierung des Vorhabens werden in MobiliAR innovative Computer Vision-basierte Features der AR-Software auf Basis des aktuellen Stands der Wissenschaft neu konzipiert, ausgearbeitet und auf technische Machbarkeit hin untersucht. Die innovativen KI-basierten Features der AR-Software werden feinspezifiziert, konzeptionell validiert und protottypisch umgesetzt. Spezifische Interaktionskonzepte für die AR-Software werden entwickelt und mit adäquaten wissenschaftlichen Methoden evaluiert. So werden völlig neue Lösungen erarbeitet und deren Praktikabilität ausgelotet. LOEWE_logo Dieses Projekt (HA-Projekt-Nr.:1102/21-104) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE - Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.

presentXR

presentXR erlaubt, Präsentationen für die Eventbranche und für Ausstellungen mittels Augmented Reality Technologien (AR) zu kreieren und durchzuführen, die einen erhöhten Erlebniswert bieten. Durch Erzeugung einer Cross-Reality (XR), einer Verschmelzung von echten und virtuellen Räumen, fühlen sich mehrere Teilnehmende gemeinsam mit Inhalten (co-)präsent, die sowohl durch Nutzung von "Handheld- AR" mit einem Smartphone als auch durch "Head-Mounted Displays" (HMD) zugänglich sind. Es werden modulare Software-Lösungen sowie kodifiziertes Designwissen bzgl. Grafikeffekten, Interaktionsmustern und narrativen Strukturen erarbeitet. Darüber hinaus wird ein wirtschaftlicher Workflow mit Beteiligung von weniger spezialisiertem Personal angestrebt, in der Anwendung untersucht und durch Handlungsempfehlungen dokumentiert. Der Lösungsansatz von presentXR geht davon aus, dass Basistechnologien für AR-Anwendungen (wie Unity3d incl. Tracking-Plugins und Hardware-Anbindung) vorhanden sind, große Player diese aktuell weiterentwickeln, und daher auf diesen aufgebaut werden kann. Dies erfolgt sowohl aus der Richtung von Machbarkeiten, als auch wesentlich aus der Richtung eines empathischen Verständnisses (durch Design- Thinking) für End-Nutzungsbedingungen und für praktisch-/wirtschaftliche Design- und Workflow-Zwänge im Anwendungsgebiet. Teilergebnisse umfassen: Technische Demonstratoren z.B. zur Darstellung von Qualitätsabstufungen bzgl. Präsenzerleben und Co-Präsenz mehrerer Nutzender mit unterschiedlichen Endgeräten in einer zeitbasierten AR-Präsentation; die Spezifikation eines Content-Formats für die dynamische Ablaufsteuerung und für die Unterstützung des narrativen Authoring; einen Baukastensatz mit weiter verwendbaren Software-"Nuggets", die Grafik- und Content-Patterns als Code mit Anwendungswissen zur Verfügung stellen; sowie einen integrierten und evaluierten "goldenen Demonstrator" für eine praktische AR-Fallstudie aus dem Bereich der Event- und Ausstellungskonzeption. BMBF_GWK_logo

Dieses Projekt wird in Zusammenarbeit mit der satis&fy AG durchgeführt. Es wird durch das Programm "Forschung an Fachhochschulen" (FKZ: 13FH181PX8) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

SENSURE Wald

Im Rahmen Vorhabens SENSURE Wald werden für Sentinel-2-Satellitendaten, basierend auf Künstlicher Intelligenz (KI), Modelle entwickelt, welche die räumliche Auflösung der Sentinel-2- Daten verbessern und eine hochgenaue Lokalisation auch kleiner Schadflächen ermöglichen („super-resolution“-Verfahren). Weiterhin werden Verfahren entwickelt, die auf Methoden aus dem Bereich des maschinellen Lernens, insbesondere der KI, gründen und den Datenbedarf zur Schaderfassung auf einen einzigen Aufnahmezeitpunkt reduzieren. Sowohl für Sentinel-2- als auch für Luftbilddaten werden vortrainierte Modelle entwickelt, die eine automatisierte und effiziente Erfassung von Schadflächen mit hoher Genauigkeit und Aktualität ohne die bisher nötige und aufwendige manuelle Zuarbeit erlauben.

VaStNet

Digitale Wertströme stellen Modelle von Produktionsprozessen dar und umfassen oft mehrere hundert Knoten mit Annotationen (wie den erzeugten Produkten und Laufzeiten). Die korrekte Erstellung eines Wertstroms ähnelt somit der Erstellung einer Software durch einen Programmierer: Häufig unterlaufen Fehler, die anhand des Verhaltens des Wertstroms schwer zu lokalisieren und beheben sind. So bleibt digitale Wertstrommodellierung bis heute überwiegend Simulationsspezialisten vorbehalten. Genau hier setzt das Vorhaben VaStNet an: Ziel ist es, Nutzer KI-gestützt bei der Modellierung korrekter Wertströme zu unterstützen. Hierzu sollen Lernverfahren entstehen, die den Wertstromexperten als digitaler Assistent unterstützen. VaStNet baut auf erfolgreichen Vorarbeiten der Hochschule RheinMain und der SimPlan AG auf, in denen weltweit erstmalig KI-Methoden zur interaktiven Reparatur von Wertströmen eingesetzt wurden. Diese Arbeiten werden nun auf drei Ebenen mit neuen Innovationen erweitert: Der Adaptionsebene (indem die KI auf die spezifischen Wertströme eines Kunden anpassbar wird), der Modellebene (indem ein Deep Learning - Modell Verwendung findet), sowie der Simulationsebene (indem das Modell die Simulationsergebnisse des Wertstroms für seine Empfehlungen berücksichtigt).  BMBF_GWK_logo

Dieses Projekt wird in Zusammenarbeit mit der SimPlan AG durchgeführt. Es wird durch das Programm KI4KMU (FKZ: 01IS24015C) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

VR-AR-Med2

Virtuelle Realität (VR) und Augmentierte Realität (AR) sind Technologien, die aufgrund ihrer Verfügbarkeit im Massenmarkt in den Blickpunkt zahlreicher Innovationen gelangt sind. Es gilt deren Potenzial für konkrete Anwendungen auszuschöpfen und den Mehrwert ihres Einsatzes hierbei nachzuweisen. Im Projekt wird die konkrete Anwendung der medizinischen Weiter- und Fortbildung (CME – Continuing Medical Education) betrachtet. Hier sehen Unternehmen wie der Antragssteller, die health&media GmbH (HM), hohe Nutzenpotenziale durch den Einsatz von VR/AR, die sich in effizienterem Lernen, höherer Motivation, Vermittlung von Zusatzqualifikationen sowie höherer Attraktivität des Lehrmaterials manifestieren. Die Gruppe LAVIS der Hochschule RheinMain (HSRM) unter Dr. Ralf Dörner bringt hier innovative Ansätze wie das Konzept der VR/AR-Nuggets (ein Pattern-basierter Ansatz, der in kombinierbaren, ständig lauffähigen Anwendungen umgesetzt wird), eine KI-basierte VR/AR-Guidance als auch ein punktuelles Einsatzkonzept von VR/AR im Kurs ein. LOEWE_logo

Dieses Projekt (HA-Projekt-Nr.:690/19-10) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE - Landesökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.