Der Chiphersteller Intel und das Saarland fördern innovative Forschungsvorhaben in der Informatik. Eine entsprechende Kooperationsvereinbarung wurde bereits im vergangenen Jahr unterzeichnet. Bei einem Kick-off-Event wurden nun sieben Forschungsprojekte vorgestellt, die im Rahmen des Programms „Future of Graphics and Media“ zu gleicher Hälfte durch Intel und das Land gefördert werden. Alle Projekte wurden von den am Saarland Informatics Campus angesiedelten Institutionen initiiert.

Insgesamt sieben Forschungsprojekte aus dem Bereich der Computer- und Informationswissenschaften werden in einem Umfang von 300.000 bis 450.000 Euro gefördert. Dabei geht es um die technische Weiterentwicklung visueller Inhalte wie Fotos, Videos oder Videotelefonie und deren Datenverarbeitung. Neben technischen Innovationen steht auch die Steigerung der Energieeffizienz im Fokus. Denn mit exponentiell steigenden Datenmengen steigt auch der Energieverbrauch.

Staatssekretär Wolfgang Förster: „Das Silicon Valley setzt auf saarländisches Knowhow: Das zeigen zukunftsweisende Forschungskooperationen mit Global Playern wie Google oder Intel. Wo Spitzenforschung und industrielle Anwendung Hand in Hand gehen, leisten sie einen Beitrag zur gelingenden Transformation. Deshalb gratuliere ich im Namen der Landesregierung allen Wissenschaftlerinnen und Wissenschaftlern, die mit ihren wegweisenden Forschungsvorhaben überzeugt haben. Besonders freue ich mich, dass mit Projekten aus dem Informatik-Fachbereich der Universität des Saarlandes, dem Max-Planck-Institut für Informatik und dem DFKI der Informatikstandort in seiner Breite von der Kooperation mit Intel profitiert. Es ist ein weiteres Ausrufezeichen, dass die Strategie der intelligenten Spezialisierung Früchte trägt.“

Das Programm „Future of Graphics and Media“ wird über 4 Jahre mit insgesamt 4 Millionen US-Dollar gefördert. Saarländische Forscherinnen und Forscher konnten sich bis Ende September 2023 um eine Förderung bewerben. Die Anträge wurden durch Saarland und Intel begutachtet. Alle Forschungsergebnisse werden unter Open-IP veröffentlicht und werden somit der Allgemeinheit zugänglich gemacht.

Hintergrund zum Programm „Future of Graphics and Media“

Der Forschungsbedarf im Bereich der Weiterentwicklung visueller Inhalte und deren Datenverarbeitung hat sich unter anderem im Zuge der Corona-Pandemie stark erhöht. Denn mit der steigenden Nutzung z.B. von Videotelefonie wächst auch der Bedarf an Bandbreite, Rechenleistung und Speicherplatz der entsprechenden Anwendungen. Das bedeutet höhere Kosten, mehr Energieverbrauch und in der Konsequenz auch einen größeren CO2-Fußabdruck. Innerhalb des Saarland/Intel Joint Program on „The Future of Graphics and Media“ wird daher die steigende Komplexität der Erzeugung, Verarbeitung, Kodierung und Wiedergabe visueller Inhalte in verteilten, immersiven und interaktiven Echtzeit-Anwendungen adressiert. Die Erforschung neuartiger algorithmischer Lösungen sowie das Co-Design von Hardware und Software verfolgen das Ziel, Komplexität und Energieverbrauch zu reduzieren, die Verarbeitungsgeschwindigkeit zu erhöhen und dabei eine gleiche oder sogar bessere Qualität zu erzielen.

Vorstellung der Forschungsprojekte

FROST – FROxel-based Semantic Processing Techniques (UdS)

Trotz vollständiger Digitalisierung von Fotografie und Filmaufnahme werden Bilder heute noch genauso repräsentiert wie seit eh und je: Bildpunkte pro Zeile, Zeilen pro Bild und Bilder nacheinander für Film. Gerade bei der Aufnahme mit vielen Kameras, wie sie heute schon üblich ist und sicher noch selbstverständlicher werden wird, ist eine solche Repräsentation aber nicht mehr adäquat. In FROST stellen wir Multikamera-Aufnahmen als Sätze von Strahlen (sog, Rays) dar, deren Startpunkte gespeichert werden. Dadurch kann für jeden Punkt in der aufgenommenen Szene abgeleitet werden, von wie vielen Kameras er gesehen wird und wie er aus verschiedenen Blickrichtungen aussieht. Das ermöglicht neuartige und effiziente Verarbeitung, die auch Semantik (Eigenschaften der Szene) ableiten und damit Störungen vermeiden kann, die bei herkömmlicher Bildverarbeitung auftreten. Wir gehen sozusagen weg von Bildpunkten pro Bild und hin zu Strahlen pro Volumen.

Generalizable Machine-Learning Models of Materials for 3D Reconstruction and Fast Relightable Rendering (UdS)

Für Content Creation, wie sie in Augmented Reality, der Filme- und Computerspielindustrie vorkommt, ist es essenziell 3D Objekte aus unserer Welt aus Bildern zu rekonstruieren, um diese in virtuelle Umgebungen einfügen zu können. Hierzu muss vor allem das Objekt mit dem einkommenden Licht in der neuen Umgebung neu beleuchtet werden, da es ansonsten künstlich aussieht. Während heutige Verfahren zwar die Geometrie von Objekten sehr genau rekonstruieren können, so ist die Rekonstruktion von Lichtreflexionseigenschaften noch in den Kinderschuhen. In diesem Forschungsprojekt verfolgen wir grundlegend neue Ansätze.

Latency Compensation for Avatar Animations in the Metaverse (DFKI)

In der virtuellen Realität bzw. dem Metaverse möchte man in vielen Fällen nicht nur allein sein, sondern über das Internet auch mit anderen Nutzern interagieren. Hierfür ist es notwendig, die Körperbewegungen einzelner Nutzer zu synchronisieren und in dem Metaverse darzustellen. In Zusammenarbeit mit Intel werden wir daran arbeiten, dass die Übertragungszeit (Latenz) der Körperbewegungen über das Internet so reduziert und kompensiert wird, dass interaktive Anwendungen auch über große Distanzen ermöglicht werden und man zum Beispiel mit einer Person auf der anderen Seite der Erde in einem Metaverse tanzen kann.

Software-Defined Graphics Pipelines (DFKI)

3D-Anwendungen setzen zunehmend Verfahren zur Bildsynthese ein, die sich nicht mehr mit der traditionellen Rendering-Pipeline der heutigen Grafikhardware realisieren lassen. Hierbei kommen Software-Rendering-Pipelines eine besondere Bedeutung zu. Gemeinsam mit Intel arbeiten wir an Lösungen zur einfachen Beschreibung, Implementierung und Optimierung solcher Software-Defined Graphics Pipelines.

Perception-Guided Neural Monte Carlo Sampling and Reconstruction (MPI-INF)

Durch maschinelles Lernen können wir fotorealistisches 3D-Rendering erreichen, indem wir hochwertige Bilder aus wenigen, verrauschten Monte-Carlo-Samples rekonstruieren. In Zusammenarbeit mit Intel ist unser Ziel, intelligente Abtastverfahren zu entwickeln, die – abhängig vom Bildinhalt und basierend auf der menschlichen Wahrnehmung – darauf abzielen, die Echtzeit-Bildrekonstruktion für Anwendungen in der erweiterten und virtuellen Realität (XR/VR) zu verbessern.

Tractable Diffusion Models for Large-Scale 3D Scene- and Object-level Representations (MPI-INF)

Neue generative Verfahren des Maschinellen Lernens erlauben die automatische Erzeugung von Bildern und Videos in atemberaubender Qualität, nach Training auf einer großen Menge von zweidimensionalen Bildern. Um diese Familie von Methoden für weitere Anwendungsfelder zu erschließen, ist es notwendig, das dreidimensionale Verständnis der Modelle zu verbessern. Zusammen mit Intel forschen wir daran, es den Verfahren zu ermöglichen, effizient auf dreidimensionalen Strukturen zu lernen.

Towards physically based generative rendering (MPI-INF)

Generative künstliche Intelligenz (GenAI) hat die Erstellung digitaler Inhalte verändert, indem sie aus einfachen Textvorgaben hochwertige Bilder/Videos erzeugt. In Zusammenarbeit mit Intel wollen wir eine physikbasierte generative Pipeline entwickeln, die die Kontrolle bei der Erstellung digitaler Inhalte verbessert. Dies wird die rationelle Entwicklung von Bildschirmen der Zukunft – von tragbarer Technologie bis zur Kinoleinwand – maßgeblich beeinflussen.

 

Hintergrund Saarland Informatics Campus:
900 Wissenschaftlerinnen und Wissenschaftler (darunter 400 Promovierende) und rund 2500 Studierende aus mehr als 80 Nationen machen den Saarland Informatics Campus (SIC) zu einem der führenden Standorte für Informatik in Deutschland und Europa. Vier weltweit angesehene Forschungsinstitute, nämlich das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Max-Planck-Institut für Informatik, das Max-Planck-Institut für Softwaresysteme, das Zentrum für Bioinformatik, sowie die Universität des Saarlandes mit drei vernetzten Fachbereichen und 24 Studiengänge decken das gesamte Themenspektrum der Informatik ab.

/pzs