Software erzeugt aus Tiervideos lebensecht animierbare 3D-Figuren

Vom Video zur 3D-Figur.

Ein Gepard läuft im Vollsprint durch eine Grassavanne. Die Videosequenz, die ihn dabei zeigt, dauert nur wenige Sekunden. Sie genügt, um aus dem gezeigten Tier ein digitales Abbild zu berechnen, das dreidimensional ist und sich bewegen lässt. Möglich macht dies eine Software, die Bernhard Reinert und Professor Hans-Peter Seidel vom Max-Planck-Institut für Informatik zusammen mit Tobias Ritschel vom University College in London entwickelt haben. Neben der minimalen Mithilfe des jeweiligen Anwenders setzt das Programm lediglich ein Video voraus, welches das Tier in Bewegung zeigt. Um beispielsweise den Gepard als 3D-Kreatur zum Leben zu erwecken, muss der jeweilige Nutzer auf einem Einzelbild des Videos ein Gliedmaßen-Skelett einzeichnen, wie man es vom Strichmännchen kennt.

Die Forscher haben dafür eine Benutzeroberfläche entwickelt, die einem einfachen Malprogramm gleicht. Mit dessen Hilfe braucht es nur wenige Mausklicks, bis der Schwanz des Gepards mit einer orangen Linie übermalt und Rückgrat, Kopf, Vorder- und Hinterbeine durch weitere farbige Linien markiert sind. Die Software überträgt diese Markierungen auf alle Einzelbilder der Videosequenz, so dass die Linien immer auf den Gliedmaßen liegen, auch wenn sich deren Position auf den folgenden Bildern ändert. Ob das Programm die Gliedmaßen korrekt erfasst, überprüft der Anwender, indem er fünf Einzelbilder kontrolliert und gegebenenfalls per Hand korrigiert. „Alle bisherigen Ansätze, das Erkennen der Gliedmaßen zu automatisieren, haben hier versagt. Deswegen haben wir ein neues Rechenverfahren entwickelt, das auf speziellen Zufallsprozessen, sogenannten Markow-Ketten beruht“, erklärt Bernhard Reinert, der erst vor wenigen Wochen seine Doktorarbeit am Max-Planck-Institut für Informatik fertiggestellt hat.

Hat der Anwender bestätigt, dass die Software die Gliedmaßen des Gepards auf den entscheidenden fünf Einzelbildern korrekt erkannt hat, erstellt sie automatisch das dreidimensionale, digitale Gittermodell des Tieres. Dazu separiert sie das zweidimensionale Abbild des Gepards von Vorder- und Hintergrund und ersetzt die eingezeichneten Gliedmaßen solange durch in Höhe und Durchmesser variable Zylinder, bis diese für jedes Einzelbild passen. „Das Vorgehen ähnelt dem Unterfangen aus einem länglichen Luftballon ein Tier zu formen, ist jedoch viel genauer, was die einzelnen Segmente angeht“, erläutert Reinert. Im letzten Schritt wird das Fell des Gepards aus dem Bild kopiert, auf dem auch das komplette Gliedmaßen-Skelett markiert wurde, und wird dann als sogenannte Textur über das 3D-Gittermodell gezogen. Schon fertig ist das dreidimensionale Gepard-Modell.

„Auf diese Weise erhält man in wenigen Minuten ein gutes 3D-Modell, mit dem man entweder weiterarbeiten kann oder es verfeinert, wenn man es in noch höherer Qualität braucht“, erklärt Tobias Ritschel, Senior Lecturer am University College London. Das unbearbeitete 3D-Modell sei jedoch schon so gut, dass man es sofort an einen 3D-Drucker weiterleiten könne, um auf Grundlage des digitalen Modells die entsprechende Skulptur zu drucken. Die Forscher haben ihre Software an verschiedenen Tier-Videoclips getestet, die sie auf der Videoplattform YouTube fanden, und so einen ganzen Zoo an 3D-Modellen angelegt. Die kurzen Videos sind ideal, da sich hier oft nur das Tier bewegt und nicht die Kamera wild hin- und herschwenkt, was der Software Schwierigkeiten bereitet. Die 3D-Tiermodelle lassen sich in verschiedenen Posen und mit verschiedensten Fellen oder Häuten darstellen und sich auch klonen, um beispielsweise aus der Vorlage eines Gepards ein ganzes Rudel zu erstellen.

Bisher war so etwas nur mit viel Handarbeit möglich. Dies bewiesen die Forscher auch mit einer zusätzlichen Studie. Hatte ein Teil der Versuchspersonen mit der neuen Software schon nach wenigen Minuten ein einfaches Tier digital nachgebaut, waren die anderen Versuchspersonen trotz Expertenwissen und Spezialsoftware nach einer halben Stunde immer noch nicht mit dem Ergebnis zufrieden.

Weitere Informationen:
Projektseite mit Video:
http://resources.mpi-inf.mpg.de/DeformableObjectExtraction/

Fragen beantworten:
Bernhard Reinert
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Telefon: +49 681 9325 4043
E-Mail: breinert@mpi-inf.mpg.de
Telefon: +49 681 9325 4043

Dr. Tobias Ritschel
University College London
Department of Computer Science
E-Mail: t.ritschel@ucl.ac.uk
Telefon: +44 (0)20 3108 7397