In Echtzeit können Farben und Reflexionen in einer Videoszene verändert werden. Foto: Max-Planck-Institut Saarbrücken
Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau und damit in einer völlig anderen Farbe zu sehen. Wissenschaftler des Max-Planck-Instituts für Informatik haben eine Software entwickelt, mit der sich Informationen so fotorealistisch verändern lassen, dass der Unterschied zur realen Aufnahme nicht mehr erkennbar ist. Dabei wird das Bild realitätsgetreu verändert anstatt das reale, digitale Bild mit visuellen Informationen zu überlagern.
„Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter einer Forschergruppe am Saarbrücker Max-Planck-Institut für Informatik und Informatik-Professor der Universität des Saarlandes.
„Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung nur indirekt im Bild enthalten sind und damit nicht messbar sind“, so Theobalt. Dieses Problem hat der Forscher gemeinsam mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, gelöst, indem sie sehr schnell für jedes Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern. So bleibe der realistische Eindruck erhalten. Die von den Forschern entwickelte Software schafft dies in Echtzeit für jedes Pixel eines Bildes, das von einer herkömmlichen Webcam stammt.
Die Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass es sogar bei Live-Aufnahmen möglich ist. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich nicht nur Farben, sondern auch andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln. „Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren.