Stiltransfer: Computer übersetzt ganze Filme in berühmte Malstile
Zuletzt gingen Tübinger Forscher mit dem Computerprogramm DeepArt an die Öffentlichkeit. Es nutzte Methoden der künstlichen Intelligenz, um den Stil eines Gemäldes zu extrahieren und auf ein beliebiges anderes Foto zu übertragen. Nun legen ihre Kollegen der Universität Freiburg nach und präsentieren, aufbauend auf der Arbeit der Tübinger, ein Verfahren, mit dem sich ähnliche Effekte bei Filmen erzielen lassen: Ganze Szenen haben sie dazu vollautomatisch in den Malstil beispielsweise eines van Gogh übertragen. Wie das aussieht, zeigt ein Beispielvideo der Forscher.
Die Ergebnisse der Gruppe um Thomas Brox sehen verblüffend realistisch nach Animationsfilm aus – und das, obwohl das Verfahren noch nicht einmal völlig ausgereift ist. So treten stellenweise Bildfehler auf, und die Rechenzeit ist mit zehn Minuten pro Bildframe extrem hoch; die Bearbeitung eines abendfüllenden Spielfilms steht derzeit eher nicht zur Debatte.
Um Filme derart zu stilisieren, genügt es nicht, jedes Einzelbild einer Bearbeitung zu unterziehen und diese dann aneinanderzureihen. Das Ergebnis wäre ein flackerndes Etwas, das der Betrachter nicht mehr interpretieren kann. Stattdessen mussten die Forscher einen Weg finden, die Bereiche, die von Bild zu Folgebild gleich bleiben, auch gleich zu verändern, sowie diejenigen Bereiche, die neu hinzukommen, sinnvoll an das Vorhandene anzugleichen. Zur Hilfe kommt ihnen dabei, dass die ihrer Technik zu Grunde gelegten künstlichen neuronalen Netzwerke zu einer komplexen Analyse der Szene in der Lage sind – anders als simple Photoshop-Filter können sie Bildelemente auseinanderhalten und zu den stilistischen Merkmalen des Ausgangsbilds in Beziehung setzen. Dadurch kopiert die Software nicht einfach "blind" die oberflächlichen Muster eines Ausgangsbilds, sondern macht sich die hinter diesen Mustern stehenden Gestaltungselemente des Künstlers oder der Künstlerin zu Nutze.
Schreiben Sie uns!
Beitrag schreiben