DeepStereo: Software verwandelt Street View in Filme
Die gesamte zivilisierte Welt (mit Ausnahme Deutschlands) ist bereits von den Kameras von Google aufgezeichnet worden. Wer ferne Länder entdecken will, kann dies also auch am heimischen Computer mittlerweile ganz gut erledigen. Allerdings ist klicken angesagt: Um virtuell eine Straße entlangzuschlendern, muss man von Bild zu Bild navigieren. Schöner wäre es, wenn man einfach einen Film betrachten könnte.
Genau das stellt nun eine neue Software in Aussicht, die sich die Stärken von Deep Learning zu Nutze macht, der neuesten Generation künstlicher neuronaler Netze. Stellt man dem Programm zwei nacheinander aufgenommene Bilder zur Verfügung, errechnet es den dazwischenliegenden Blickwinkel. So lassen sich ganze Filme zusammenfügen.
Das "DeepStereo" getaufte Verfahren haben jetzt Google-Forscher um John Flynn vorgestellt. Leider ist die Bildinterpolation noch recht rechenintensiv, jedes neue Einzelbild schlägt bei einem schnellen Computer mit zwölf Minuten zu Buche, in Echtzeit lässt sich das Verfahren darum (noch) nicht anwenden.
Größtes Problem bei derartigen Interpolationen ist es, Bereiche auszufüllen, die weder auf dem Vorher-, noch auf dem Nachherbild eindeutig zu sehen sind. Exakte 3-D-Rekonstruktionen einer Szene kommen an solchen Stellen schnell in Schwierigkeiten. Das unscharf arbeitende Deep-Learning-Netz soll dieser Aufgabe besser gewachsen sein, weil Bildfehler weniger krass herausstechen würden, erläutert das Magazin "Technology Review".
Für die Entwicklung ihres Systems haben die Google-Wissenschaftler auf den riesigen Bilderschatz ihres Unternehmens zurückgegriffen und zunächst dem Netz beigebracht, Bilder zu interpolieren, die bereits existieren – das heißt, sie wählten das erste und dritte in einer Sequenz und ließen das Programm das dazwischenliegende errechnen. Das tatsächliche mittlere Bild stand ihnen dann als Korrektiv zur Verfügung, um die Ausgabe des Netzes anzupassen. Insgesamt 100 000 solcher Sequenzen wurden zum Training des Systems herangezogen.
Schreiben Sie uns!
Beitrag schreiben