In der Robotik revolutionieren »Ereigniskameras« viele Anwendungen. Sie erfassen schnell bewegte Objekte, und das deutlich effizienter als herkömmliche Kameras. Letztere nehmen für ein Video viele komplette Einzelbilder hintereinander auf – sämtliche Details einer Szene mit den Daten aller Pixel des Sensors. Im Gegensatz dazu zeichnen Ereigniskameras lediglich die Unterschiede auf, die durch Bewegungen entstehen. Damit lassen sich Änderungen gezielt und mit viel geringerem Rechenaufwand erkennen. Derart ausgerüstete Maschinen können Besonderheiten in einer komplizierten und wechselhaften Umgebung besser erfassen.

Ereigniskameras identifizieren Objekte – etwa Menschen oder Hindernisse – anhand von deren Konturen, indem sie verfolgen, wie sich die Pixelhelligkeit entlang dieser Kanten ändert. Der Vorgang ist allerdings fehleranfällig. So erkennt eine Ereigniskamera keine Kanten parallel zu ihrer eigenen Bewegungsrichtung, weil sie hier stets die gleiche Intensität misst: Das Dach eines auf gleicher Höhe nebenherfahrenden Autos bleibt unsichtbar. Die Kamera übersieht also wichtige Informationen. In realen Anwendungen wie selbstfahrenden Autos könnten ihr so möglicherweise Menschen, Tiere oder Fahrzeuge entgehen.

Eine Forschungsgruppe um die Informatikerin Cornelia Fermüller von der University of Maryland in College Park hat nun eine Ereigniskamera entwickelt, die solche Schwächen kompensiert. Dazu haben die Fachleute ein hoch entwickeltes visuelles System zum Vorbild genommen, das selbst die fortschrittlichsten Roboter übertrifft – das menschliche Auge. Ihm gelingt es, durch kleine, unwillkürliche Bewegungen des Augapfels, so genannte Mikrosakkaden, den Fokus auf einem Objekt zu halten.

»Bei Mikrosakkaden unterscheidet sich jedes neue Bild, das bei Bewegungen beobachtet wird, geringfügig vom vorherigen«, erläutert Fermüller. »Es ist bekannt, dass diese Bilder kombiniert werden können, um in einer höheren Auflösung gewissermaßen mehr zu sehen.« Daher machten sich Fermüller und ihr Team daran, eine Ereigniskamera zu entwerfen, die von Mikrosakkaden inspiriert ist. Sie bezeichnen sie als Artificial Microsaccade-Enhanced Event Camera (AMI-EV). »Die Hoffnung bestand darin, dass die Kamera wie Mikrosakkaden verschiedene ›Ereignisbilder‹ aufzeichnen und mehr Signale und damit mehr bewegliche Kanten sehen würde«, sagt Fermüller. »Bessere Kameras bedeuten bessere Wahrnehmung und Reaktionen für Roboter.«

Um Mikrosakkaden nachzuahmen, drehte das Team ein Keilprisma vor der Kamera. Solche optischen Bauteile sorgen für einen kleinen Versatz der Lichtstrahlen, und durch die Rotation wackelt das Bild so ständig ein wenig. »Der Weg durch das Keilprisma lenkt das Licht ab und verschiebt somit Ereignisse an einen anderen Ort«, erklärt Fermüller. Das abgelenkte Licht musste anschließend wieder der richtigen Stelle zugeordnet werden. »Deshalb haben wir einen Algorithmus entwickelt, der die Bewegung des Keilprismas kompensiert«, fügt Fermüller hinzu.

In vielen Disziplinen überlegen

Aber verbessern die AMI-EV-Bilder tatsächlich die Textur einfacher Objekte im Vergleich zu einer Standard-Ereigniskamera? Dazu analysierten die Fachleute die verschiedenen Daten von beiden Kameratypen. Bei Aufnahmen über einen bestimmten Zeitraum erzeugte die AMI-EV bereits einen hochwertigeren Datenstrom mit mehr Informationen über die Szene. In einem einzigen Bild, das alle Ereignisse aus einem kurzen Zeitintervall zusammenführte, zeigte die AMI-EV stabilere und vollständigere Kanten für zweidimensionale Formen wie Kreise, Dreiecke und Quadrate, während die Kamera in Bewegung war.

Beide Kameravarianten konnten Videos mit 1000 Bildern pro Sekunde erstellen – mit solch einer hohen Bildrate lassen sich sehr schnelle Objekte erfassen, die gewöhnliche Kameras übersehen würden. Die AMI-EV schnitt bei diversen weiteren Tests besser ab als die übliche Ereigniskamera, etwa bei der Erkennung horizontaler Kanten, wenn sich der Roboter seitlich bewegte. Auch bei ruhender Kamera offenbarte die Standardvariante Nachteile. Sie hatte Probleme dabei, den Fokus auf einem Gegenstand zu halten. Der AMI-EV gelang das. »Da Standard-Ereigniskameras nur Änderungen in der Lichtintensität sehen, werden keine weiteren Daten aufgezeichnet, wenn sich in der Szene nichts ändert und die Kamera still bleibt. Dadurch kann das Objekt nach wenigen Sekunden aus dem Sichtfeld verschwinden«, führt Fermüller aus. »Im Gegensatz dazu erkennt die AMI-EV mehr Details oder subtile Änderungen.«

Darüber hinaus testete das Team die neue Kamera gegenüber der Standardversion in drei typischen Umgebungen: einer strukturreichen, einer strukturarmen und einer mit schwierigen Beleuchtungsbedingungen. In allen drei Szenarien stellte das Team fest, dass die AMI-EV die Ziele besser wahrnehmen und verfolgen konnte und mehr Informationen lieferte.

Dank ihrer Fähigkeit, schnell bewegte Objekte zu identifizieren und zu unterscheiden, kommen Ereigniskameras bereits bei zahlreichen Anwendungen zum Einsatz, etwa bei der Hindernisvermeidung mobiler Roboter in dynamischen Umgebungen und bei der Hochgeschwindigkeitszählung von Stückgut in der Industrie. Fermüllers Forschungsgruppe fand heraus, dass der Mechanismus mit dem vorgeschalteten Keilprisma solche Funktionen mindestens ebenso gut ermöglicht. Bei einer besonders wichtigen praktischen Anforderung war die AMI-EV sogar deutlich überlegen: der Erkennung von Menschen. Mit Hilfe von OpenPifPaf, einem beliebten Algorithmus zur Schätzung menschlicher Posen, konnte die AMI-EV Gelenkpositionen und Körperhaltung bei höheren Bildraten besser identifizieren als eine Standard-Eventkamera.

Viel versprechend mit Optimierungspotenzial

»Der Ansatz der AMI-EV greift eine der grundlegendsten Einschränkungen bestehender Ereigniskameras auf: Blindheit gegenüber statischen Objekten und Hintergründen«, sagt Simon Hadfield, der robotisches Sehen und autonome Systeme an der englischen University of Surrey erforscht. »Wenn ein autonomes Fahrzeug an einer Kreuzung stoppt, verliert es schnell die Fähigkeit, die Struktur der Straße, Markierungen, Schilder und so weiter zu erkennen, da sie sich nicht bewegen«, erklärt Hadfield.

Daniel Gehrig von der University of Pennsylvania in Philadelphia entwickelt Verfahren, mit denen sich möglichst optimal Informationen aus Ereigniskameras gewinnen lassen. Dafür müsste seiner Einschätzung nach die Empfindlichkeit der AMI-EV noch verringert werden, damit ständige Mikrobewegungen nicht überall übermäßig hohe Ereignisraten verursachen. Er vermutet jedoch, dass solch eine Reduzierung die AMI-EV wiederum blind für sehr feine Strukturen machen könnte. »Ich würde gerne sehen, wie die Datenrate in Zukunft durch Änderung der Rotationsgeschwindigkeit und der Kamerasensibilität gesteuert werden kann.«

Zudem bringen die zusätzlichen Bauteile der Mikrosakkaden-Kamera mehr Gewicht mit sich. Für mobile Anwendungen muss die Konstruktion also noch leichter werden. Dennoch sieht Fermüller für viele Zwecke in der realen Welt großes Potenzial und hofft auf erhebliche Auswirkungen über verschiedene Fachgebiete hinweg, »einschließlich Anwendungen in selbstfahrenden Autos, virtueller Realität und intelligenten Wearables«.