Die Arbeit von Staffan Ronnas in der Münchner Firma Brainlab befasst sich mit der Anwendung von Augmented Reality (AR) in der Chirurgie – vor allem in der Neurochirurgie. Ziel ist es, virtuelle, präoperativen Daten mit der »Realität« in Form von live Video auf dem chirurgischen Mikroskop so zu verblenden, dass der Chirurg vor und während der OP einen Nutzen davon hat.

Staffan stammt aus Schweden und hat in Karlsruhe in Mathematik in der Arbeitsgruppe promoviert in der auch Gudrun Thäter und Sebastian Ritterbusch tätig waren. Nach seiner Verteidigung 2012 hat er einige Zeit als Postdoc in Karlsruhe und Heidelberg gearbeitet, bevor er zur Firma COMSOL in Stockholm ging. Seit September 2015 wohnt er in München und bringt seine Fähigkeiten als Softwareingenieur bei Brainlab ein.

Welche Rolle spielt denn AR zur Zeit in der Chirurgie? Digitale Daten sind schon weit verbreitet in der Medizintechnik und insbesondere in der Chirurgie. Dabei handelt es sich z.B. um CT- oder MR-Bilder, aus denen man virtuelle Objekte durch Segmentierung gewinnen kann. Diese Daten können vor oder während der Behandlung (prä-/intraoperativ) entstehen und werden zur Planung der OP oder zur Navigation während des Eingriffs verwendet. Zum größten Teil werden sie klassisch auf Bildschirmen dargestellt und zur Interaktion dienen eine Maus oder ein Touchscreen oder auch Instrumente, die über Infrarotkameras getracked werden.

Speziell in der Neurochirurgie kommen große Mikroskope zum Einsatz, die auch Video aufnehmen können. Das Ziel von Staffans Arbeit ist dabei präoperative virtuelle Daten mit Videodaten zu verblenden um eine erweiterte Darstellung zu zeigen, mit der der Chirurg während der OP navigieren kann. Zu dieser Zweck werden nützliche Informationen wie die aktuelle Position, das Zielobjekt und dazwischen liegende Strukturen im Video dargestellt.

Um ein solches System umsetzen zu können, werden Methoden aus vielen verschiedenen Bereichen der angewandten Mathematik benötigt, wie z.B. Bildbehandlung, geometrische Modellierung, 3D Grafik und Computer Vision. Themen wie maschinelles Lernen und Robotik spielen auch eine zunehmend wichtige Rolle.

Eine grundlegende Fragestellung mit der sich Staffan viel beschäftigt hat, ist die Modellierung der Optik chirurgischer Mikroskope mit variablem Fokus und Zoom. Ein genaues Modell wird benötigt, um die Lage und Größe der virtuellen Daten bei der Verblendung mit dem Videobild bestimmen zu können. Als grundlegendes Kameramodell dient das Pinholemodell, d.h. eine perspektivische Projektion von Punkten gemessen in einem 3D Koordinatensystem auf die planare Bildebene. Extrinsische Parameter sind dabei die Lage und Orientierung der Kamera im Raum (die Richtung der "optische Achse"). Die intrinsischen Parameter sind abhängig von der Optik z.B. die Brennweite (Skalierung von mm auf pixel-Maß) und verschiedene Arten von Verzerrung.

Die Parameter des nichtlinearen Kameramodells werden bestimmt durch Minimierung der Reprojektionsfehler in Aufnahmen von einer bekannten Geometrie. Typischerweise wird der Levenberg-Marquardt Algorithmus benutzt um das Optimierungsproblem zu lösen.

Es gibt aber mehrere Schwierigkeiten:

• Der Modell ist nicht konvex wodurch lokale Minima möglich sind;
• Die Berechnung der Parameter wird vom Messfehler beeinflusst;
• Die begrenzte Schärfentiefe und großer Arbeitsabstand erschweren die Messungen;

Als Lösung bietet es sich an ein einfacheres Modell zu verwenden und dadurch zu vermeiden, dass redundante Parameter geändert werden. Allerdings muss man darauf achten, dass das Ergebnis immer noch ausreichend Genauigkeit bietet.

Literatur und weiterführende Informationen

• Z. Yaniv, C. A. Linte: Applications of Augmented Reality in the Operating Room (Preprint), in Fundamentals of Wearable Computers and Augmented Reality, Second Edition, ch. 19, CRC Press, 2015.
• I. Cabrilo, P. Bijlenga, K. Schaller: Augmented reality in the surgery of cerebral aneurysms: a technical report, Operative Neurosurgery, 10.2: 252-261, 2014.
• Z. Zhang: A Flexible New Technique for Camera Calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, pp. 1330–1334, 2000.
• Übersicht Brainlab Mikroskopintegration

Podcasts

• Y. Liang: Bewegte Computertomographie, Gespräch mit S. Ritterbusch im Modellansatz Podcast, Folge 6, Fakultät für Mathematik, Karlsruher Institut für Technologie (KIT), 2013.
• I. Waltschläger: Windsimulation, Gespräch mit S. Ritterbusch im Modellansatz Podcast, Folge 14, Fakultät für Mathematik, Karlsruher Institut für Technologie (KIT), 2014.
• D. Breitenbach, U. Gebhardt, S. Gaedtke: Raketen, CT-MRT-PET-etc, Widerstände, Proton Podcast, Folge 17, 2017.
• F. Rau: Augmented Reality Gaming, Gespräch mit T. Nowak im Kulturkapital Podcast, Folge 28, 2017.