Auf einem Monitor flimmert ein Filmclip, man macht verwaschene Konturen ausfindig – ein Gesicht, eindeutig, in Großaufnahme am rechten Bildrand, schaut uns direkt an. Nun bewegt sich ein großer schwarzer Fleck von rechts nach links, blauer Himmel, dann eine Linie. Was Jack Gallant, Hirnforscher von der Universität Berkeley, und Kollegen hier präsentieren, erinnert an Sciencefiction-Klassiker wie "Projekt Brainstorm": Es ist die Rekonstruktion von Filmen, die Probanden gesehen hatten, rekonstruiert allein aus den Daten eines Hirnscanners.

Den Forschern ist es gelungen, die groben, verrauschten und zeitlich unpräzisen Muster aus dem funktionellen Magnetresonanztomografen so weit zu verstehen, dass sie den normalen Messvorgang auf den Kopf stellen können. Ganz nach dem Prinzip: Zeige mir deine Hirnaktivität, und ich sage dir, was du gerade siehst.

Gallants Studie ist beileibe nicht der erste Versuch des Gedankenlesens mit dem fMRT. Bereits früher haben Wissenschaftler anhand von Scannerdaten diejenigen Reize identifiziert, die gemessene Muster im Gehirn erzeugen. Das ist fast schon bewährte Praxis: Beispielsweise kann man Probanden anweisen, an eine von mehreren möglichen Aktionen zu denken, und anschließend bestimmen, welche Variante die Versuchsperson ausgewählt hatte.

Muster aus dem Hirn

Auch die wesentlich anspruchsvollere Rekonstruktion des Reizes ist möglich – ein geometrisches Muster etwa, das der Proband bei der Aufnahme sah. Dies ist schwieriger als die reine Identifizierung, weil nicht von vornherein feststeht, was als Endergebnis in Frage kommt. Doch auch bei diesen Versuchen sind Forscher bislang nie über statische Bilder hinausgekommen. Der entscheidende Schritt zum bewegten Bild – schließlich ist unsere visuelle Wahrnehmung auch in der Realität in aller Regel zeitlich ausgedehnt – gelang erst jetzt dem Team um Gallant.

Die Schwierigkeit dabei ist doppelt: Zum einen gibt ein Hirnscanner nicht über das Feuern von Neuronen Auskunft, sondern nur über den Blutfluss im betreffenden Gebiet. Da dieser mit dem Sauerstoffverbrauch einhergeht, liefert er zwar indirekt ein Maß für die Aktivität der Zellen, allerdings nur mit Verzögerung. Hat man es mit sich schnell verändernden Reizen zu tun, wie bei Filmen, kann dies zum Problem werden.

Zum anderen zerlegt der Scanner das Gehirn in tausende Würfel von einigen Millimetern Kantenlänge, so genannte Voxel. Ob ein Voxel hohe oder niedrige Messwerte liefert, richtet sich nach dem Feuern der darin enthaltenen Neuronen – und das können Hunderttausende sein. Entsprechend grob ist die Auflösung des fMRT.

Tausende Stunden Videomaterial

Kernstück des Gedankenleseapparats von Gallant und Co. ist eine lernfähige Software, die die Forscher mit endlosen Sitzungen im Scanner und zig Stunden Videomaterial fütterten. Dabei trainierten sie sie darauf, aus digital vorverarbeiteten Filmbildern die Hirnaktivität in jedem Voxel vorherzusagen.

Für jedes Einzelbild bestimmten sie dazu dessen markante optische Eigenschaften wie Helligkeit, Kontraste, Linien, Kanten und ließen anschließend den Computer lernen, welche dieser Eigenschaften zur Aktivität eines Voxels beitragen. Da die Neuronen in den betrachteten Hirnregionen (Areale V1 und V2) ebenfalls nur diese auffälligen Bildcharakteristika filtern, waren sich die Forscher gewiss, dass die Software erfolgreich die Aktivitätsverteilung vorhersagen würde. Der Inhalt des Gezeigten, Erinnerungen oder emotionale Eindrücke spielten keine Rolle.

In einem zweiten Schritt – auch dieser ein Novum in der Scannermethodik – gingen die Forscher die Verzögerung an: Für jedes Voxel ließen sie den Computer, zusätzlich zur reinen Aktivität, noch lernen, wie sich das prognostizierte Neuronengewitter in Form des sauerstoffabhängigen Scannersignals (genannt Bold für blood oxygen level dependent) niederschlägt.

Am Ende hatten sie so ein System geschaffen, das bei Präsentation eines Films voxelgenau den zeitlichen Verlauf dessen Boldwerts vorhersagte. Ein Test mit Filmen und Scannerdaten, die dem Computer beim Lernvorgang vorenthalten worden waren, belegte, dass seine Vorhersagen auch bei unbekannten Daten in hohem Maß richtig waren.

Der Weg zurück

Mangels geeigneter Versuchskandidaten sind die Mitglieder des Forscherteams selbst in die Röhre gestiegen. Erstautor Shinji Nishimoto und seine Kollegen haben insgesamt mehrere Stunden stocksteif starrend im Scanner zugebracht; eine Anforderung, die sie unbeteiligten Freiwilligen nicht zumuten wollten. Mit den so gewonnenen Daten machten sie sich an den Bau des Rekonstruktionsmoduls. Jetzt sollte der Computer den umgekehrten Weg gehen und lernen, aus der Hirnaktivität den Film vorherzusagen.

Die Schwierigkeit dabei: Das System aus Teil 1 des Experiments hatte ja nur mit digital aufbereiteten, gefilterten Bildern gearbeitet. Also mussten die Forscher der Software erst anschauliche Bildbausteine liefern, die der Computer dann zu einem Film zusammensetzen konnte. Gallant und Kollegen gingen zu YouTube, wo sie sich Material für insgesamt 18 Millionen einsekündiger Filmschnipsel herunterluden, die mit den ursprünglichen Videos nichts zu tun hatten.

Ihr Rekonstruktionsmodul sollte nun unter Zuhilfenahme des ursprünglichen Vorhersagesystems für jeden dieser Miniclips bestimmen, mit welcher Wahrscheinlichkeit er eine bestimmte Hirnaktivität hervorrufen wurde.

Im Umkehrschluss

Die dazu verwendete bayessche Statistik erlaubte es ihnen anschließend, die Verhältnisse umzukehren und zu einer gegebenen Hirnaktivität die plausibelsten Filmschnipselkandidaten zu bestimmten. Aus einer Überlagerung der jeweils 100 besten Treffer ergaben sich schließlich eben jene verwaschenen Clips, in denen schemenhaft der Film anklingt, den der Proband bei Aufnahme der Scannerdaten sah.

Wird man nun demnächst arglosen Probanden in die Köpfe schauen können? Wird man die Filme betrachten, die vor ihrem inneren Auge ablaufen? Das ist wenig wahrscheinlich. Denn eine Software wie die von Gallant und Kollegen muss über Stunden hinweg an den Daten ein und derselben Person trainiert werden – andernfalls erlahmt die Vorhersagekraft dramatisch. Auf der Ebene einzelner Voxel unterscheiden sich Probanden erheblich. Heimlich lassen sich diese Daten also nicht gewinnen.

Innere Bilder sichtbar machen

Doch die Einwilligung der Versuchsperson einmal vorausgesetzt, könnte es durchaus interessant sein, sich nun auch den inneren Bildern aus Tagträumen oder Halluzinationen zuzuwenden, meinen die Autoren. Dies würde unser Verständnis dieser Vorgänge erheblich erweitern. Völlig unklar sei aber noch, ob ein derartiges mentales Bild in gleichem Maß die primären Sehzentren anspreche, auf die sich Gallant und Team konzentriert haben.

Der hauptsächliche Sinn und Zweck ihrer Studie sei demnach derselbe wie bei anderen Gedankenleseexperimenten auch: Jedes erfolgreiche System belegt, dass die ihm zu Grunde liegenden Annahmen über die Arbeitsweise des Gehirns korrekt sind. Gallants Experiment beweist beispielsweise nochmals die unter Hirnforschern altbekannte Tatsache, dass Neuronen in den basalen Arealen der Sehverarbeitung selektiv auf markante Bildeigenschaften reagieren – um dieses Prinzip herum war das Prognosesystem konstruiert worden.

Aber auch weniger gut untersuchte Vermutungen der Neurowissenschaft hätten sich in ihrem Experiment bewahrheitet, schreiben die Wissenschaftler. So etwa, dass in Hirnrindenregionen, die auf das periphere Gesichtsfeld spezialisiert sind, verstärkt Nervenzellen sitzen, die Bewegungen verarbeiten: Die Software habe für die Voxel in diesen Arealen Bewegungsinformationen besonders hoch gewichtet.