Erinnern Sie sich noch an das letzte Mal, dass jemand Ihnen den Vogel gezeigt hat? Ob dabei der Finger von verbalen Obszönitäten begleitet war oder nicht: Ihnen war sicher gleich klar, was die Geste bedeutete. Das Übersetzen von Bewegung in Bedeutung ist so einfach wie unvermittelt. Wir haben die Fähigkeit, zu sprechen, ohne zu reden, und zu verstehen, ohne zu hören. Mit einem Fingerzeig lenken wir die Aufmerksamkeit anderer, wir untermalen Erzählungen mit Mimik, betonen sie mit rhythmischen Gesten oder fassen eine Antwort in einem an die Stirn tippenden Finger zusammen.

Diese Tendenz, Kommunikation mit Bewegungen zu ergänzen, ist universell, auch wenn die Nuancen der Darbietung variieren. In Papua-Neuguinea etwa deuten die Menschen mit Nase und Kopf, während die Einwohner von Laos hierfür manchmal ihre Lippen verwenden. In Ghana ist es teilweise tabu, mit der linken Hand auf etwas zu zeigen, während man in Griechenland oder der Türkei in Schwierigkeiten geraten kann, wenn man mit Zeigefinger und Daumen einen Ring bildet, um anzuzeigen, dass alles »okay« ist.

Trotz dieser Vielfalt können Gesten lose als Bewegungen definiert werden, die Botschaften wiederholen oder betonen – unabhängig davon, ob die Botschaft selbst gesprochen wird oder nicht. Gesten sind Bewegungen, die »Handlungen repräsentieren«, aber auch abstrakte oder metaphorische Informationen vermitteln können. Sie sind Werkzeuge, die wir von klein auf besitzen, wenn nicht gar von Geburt an; denn selbst Kinder, die seit ihrer Geburt blind sind, gestikulieren ein wenig beim Reden.

Trotzdem machen sich nur wenige Menschen weiter Gedanken über das Gestikulieren, über seine Neurobiologie, seine Entwicklung und seine Rolle beim Verstehen von Handlungen. Doch je tiefer Hirnforscher die Verkabelung des Gehirns durchdringen, desto klarer wird: Gesten beeinflussen unsere Wahrnehmung auf die gleiche Weise, wie Wahrnehmungen unser Handeln leiten.

Eine angeborene Tendenz zur Geste

Susan Goldin-Meadow gilt als Mutter der Gestenforschung. In den 1970er Jahren, als sie begann, sich für Gesten als Gegenstand der Forschung zu interessieren, gab es ihr Forschungsgebiet noch nicht. Einige andere Wissenschaftler hatte zwar bereits daran gearbeitet, aber fast ausschließlich als Variation der nonverbalen Verhaltensforschung. Goldin-Meadow dagegen hat ihre Karriere ganz der Erforschung der Rolle gewidmet, die Gesten beim Lernen und der Entstehung von Sprachen spielen. Dabei untersuchte die Professorin von der University of Chicago unter anderem das Gestensystem, das gehörlose Kinder entwickeln, wenn sie keine Gebärdensprache erlernen. (Anders als Gebärdensprache ist Gestik kein voll entwickeltes Sprachsystem.) Heute betreibt Goldin-Meadow eines der bekanntesten Labore für Gestenproduktion und -wahrnehmung. »Gesten sind ein wunderbares Fenster in die Welt der unausgesprochenen Gedanken«, sagt sie. »Und oft gehören die unausgesprochenen Gedanken zu den interessantesten.«

Viele Forscher, die von ihr ausgebildet wurden, folgen heute verwandten Fragen. Miriam Novack etwa promovierte 2016 bei Goldin-Meadow und ist heute wissenschaftliche Mitarbeiterin an der Northwestern University. Dort untersucht sie, wie sich Gesten im Lauf des Lebens entwickeln. Neben uns Menschen gebe es keine andere Spezies, die auf Objekte deutet, sagt Novack. Die meisten Forscher seien sich einig, dass nicht einmal Schimpansen oder Affen derartige Gesten verwenden, es sei denn, sie wurden vom Menschen aufgezogen.

Im Gegensatz dazu zeigen viele Babys auf Objekte, bevor sie sprechen können. Vermutlich entwickelt sich unsere Fähigkeit, symbolische Bewegungen zu produzieren und zu verstehen, zusammen mit der Sprache. Auch beim Lernen sind Gesten nützliche Werkzeuge: Sie helfen Kindern, Verben in neuen Zusammenhängen zu verstehen oder mathematische Gleichungen zu lösen. »Es ist aber nicht klar, ab wann genau Kinder Handbewegungen als Mittel der Kommunikation verstehen – als Teil der Botschaft selbst«, sagt Novack.

»Gesten sind ein wunderbares Fenster in die Welt der unausgesprochenen Gedanken«Susan Goldin-Meadow

Wenn Kinder keine Worte finden, um sich auszudrücken, sprechen sie oft mit den Händen. Novack, deren Probanden manchmal nur 18 Monate alt sind, hat herausgefunden, dass die Fähigkeit, Bedeutung in Bewegungen zu erkennen, mit dem Alter wächst. Für uns Erwachsene ist die Fähigkeit dann so natürlich, dass wir leicht vergessen, wie kompliziert es für das junge Gehirn ist, Handzeichen eine Bedeutung zuzuordnen.

Gesten mögen zwar simple Handlungen sein, doch sie funktionieren nicht in Isolation: Wie Studien zeigen, erweitern Gesten nicht bloß die Sprache, sondern helfen auch beim Spracherwerb. Wenn man im Lauf des Lebens Erfahrungen mit Gesten sammelt, ist man wahrscheinlich eher in der Lage, die Bedeutung in den Bewegungen anderer zu erkennen. Tatsächlich könnten Gesten und Sprache zum Teil auf den gleichen neuronalen Systemen beruhen. Ob einzelne Zellen oder ganze neuronale Netze uns die Fähigkeit schenken, Handlungen anderer zu entschlüsseln, ist allerdings noch eine offene Frage.

Verkörperte Kognition

Noam Chomsky, Koryphäe in der Sprach- und Kognitionswissenschaft, behauptet seit Langem, dass Sprache und sensomotorische Systeme voneinander unabhängig sind – Module, die in der gestischen Kommunikation nicht zusammenarbeiten müssen, obwohl beides Werkzeuge der Vermittlung und Interpretation symbolischen Denkens sind. Die Frage ist wohl auch deshalb unbeantwortet, weil wir nicht vollständig verstehen, wie Sprache im Gehirn organisiert ist oder welche neuronalen Schaltkreise es sind, die Bedeutung aus Gesten ziehen. Nicht wenige Forscher vermuten heute, dass beide Fähigkeiten teils aus denselben Gehirnstrukturen hervorgehen.

Einer von ihnen ist Anthony Dick, außerordentlicher Professor an der Florida International University. Mit Hilfe der funktionellen Magnetresonanztomografie (fMRT) haben Dick und seine Kollegen herausgefunden, dass das Gehirn bei der Interpretation von »Co-Speech«-Gesten durchwegs Sprachverarbeitungszentren nutzt. Die beteiligten Hirnbereiche und ihr Aktivierungsgrad variieren allerdings mit dem Alter – ein Hinweis darauf, dass das junge Gehirn seine Fähigkeit zur Integration von Gesten und Sprache noch verfeinert und die Verbindungen zwischen den beteiligten Hirnregionen optimiert. »Gestik ist nur ein Pfeiler in einem breit angelegten Sprachsystem«, sagt Dick. Das System integriere Hirnbereiche für die semantische und die sensomotorische Verarbeitung. Inwieweit aber ist die Wahrnehmung von Sprache selbst eine sensomotorische Erfahrung, die sowohl von Sinneseindrücken als auch von Bewegungen geprägt ist?

»Gestik ist nur ein Pfeiler in einem breit angelegten Sprachsystem«Anthony Dick

Als Manuela Macedonia gerade ihren Magister in Linguistik abgeschlossen hatte, fiel ihr ein Muster bei den Studenten auf, denen sie an der Johannes Kepler Universität Linz (JKU) Italienisch beibrachte: Egal, wie oft die Studenten die gleichen Wörter wiederholten, sie konnten keinen zusammenhängenden italienischen Satz zurechtstammeln. Auch das wiederholte Schreiben von Phrasen brachte nicht viel mehr. »Die Studenten wurden sehr gute Zuhörer«, sagt Macedonia, »aber sie konnten nicht sprechen.«

Dabei unterrichtete Macedonia nach Vorschrift: Sie ließ ihre Schüler zuhören, schreiben, üben und wiederholen, genau so, wie Chomsky es gutheißen würde. Aber irgendetwas fehlte. Heute ist Macedonia leitende Forscherin am Institute of Information Engineering an der JKU und am Max-Planck-Institut für Kognitions- und Neurowissenschaften in Leipzig. Ihre Forschungsergebnisse zum Sprachenlernen haben Macedonia zu einer Hypothese geführt, die sehr an die von Anthony Dick erinnert: dass Sprache alles andere ist als modular.

Wenn Kinder ihre Muttersprache lernen, so Macedonia, nehmen sie Informationen mit allen Sinnen wahr. Eine »Zwiebel« hat eine bauchige Form, eine papierene, raschelnde Haut, eine bittere Geschmacksnote und einen scharfen Geruch beim Schneiden. Selbst abstrakte Konzepte wie »Freude« haben multisensorische Komponenten wie Lächeln, Lachen und Springen. Kognition ist also bis zu einem gewissen Grad »verkörpert« – Handlungen und körperliche Erlebnisse verändern die Hirnaktivität und umgekehrt. Kein Wunder also, dass neue Wörter nicht hängen bleiben, wenn Schüler sie nur hören, schreiben, sprechen und wiederholen; solche rein verbalen Erfahrungen sind ihrer sensorischen Assoziationen beraubt.

Sprachen lernen mit Bewegungen

Macedonia hat herausgefunden, dass Schüler, die neue Wörter stattdessen mit semantisch verwandten Gesten untermalen, motorische Hirnbereiche aktivieren und ihre Erinnerung stärken. Am besten wiederholt man also nicht einfach das Wort »Brücke«: Man beschreibt dabei einen Bogen mit den Händen, ein »Koffer« wird geschleppt, eine Gitarre gespielt! Derartiges multisensorisches Lernen speichert Wörter wie »Zwiebel« an mehr als einem Ort im Gehirn ab – sie werden über ganze Netzwerke verteilt. Und wenn einer der Knoten im Netzwerk wegen fehlender Aktivierung ausfällt, kann ein anderer aktiver Knoten ihn wiederherstellen. »Jeder Knoten weiß, was die anderen Knoten wissen«, sagt Macedonia. Wer multisensorisch lernt, verdrahtet sein Gehirn demnach zum Abspeichern von Wörtern. Wörter sind dann Bezeichnungen für Gruppen von Erfahrungen, die sich über das Leben hinweg ansammeln.

Gesten und sensorische Erfahrungen sind aber womöglich auf noch weitere Arten verbunden. Eine wachsende Zahl Forschungsarbeiten legt heute nahe, dass Sprache und Gestik so eng miteinander verflochten sind wie motorisches Handeln und Wahrnehmung. Insbesondere sind die neuronalen Systeme für Wahrnehmung und Verständnis von Gesten von früheren Erfahrungen mit denselben Bewegungen beeinflusst, wie Elizabeth Wakefield berichtet.

Wakefield, ein weiterer Goldin-Meadow-Schützling, leitet heute als Assistenzprofessorin ein eigenes Labor an der Loyola University Chicago. Dort erforscht sie, wie alltägliche Handlungen Lernen und Kognition beeinflussen. Bevor sie diesen Fragen in aller Tiefe nachgehen konnte, versuchte sie herauszufinden, wie sich die Verarbeitung von Gesten im Gehirn entwickelt. Im Jahr 2013, als Doktorandin bei der Neurowissenschaftlerin Karin James an der Indiana University, führte Wakefield eine der ersten fMRT-Studien durch, die die Gestenwahrnehmung bei Kindern und Erwachsenen untersuchte. Dabei zeigte Wakefield ihren Probanden Videos einer Schauspielerin, die beim Reden gestikulierte. Die gleichzeitigen Hirnscan-Aufnahmen zeigten, dass Hirnareale für Bild- und Sprachverarbeitung nicht die einzigen waren, die verstärkt aktiv waren. Auch Areale, die mit motorischen Handlungen assoziiert sind, wurden aktiver, und das, obwohl die Teilnehmer still im Scanner lagen. Erwachsene zeigten in diesen Regionen mehr Aktivität als Kinder. Als Ursache vermutet Wakefield, dass die Erwachsenen mehr Erfahrung mit ähnlichen Bewegungen gesammelt hatten als die Kinder (Kinder neigen auch weniger zu Gesten, wenn sie reden).

Erinnerungen verändern die Wahrnehmung von Gesten

Wakefields Studie ist nicht die einzige, die gezeigt hat, dass Gestenwahrnehmung und gezieltes Handeln dieselbe neuronale Grundlage haben. Unzählige Experimente wiesen ein ähnliches Spiegelungsphänomen nach, unter anderem im Ballett, Basketball, beim Gitarrespielen, Knotenknüpfen und sogar beim Notenlesen. In allen diesen Fällen gilt: Beobachten Experten, wie ihre Fähigkeit von anderen ausgeführt wurde, sind ihre sensomotorischen Bereiche aktiver als bei Menschen mit weniger Fachwissen. (Paradoxerweise haben andere Experimente genau das Gegenteil gefunden: Das Gehirn der Experten reagierte hier schwächer als das der Laien. Einige Forscher vermuten, dass der größere Erfahrungsschatz das Gehirn der Experten bei der Verarbeitung von Bewegungen effizienter und damit weniger aktiv gemacht hatte.)

Lorna Quandt, Assistenzprofessorin an der Gallaudet University, die solche Phänomene bei Gehörlosen und Schwerhörigen untersucht, verfolgt einen detaillierten Ansatz. Sie zerlegt Gesten in ihre sensomotorischen Komponenten und zeigt mit Hilfe der Elektroenzephalografie (EEG), dass Erinnerungen an bestimmte Handlungen die Art und Weise verändern, wie wir die Gesten anderer Menschen vorhersagen und wahrnehmen.

In einer Studie nahmen Quant und ihre Kollegen EEG-Muster erwachsener Teilnehmer auf, während diese mit Objekten unterschiedlicher Farbe und Gewicht hantierten. Dann zeigten sie den Probanden ein Video von einem Mann, der mit den gleichen Gegenständen herumwerkelte. Auch wenn er Handlungen um die Objekte herum nachahmte oder auf diese zeigte, reagierte das Gehirn der Teilnehmer so, als ob sie selbst die Objekte in den Händen hielten. Darüber hinaus spiegelte ihre neuronale Aktivität ihr eigenes Erfahrungslevel wider: Aus den EEG-Mustern konnten die Forscher vorhersagen, wie die Erinnerung der Probanden (etwa daran, ob ein Objekt schwer oder leicht war) beeinflussen würde, wie sie die Handlungen des Mannes wahrnahmen.

»Wenn ich beobachte, wie du eine Geste ausführst, verarbeite ich nicht nur, was du gerade tust, sondern auch, was du als Nächstes tun wirst«Lorna Quandt

»Wenn ich beobachte, wie du eine Geste ausführst, verarbeite ich nicht nur, was du gerade tust, sondern auch, was du als Nächstes tun wirst«, erklärt Quandt. Das Gehirn sagt also die sensomotorischen Erfahrungen des Gegenübers vorher, wenn auch nur ein paar Millisekunden im Voraus. Wie viel eigene motorische Erfahrung aber ist für solche Vorhersagen erforderlich? Laut den Ergebnissen aus Quants Labor reicht ein einziges taktiles Erlebnis, um Experte für Farb-Gewichts-Assoziationen zu werden. Geschriebene Informationen reichen dafür nicht.

Mittlerweile ist laut Anthony Dick im Allgemeinen anerkannt, dass motorische Hirnbereiche auch dann aktiv sind, wenn Menschen die Bewegungen anderer beobachten, sich selbst jedoch nicht bewegen (ein Phänomen, das als »observation-execution matching« bekannt ist). Uneinig sei man sich aber in der Frage, ob dieselben Hirnregionen die Bedeutung von Handlungen erkennen. Und noch umstrittener sei die Frage, welcher Mechanismus dem verbesserten Verstehen durch sensomotorische Aktivierung zu Grunde liegt: eine koordinierte Aktivität über mehrere Gehirnregionen hinweg oder gar die Aktivität einzelner Hirnzellen?

Spiegelneurone oder Spiegelnetzwerke?

Vor mehr als einem Jahrhundert schrieb der Psychologe Walter Pillsbury: »Es gibt nichts im Kopf, was nicht mit Bezug auf Bewegung erklärt ist.« Die moderne Variante dieser Auffassung ist die Theorie der Spiegelneurone. Sie geht davon aus, dass die Fähigkeit, Bedeutungen von Gestik und Sprache zu verstehen, durch die Aktivierung einzelner Zellen in bestimmten Hirnregionen erklärt werden kann. Doch zeichnet sich immer deutlicher ab, dass die Erkenntnisse über die Rolle von Spiegelneuronen im Alltagsverhalten womöglich überinterpretiert wurden.

Erstmals formuliert wurde die Theorie der Spiegelneurone in den 1990er Jahren. Eine Gruppe von Forschern fand im unteren prämotorischen Kortex von Affen damals Neurone, die einerseits feuerten, wenn die Tiere bestimmte zielgerichtete Bewegungen machten (zum Beispiel beim Greifen), andererseits aber auch, wenn die Tiere passiv einen Versuchsleiter beobachteten, der ähnliche Bewegungen ausführte. Die Entdeckung überraschte die Wissenschaftler. Offenbar war das ein klarer Fall von »matching« zwischen Beobachtung und Ausführung, allerdings auf der Ebene einzelner Zellen.

Für ihre Entdeckung haben Forscher verschiedene Erklärungen vorgeschlagen: Womöglich vermittelten Spiegelneurone schlicht Informationen über Handlungen, was es dem Affen erlaubte, sich für geeignete motorische Reaktionen zu entscheiden. Strecke ich Ihnen zum Beispiel meine Hand entgegen, ist es wahrscheinlich Ihre natürliche Reaktion, mich zu spiegeln und dasselbe zu tun.

Wir erfassen Bedeutung von Bewegung intuitiv

Alternativ könnten Spiegelneurone auch die Grundlage für echtes Handlungsverständnis sein: die Fähigkeit, die Bedeutung in den Bewegungen anderer Menschen zu erkennen. In diesem Fall würden die Neurone dem Affen erlauben, seine eigenen Handlungen mit vergleichsweise geringem mentalem Rechenaufwand an das anzupassen, was er sieht. Letztlich verdrängte diese zweite Interpretation die erste, wohl weil sie auf wunderbar einfache Art zu erklären vermochte, wie wir die Bedeutung der Bewegungen anderer intuitiv erfassen.

Im Lauf der Jahre häuften sich die Hinweise für einen ähnlichen Mechanismus beim Menschen. Spiegelneurone wurden nun als Ursache einer langen Liste von Phänomenen gesehen, darunter Empathie, Imitation, Altruismus oder auch die Autismus-Spektrum-Störung. Und seit man Spiegelaktivität in verwandten Hirnregionen auch während Gestenbeobachtung und Sprachwahrnehmung beobachtet hat, werden Spiegelneurone außerdem mit Sprache und Gestik in Verbindung gebracht.

Gregory Hickok, Professor für Kognitions- und Sprachwissenschaften an der University of California in Irvine (USA), ist ein leidenschaftlicher Kritiker der Spiegelneuronen-Theorie. Laut ihm haben die Begründer mit ihrer Spiegelneuronentheorie auf die falsche Erklärung gesetzt. Nach seiner Auffassung verdienen Spiegelneurone es zwar, gründlich erforscht zu werden. Der Fokus auf ihre Rolle beim Sprach- und Handlungsverständnis aber habe den Forschungsfortschritt behindert; »observation-execution matching« sei eher an der Motorplanung beteiligt als am Handlungsverständnis.

Was bedeutet es, eine Aktion zu verstehen?

Selbst jene Forscher, die die Theorie des Handlungsverständnisses weiter unterstützen, rudern heute zurück, unter ihnen etwa Valeria Gazzola, Leiterin des Social Brain Laboratory am Netherlands Institute for Neuroscience und außerordentliche Professorin an der Universität Amsterdam. Obwohl Gazzola weiterhin Verfechterin der Spiegelneuronen-Theorie ist, räumt sie ein, dass es keinen Konsens darüber gibt, was es bedeutet, eine Aktion zu »verstehen«. »Es gibt da immer noch Differenzen und Missverständnisse«, sagt sie. Auch wenn Spiegelneurone ein wichtiger Bestandteil der Kognition seien, »die gesamte Geschichte können sie wahrscheinlich nicht erklären«.

Ein Großteil der Hinweise auf Spiegelaktivität beim Menschen stammt aus frühen Studien, die die Aktivität von Millionen Neuronen mit Methoden wie fMRT, EEG, Magnetoenzephalografie oder transkranieller Magnetstimulation gleichzeitig aufzeichnen. Später nutzen Forscher Methoden wie die fMRT-Adaption, mit der die Aktivität von Subpopulationen bestimmter kortikaler Areale analysiert werden kann. Nur selten aber bietet sich die Gelegenheit, die Aktivität einzelner Zellen direkt im menschlichen Gehirn zu vermessen, was den direktesten Nachweis für die Existenz von Spiegelneuronen liefern könnte.

»All diese Studien zur Hirnbildgebung und Hirnaktivierung zeigen nur Korrelationen. Sie sagen nichts über die Ursachen aus«Gregory Hickok

»Ich habe keinen Zweifel, dass Spiegelneurone existieren«, sagt Hickok. »Doch all diese Studien zur Hirnbildgebung und Hirnaktivierung zeigen nur Korrelationen. Sie sagen nichts über die Ursachen aus.« Darüber hinaus können die meisten Menschen, die sich wegen motorischer Behinderungen nicht bewegen oder nicht sprechen können, etwa wegen einer schweren Zerebralparese, Sprache und Gesten trotzdem wahrnehmen. Sie benötigen für das Handlungsverständnis also kein voll funktionsfähiges Motorsystem (mit Spiegelneuronen). Auch bei Affen gebe es keine Hinweise darauf, dass Schäden an Spiegelneuronen Defizite bei der Beobachtung von Handlungen nach sich ziehen, so Hickok.

Annahmen über einzelne Zellen lassen sich also nach wie vor nur schwer belegen. Daher sind die meisten Forscher recht vorsichtig mit ihren Aussagen. Sie sprechen zwar davon, das Affen »Spiegelneurone« besitzen, beim Menschen sprechen sie allerdings von »Spiegelsystemen«, »neuronaler Spiegelung« oder »Handlungs-Beobachtungs-Netzen«. (Laut Hickok haben sich die Begriffe auch in der Affenforschung in Richtung Netzwerk und System verschoben.)

Quandt, die sich selbst als Vertreterin einer Spiegelneuronen-Mitte versteht, leitet aus ihren EEG-Experimenten keine Aussagen darüber ab, wie Erfahrungen die Funktion einzelner Zellen verändern. Jedoch sei sie »vollkommen überzeugt« davon, dass Teile des menschlichen sensomotorischen Systems an Analyse und Verarbeitung von Gesten anderer Menschen beteiligt sind. »Ich bin mir hundertprozentig sicher, dass das so ist«, sage sie. »Es bräuchte einiges, um mich vom Gegenteil zu überzeugen.«

Aber selbst wenn Forscher heute noch nicht genau wissen, welche Zellen uns beim körpergestützten Kommunizieren und Lernen helfen: Unbestritten ist, dass sich die daran beteiligten neuronalen Systeme überschneiden. Gesten erlauben uns, uns mitzuteilen, sie prägen die Weise, wie wir andere Menschen verstehen und interpretieren. Um einen von Quandts Fachartikeln zu zitieren:»Handlungen anderer werden durch die Brille des Selbst erfahren.« Wenn Ihnen also das nächste Mal jemand den Stinkefinger zeigt, nutzen Sie den Moment, um zu würdigen, wie viel dahintersteckt, eine solche Nachricht klar und deutlich zu verstehen.

Von »Spektrum der Wissenschaft« übersetzte und redigierte Fassung des Artikels »How the Brain Links Gestures, Perception and Meaning« aus dem »Quanta Magazine«, einem inhaltlich unabhängigen Magazin der Simons Foundation, die sich die Verbreitung von Forschungsergebnissen aus Mathematik und den Naturwissenschaften zum Ziel gesetzt hat.