Viele Tätigkeiten lassen sich nur schwer erledigen, wenn das Gehirn nicht Informationen aus verschiedenen Quellen bekommt. Deswegen greift unser Denkorgan auf Informationen aus verschiedenen Sinnesorganen gleichzeitig zurück, um sich so ein "Bild" seiner Umgebung zu machen. Die Verschmelzung von Informationen aus verschiedenen Sinnesorganen – multisensorische Integration genannt – spielt also im Alltag eine wichtige Rolle.

Andererseits entstehen durch multisensorische Integration auch Illusionen – wie zum Beispiel der bekannte "Bauchredner-Effekt": Hört man eine Stimme aus einem Lautsprecher und sieht gleichzeitig ein Gesicht oder einen Mund, die sich zum Sprechen bewegen, dann scheint die Stimme vom Mund auszugehen – selbst wenn dieser, wie im Falle eines Bauchredners, zu einer Puppe gehört. Für die anderen Sinne sind ähnliche Effekte bekannt: Reibt man die Hände aneinander, dann entsteht ein Geräusch, anhand dessen man die Trockenheit der Hände bestimmen kann. Wird dieses Geräusch geschickt manipuliert, dann schätzen Probanden ihre Haut völlig anders ein.

Hirnforscher wie Christoph Kayser vom Max-Planck-Institut für biologische Kybernetik in Tübingen interessiert nun, wo im Gehirn die multisensorische Integration stattfindet. Bisher nahm man an, dass sie nicht in den sensorischen Arealen stattfindet, in denen die Informationen aus den Sinnesorganen ankommen, sondern in einem nachgeschalteten, höheren Hirnareal, dem Assoziationskortex. Die Information aus den Sinnesorganen, so die Vermutung, werde zunächst im Gehirn in spezifischen sensorischen Arealen vorbearbeitet – die auditorische Informationen aus der Hörschnecke zum Beispiel im auditorischen Kortex – und erst danach mit den ähnlich vorbearbeiteten Informationen aus den visuellen und taktilen Eindrücken verrechnet.

Neuere Untersuchungen deuteten allerdings bereits darauf hin, dass dies nicht ganz zutreffen kann: Die multimodale Integration findet wohl schon auf den tieferen Ebenen statt. Mit Hilfe von funktioneller Magnetresonanz maßen jetzt die Tübinger Wissenschaftler die Aktivität der Hirnzellen im auditorischen Kortex von Rhesusaffen. Bei diesen Affen ist die anatomische Untergliederung des Hörzentrums in den primären und sekundären Kortex genau bekannt. Außerdem kann man ihre Gehirne mit höherer räumlicher Auflösung als bei Menschen abbilden; dies ist wichtig, weil die untersuchten Areale kleiner als zwei bis drei Millimeter sind.

Die Ergebnisse zeigten, dass sich der auditorische Kortex verstärkt regte, sobald der auditorische Reiz mit einer taktilen Stimulation der Hand kombiniert auftrat. Außerdem fanden die Forscher innerhalb des auditorischen Kortex Gebiete, die auf gleichzeitige Reizung stärker reagierten als auf alle einzelnen Stimuli zusammen – ein klassisches Kriterium zur Identifizierung multimodaler Integration. Zudem konnten die Forscher zeigen, dass diese Integration im sekundären auditorischen Kortex auftritt.

Die Wissenschaftler vermuten, dass die Sinnesinformationen so früh im Gehirn verschmolzen werden, weil das Gehirn auf diesem Wege versucht, "falsche Bilder" schnell zu verhindern: Sensorische Bilder, die zwar zum Eindruck eines einzelnen Sinnes passen, aber über verschiedene Sinne hinweg inkonsistent sind, werden so ausgeschlossen. Diese Spekulation wollen die Forscher aber erst noch gründlich untersuchen.