Mit den Augen hören

Wissenschaftler des Leipziger Max-Planck-Instituts für Kognitions- und Neurowissenschaften untersuchten, wie das Gehirn visuelle und auditive sprachliche Informationen miteinander verknüpft.

Im Alltag versuchen wir selten bewusst, anderen die Worte von den Lippen abzulesen. Doch in einer lauten Umgebung ist es für das Verstehen tatsächlich oft hilfreich, dem Gesprächspartner beim Sprechen auf den Mund zu schauen. Denn dann verbindet das Gehirn die eintreffenden Informationen aus den verschiedenen sensorischen Quellen und das Sprachverstehen verbessert sich. In einer aktuellen Studie untersuchten nun Wissenschaftler des Max-Planck-Instituts für Kognitions- und Neurowissenschaften, auf welche Art und Weise visuelle und auditorische Areale des Gehirns beim Lippenlesen zusammenarbeiten.
In einem Experiment hörten ihre Probanden zunächst kurze Sätze. Darauf folgte jeweils ein kurzes tonloses Video von einer sprechenden Person. Die Versuchsteilnehmer hatten die Aufgabe, per Knopfdruck anzugeben, ob die gehörten Wörter und die gesehenen Mundbewegungen ihrer Meinung nach zusammen passten. Während dieses Versuchs erfassten die Wissenschaftler die Hirnaktivität der Probanden mit Hilfe der funktionellen Magnetresonanztomografie (fMRT).
Es zeigte sich, dass sich immer dann, wenn Gehörtes und Gesehenes nicht zueinander passten, die Aktivität in einem Areal im linken Sulcus temporalis superior (STS), der obersten der drei Furchen des Temporallappens, erhöhte. Zudem konnte bei Nicht-Übereinstimmung von Gehörtem und Gesehenem eine Zunahme der Interaktion zwischen dem STS und auditorischen Sprachregionen beobachtet werden.
Die Wissenschaftler nehmen an, dass der Sulcus temporalis superior (STS) für die Verknüpfung von visuellen und auditorischev Informationen mitverantwortlich ist. Durch die akustische Vorinformation sei bei ihren Probanden eine Erwartungshaltung darüber entstanden, welche Lippenbewegungen sie sehen würden. Ein Widerspruch zwischen dieser impliziten Vorhersage und dem tatsächlich Wahrgenommenen werde im STS anscheinend als Fehler registriert.
Wie stark die beobachtete Hirnaktivität im STS ausfiel, hing im Experiment der Leipziger Forscher direkt mit den Lippenlese-Fähigkeiten der Probanden zusammen: Je häufiger die Teilnehmer im Experiment mit ihrer Einschätzung richtig lagen, desto stärker war der Aktivitätsanstieg.
Die Wissenschaftler erhoffen sich, dass ihre Ergebnisse nicht nur im Bereich der Grundlagenforschung wahrgenommen werden. Besseres Wissen darüber, wie das Hirn Gehörtes und Gesehenes bei der Sprachverarbeitung miteinander verbindet, könne auch in den klinischen Wissenschaften Anwendung finden. So seien etwa Menschen mit Hörstörungen oft sehr stark auf das Lippenlesen angewiesen. In weiterführenden Studien könne untersucht werden, was im Gehirn passiere, wenn Lippenlesen bewusst trainiert oder mit Zeichensprache kombiniert werde.

Literatur
Blank, H. & von Kriegstein, K. (2012). Mechanisms of enhancing visual-speech recognition by prior auditory information. NeuroImage, 65, 109-118.

 

Quelle: Max-Planck-Institut für Kognitions- und Neurowissenschaften, Leipzig

Weitere Nachrichten zum Thema
Das Gehirn hat die besseren Ohren
Innovative Studie zur auditiven Wahrnehmung