Ein System aus tragbarem Computer, zwei Datenhandschuhen und weiteren Sensoren erlaubt es, mittels Handbewegungen verständliche Sprachlaute zu erzeugen und sogar zu singen. Weil sich die Steuerung an der natürlichen Artikulation orientiert, kann der Benutzer jede beliebige Sprache erklingen lassen, berichten Wissenschaftler um Sidney Fels und dem Komponisten Bob Pritchard von der University of British Columbia in Vancouver. Den neuesten Prototyp ihres "digitalen Bauchredners" (DIVA – DIgital Ventriloquist Actor) stellten sie jetzt der Öffentlichkeit vor.
Indem sie mit ihren Händen die Artikulationsbewegungen im Mund nachahmt, kann die Benutzerin den "digitalen Bauchredner" zum Sprechen bringen – hier wird sich auf Japanisch unterhalten: Konnichiwa. (Guten Tag) Kore wa DIVA desu. (Dies hier ist DIVA) Domo arigato gozaimasu. (Danke schön) Sayonnara. (Auf Wiedersehen)
Anders als bei der Gebärdensprache stehen bei DIVA Gesten für einzelne Laute: "Der Anwender soll sich seine Hand wie einen Mund vorstellen", schreiben die Wissenschaftler. Mit den Handbewegungen werden dann beispielsweise die Positionen von Kiefer und Zunge imitiert. Vokale und die Mehrzahl der Konsonanten erzeugt die rechte Hand; sie kontrolliert außerdem die Tonhöhe. Mit der Linken werden dagegen Verschlusslaute wie [p], [t] und [k] gebildet. Auch die relative Position der Hände zum Körper wird erfasst und fließt in das Datenmaterial ein, das dem Sprachsynthesizer zur Verfügung gestellt wird. Dieser gibt die Klänge schließlich per Lautsprecher aus.
Mobiles Gerät | Der Protoyp ist bereits tragbar: Zwei Datenhandschuhe steuern die Eingabe, ein Entfernungssensor erfasst außerdem die Positionen der Hände. Ebenfalls wichtig: Mit einem Fußschalter stellt man die Lauterzeugung ab.
DIVA funktioniere damit eher wie ein virtuelles Musikinstrument, das auch Sprache und Gesang erzeugen könne, so die Forscher. Zwar könne sich das System auf einzelne Anwender einstellen und deren individuelle Spielweise erlernen, dennoch sei umfangreiches Üben notwendig.
Mit DIVA verfolgt das Team um Fels und Pritchard eine gemischte Strategie: Zum einen könnte das System eines Tages Menschen mit Sprechbehinderungen helfen, zum anderen planen die Wissenschaftler seinen Einsatz auf der Bühne: Es existieren bereits Kompositionen, die von Musikern mit Hilfe des Synthesizers zu Gehör gebracht werden können. Eine erste Aufführung fand im Januar 2009 in Japan statt.
Darüber hinaus entwickeln die kanadischen Wissenschaftler weitere Anwendungen, die es erlauben, parallel zur Lauterzeugung die Mimik eines computergenerierten Gesichts zu steuern. (jd)
Schreiben Sie uns!
Beitrag schreiben