Wintersemester 2009/10,

SoundBook . Lesen mit Ton

Das "Soundbook" stellt ein neuartiges Medium dar, mit welchem Geschichten nicht nur gelesen, sondern gleichzeitig gehört werden. Dies bedeutet, dass an den jeweiligen Inhalt der Geschichte Hintergrundgeräusche, Atmosphären oder auch passende Musik gekoppelt werden. So zum Beispiel die Schritte eines Menschen auf dem Gehweg, das Rauschen eines vorbei fahrenden Autos oder aber die Atmosphäre eines Bahnhofs.

Die visuelle Vorstellung der Geschichte soll somit mit Hilfe einer akustischen Kulisse unterstützt werden.

Um Text und Ton erfolgreich miteinander zu koppeln, habe ich zwei verschiedene Ansätze verfolgt und umgesetzt.

 

Version 1: Der Text läuft auf einem Display von unten nach oben ab, während der Leser die Möglichkeit hat, die Geschwindigkeit des Textes manuell einzustellen. Nach oben und unten wird der Kontrast des Textes geringer, sodass hauptsächlich in der Mitte des Displays gelesen wird. Um das spontane nochmalige Lesen von Textstellen zu gewährleisten, erweitert sich der Kontrast im Pause-Modus nach oben hin.

 

Version 2: Während die Augen des Lesers mit Hilfe eines EyeTrackers beobachtet werden, läuft der Text nicht etwa ab sondern steht statisch an Ort und Stelle, wie etwa auf einem herkömmlichen Reader. Die Augenbewegung des Lesers wird via EyeTracker in Mausbewegung umgewandelt, löst somit die für ihn unsichtbaren Schaltflächen aus und bringt damit die Töne zum klingen. Da der Lesefluss eines jeden Menschen individuell ist und die meisten Leser mit ihren Augen oft hin und her, vor und zurück springen, ist es wichtig, dass die "imaginären Schaltflächen" bestimmte Eigenschaften aufweisen. So sind sie je nach Größe der Textstelle bzw. der Länge des Tons mit unterschiedlich lang eingestellten "Countdowns" versehen, die ein frühzeitiges Auslösen der Töne verhindern. Auf Grund der unterschiedlichen Lesegeschwindigkeiten ist es ebenfalls erforderlich, das Ende eines jeden Tons zu definieren. Die Beendigung eines Tons wird eingeleitet, wenn sich der Blick des Lesers eine bestimmte Zeit (0,5 - 1,5 Sekunden) außerhalb der Schaltfläche befindet. Zu dieser Zeit befindet sich der Blick bereits auf der nächsten Schaltfläche. Während der vorherige Ton nach Ablauf der eingestellten Zeit ausgeblendet wird, fängt der Ton der nächsten Schaltfläche bereits an, abgespielt zu werden. Das Resultat ist eine Folge von Tönen, die je nach Lesegeschwindigkeit verschieden lange gespielt werden und ineinander überblenden, somit eine homogene Klangkulisse erzeugen.

 

Wirklich interessant wird diese Ergänzung der Wahrnehmungskanäle beim Lesen dann, wenn Text und Ton sich nicht etwa überschneiden, sondern wenn sie sich gegenseitig ergänzen. Sich also sowohl in Text als auch in Ton Informationen verbergen. Dies kann im Falle der Beschreibung einer Handlung im Text zum Beispiel die Klangkulisse des Ortes sein, an welchem die Handlung stattfindet - und umgekehrt.

 

Anbei eine kurze Leseprobe zum ausprobieren. > flashfilm.

Project categoryProject