Klangfeldsynthese
Transcrição
Klangfeldsynthese
Klangfeldsynthese Betrachtung der Klangfeldsynthese anhand des IOSONO Systems Alexandra Ion BACHELORARBEIT Nr. 238-006-031-A eingereicht am Fachhochschul-Bachelorstudiengang Medientechnik und -design in Hagenberg im Jänner 2009 Diese Arbeit entstand im Rahmen des Gegenstands Audio Gestaltung im Wintersemester 2008/09 Betreuer: Christop Schaufler, MA ii Erklärung Hiermit erkläre ich an Eides statt, dass ich die vorliegende Arbeit selbstständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt und die aus anderen Quellen entnommenen Stellen als solche gekennzeichnet habe. Hagenberg, am 28. Januar 2009 Alexandra Ion iii Inhaltsverzeichnis Erklärung iii Kurzfassung vi Abstract vii 1 Einleitung 1 2 Klangfeldsynthese - Grundlagen und Eigenschaften 2.1 Das Huygens’sche Prinzip . . . . . . . . . . . . . . . 2.2 Von der Theorie zur Praxis . . . . . . . . . . . . . . 2.3 Fehler und Einschränkungen . . . . . . . . . . . . . . 2.3.1 Beugungseffekte, Endeffekte . . . . . . . . . . 2.3.2 Spatial Aliasing . . . . . . . . . . . . . . . . . 2.3.3 Fehlende Höhen/Tiefen Dimension . . . . . . 2.4 Vorteile der Klangfeldsynthese . . . . . . . . . . . . . 2.4.1 Korrekte Perspektive . . . . . . . . . . . . . . 2.4.2 Große Hörzone . . . . . . . . . . . . . . . . . 2.4.3 Fokussierte Quellen in der Hörzone . . . . . . 2.4.4 Bewegung im Schallfeld . . . . . . . . . . . . 2.4.5 Atmosphäre durch echte ebene Wellen . . . . 2.5 Lokalisation . . . . . . . . . . . . . . . . . . . . . . . 2.5.1 Lokalisation in der Psychoakustik . . . . . . . 2.5.2 Lokalisation virtueller Quellen . . . . . . . . . 2.5.3 Lokalisation bei WFS und 22.2 Systemen . . 2.6 Distanzwahrnehmung . . . . . . . . . . . . . . . . . . 2.7 Anwendungsgebiete . . . . . . . . . . . . . . . . . . . 2.8 Forschung, Projekte und Systeme . . . . . . . . . . . 2.8.1 Forschungseinrichtungen und Projekte . . . . 2.8.2 Marktreife Soundsysteme . . . . . . . . . . . 2.8.3 Organisationen . . . . . . . . . . . . . . . . . iv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 5 5 6 7 7 8 8 8 9 11 12 12 13 15 16 17 19 20 20 21 Inhaltsverzeichnis v 3 Von der Aufnahme zum synthetisierten Schallfeld 3.1 Recording . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Direktschall . . . . . . . . . . . . . . . . . . . . . . . 3.1.2 Frühe Reflexionen und Nachhall . . . . . . . . . . . . 3.1.3 Künstliche Erzeugung von Reflexionen und Nachhall 3.1.4 Kompatibilität . . . . . . . . . . . . . . . . . . . . . 3.2 Authoring und Mixing . . . . . . . . . . . . . . . . . . . . . 3.3 Audio Szene . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Rendering und Übertragung . . . . . . . . . . . . . . . . . . . . . . . . . . 22 22 22 23 23 23 23 24 25 4 IOSONO in der Praxis 4.1 René Rodigast und die Anfänge von IOSONO 4.2 Marktspezifische Gesichtspunkte . . . . . . . 4.3 IOSONO im Vergleich zu Multichannel . . . . 4.4 Die Vision der Heimanwendung . . . . . . . . 4.5 Mixing . . . . . . . . . . . . . . . . . . . . . . 4.6 Rendering . . . . . . . . . . . . . . . . . . . . 4.7 Zukunftsausblicke . . . . . . . . . . . . . . . . . . . . . . . 27 27 28 29 30 32 33 33 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Conclusio 35 Literaturverzeichnis 37 A Interview mit René Rodigast zum IOSONO System 40 Kurzfassung In dieser Bachelorarbeit wird die Klangfeldsynthese, besser bekannt als Wellenfeldsynthese (kurz WFS), behandelt. Die Wellenfeldsynthese ist ein Ansatz zur Reproduktion von räumlichem Sound. Im Gegensatz zu der gebräuchlichen Methode der Mehrkanal-Stereofonie, wie 5.1 Surround, wo fünf diskrete Lautsprecherkanäle ca. kreisförmig und die Hörposition angeordnet werden, verfügt Wellenfeldsynthese über die Fähigkeit, das Schallfeld physikalisch korrekt reproduzieren zu können. Durch diese Eigenschaft ergeben sich natürlich einige Vorzüge gegenüber den Mehrkanal-Systemen, die jedoch mit einem größeren Aufwand verbunden sind. In dieser Arbeit wird die Wellenfeldsynthese im Allgemeinen beleuchtet. Es werden die Vorteile, Nachteile und Eigenschaften betrachtet. Weiters werden am Beispiel von IOSONO, ein etabliertes Wellenfeldsynthese-System, das am Fraunhofer Institut entwickelt wurde, praktische Aspekte und zukünftige Trends aufgezeigt. vi Abstract This bachelor thesis deals with the topic of Wave Field Synthesis (WFS), an approach to reproduce spatial sound. In contrast to the common method of reproducing spatial sound with multichannel systems, such as 5.1 Surround, in which five discrete speaker channels are arranged in a circular fasion around the listening position, Wave Field Synthesis is able to reproduce the physically correct wave field. This approach offers a number of advantages despite the fact that it also requires greater effort. The thesis describes Wave Field Synthesis in general and pinpoints its advantages, disadvantages and unique characteristics. Furthermore, practical considerations and future trends are discussed on the basis of IOSONO, a well established Wave Field Synthesis system which was developed at the Fraunhofer Institute. vii Kapitel 1 Einleitung Ziel dieser Arbeit ist es, die räumliche Klangwiedergabe via Klangfeldsynthese verständlich zu erklären. Außerdem sollen aktuelle Forschungen und Zukunftstendenzen aufgezeigt werden. Die Klangfeldsynthese wird auch oft als Wellenfeldsynthese (kurz WFS) bezeichnet. Die Wurzeln dieser Technik liegen in den Tiefen der Physik. Hier wird jedoch die komplizierte physikalische Herleitung der Klangfeldsynthese ausgenommen. Es wird Wert darauf gelegt, das System verständlich zu erklären. Außerdem wird auch auf Spezifizierung der Hardware, wie Lautsprecher oder Mikrofone, verzichtet. In Kapitel 2 werden die wichtigsten Eigenschaften der Klangfeldsynthese beleuchtet. Zunächst werden die Grundlagen, auf denen die Klangfeldsynthese aufbaut, erklärt. Da die Theorie nicht vollständig in der Praxis umgesetzt werden kann, müssen Vereinfachungen vorgenommen werden. Daraus ergeben sich natürlich Fehler und Einschränkungen, wie räumliches Aliasing. Diese Fehler werden auch in dieser Arbeit beleuchtet. Natürlich bietet die Wellenfeldsynthese auch einige Vorteile gegenüber den bereits bekannten Beschallungssystemen. Weiters werden die Lokalisations- und Wahrnehmungseigenschaften von durch Wellenfeldsynthese erzeugte Schallfelder betrachtet. Außerdem werden auch die Anwendungsgebiete für die Wellenfeldsynthese aufgezählt. Zum Schluss dieses Kapitels werden Einrichtungen, wo an der Wellenfeldsynthese geforscht wird, sowie marktreife Systeme und Organisationen, die die WFS unterstützen, angeführt. Der Workflow eines Wellenfeldsynthese Systems wird in Kapitel 3 durchlaufen. Es beginnt zunächst mit der Aufnahme, das heißt die Aufnahmebedingungen für dieses System werden geschildert. Danach wird ein Blick auf das Authoring und Mixing geworfen. Aus diesem Arbeitsschritt entsteht eine sogenannte „Audio Szene“. Was das ist und aus welchen Bestandteilen diese besteht wird im nächsten Schritt dann besprochen. Zuletzt wird noch geklärt, wie denn diese Daten aus dem Computer auch an die Lautsprecher gelangen. Um die Klangfeldsynthese nicht nur in der Theorie zu beleuchten, sondern 1 1. Einleitung 2 auch in der Praxis, wurde ein Interview mit einem Ingenieur des Fraunhofer Instituts für Digitale Medientechnik (kurz IDMT) durchgeführt. Dieser ist Projektleiter bei der Forschung und Entwicklung des IOSONO Sound Systems. Er gab Auskunft über die Nachfrage am Markt, die bereits existierenden Anwendungen, weitere Entwicklungen und Verbesserungen von IOSONO und über das Ziel der Heimanwendung. Dies ist nachzulesen in Kapitel 4. Als sinnvollen Abschluss gibt es in Kapitel 5 noch ein Conclusio, denn Schluss, denn ich aus dieser Arbeit gezogen habe. Kapitel 2 Klangfeldsynthese Grundlagen und Eigenschaften Die Klangfeldsynthese, eher bekannt als Wellenfeldsynthese, ist ein Surround Sound Ansatz, der es ermöglicht ein ganzes Schallfeld zu synthetisieren, welches ident ist mit dem original Schallfeld und physikalisch korrekt [11]. 2.1 Das Huygens’sche Prinzip Das Prinzip der Klangfeldsynthese beruht auf dem Huygens’schem Prinzip, benannt nach Christiaan Huygens (1629 bis 1695)1 . Wenn von einer primären Schallquelle eine Kugelwelle ausgeht, kann man sich die Ausbreitung dieser Welle so vorstellen, dass ein in Schwingung versetztes Teilchen seine Bewegung auf seine Nachbarteilchen überträgt. Durch diese Übertragung von Bewegung entsteht die Kugelwelle. Daher könnte auch jedes Teilchen, welches durch Auftreffen der Schallwelle in Schwingung versetzt wurde, als Zentrum einer Kugelwelle gesehen werden. Wenn man nun diese Teilchen, diese Sekundärquellen, betrachtet wirken diese als Punktquellen, die eine Kugelwelle mit den Eigenschaften der eigentlichen Primärquelle bilden. Diese Eigenschaften sind die Amplitude und die Phase der Welle. Diese Kugelwellen, die von den Sekundärquellen ausgegeben werden, nennt man auch Huygens’sche Elementarwellen. Durch Überlagerung solcher Elementarwellen ist es nun möglich eine Wellenfront zu synthetisieren. Die Abbildung 2.1a beschreibt das Huygens’sche Prinzip. Die Schallquelle S ist hier unsere Primärquelle. Die auftreffende Wellenfront auf der Fläche O ist die von der Schallquelle S abgestrahlte Wellen. Nun kann man sich die Wellenfront auch als Überlagerungen von Kugelwellen, die von sekundären Quellen (hier: Punkte auf dem roten Ring) abgestrahlt werden, vorstellen. 1 aus http://de.wikipedia.org/wiki/Christiaan_Huygens 3 2. Klangfeldsynthese - Grundlagen und Eigenschaften 4 Abbildung 2.1: Das Huygens’sche Prinzip. Eine Schallquelle S strahlt Kugelwellen ab. Die sich auf der Fläche O befindlichen Teilchen werden daruch in Schwingungen gebracht und strahlen ebenfalls Kugelwellen ab. Diese Wellen nennt man auch Huygen’sche Elementarwellen. Durch Überlagerung solcher Wellen kann die Wellenfront synthetisiert werden. Der Schwingungszustand eines im äußeren Schallfeld befindlichen Punkt P kann ist somit bekannt. Abbildung aus [11]. Der Schwingungszustand in einem Punkt P, der sich im äußeren Schallfeld befindet, lässt sich bestimmen, da die Wellenfront auf der Fläche O bekannt ist. Die praktische Verwendung des Huygens’schen Prinzips ist die Wellenfeldsynthese. Es werden lediglich die schwingenden Teilchen, unsere Sekundärquellen, auf der Fläche O durch Lautsprecher ersetzt. Diese strahlen ebenso Elementarwellen aus, und bewirken durch ihre Überlagerung eine gemeinsame Wellenfront. Wenn nun die Schallquelle S entfernt wird, erreicht den Zuhörer immer noch dieselbe Wellenfront. Veranschaulicht wird das in Abbildung 2.1b [11]. 2.2 Von der Theorie zur Praxis Die Wellenfeldsynthese ist eine Lösung für Volumina. Das Prinzip entspricht dem „akustischen Vorhang“ von dem Wissenschaftler bereits seit den 30er Jahren träumen. Oellers [16] beschreibt diesen akustischen Vorhang sehr anschaulich: „Wenn in die Wand eines Raumes dich an dicht viele größere Löcher gebohrt würden, so könnte man die Schallereignisse hinter dieser Wand perfekt hören. Werden nun diese Löcher mit je einem Lautsprecher zugestopft, der über einen Verstärker mit einem Mikrofon auf der gegenüberliegenden Seite der Wand verbunden ist, 2. Klangfeldsynthese - Grundlagen und Eigenschaften 5 ändert sich daran prinzipiell nichts. Dann könnte man natürlich auch an jedes dieser Mikrofone ein langes Kabel anschließen und hätte so die perfekte Übertragung. Aufgegeben hat man diese Idee damals nur deshalb, weil man es niemals für möglich gehalten hätte, so viele Kanäle in mit ausreichender Bandbreite zu übertragen.“ Und Oellers [16] nimmt die Lösung des Problems gleich vorweg: „Das wäre selbst heute noch ein Problem. Lösbar ist das aber nach dem Verfahren der Wellenfeldsynthese. Genauer betrachtet ist das Audiosignal selbst in allen Löchern gleich, also als einfaches Monosignal übertragbar. Den zeitlichen Versatz kann moderne DSP-Technologie problemlos aus den geometrischen Daten oder aus einer Impulsantwort erzeugen.“ Wenn wir jetzt zu dem Huygens’schen Prinzip zurück kehren, so würden unendlich viele Sekundärquellen benötigt. In der Praxis wird jedoch angestrebt die Anzahl der benötigten sekundären Quellen möglichst gering zu halten um somit den technischen Aufwand zu reduzieren. Daher wurden die theoretischen Flächenarrays von Lautsprechern durch Linienarrays ersetzt. Wenn sich diese Arrays auf der Höhe des Ohres befinden, ist das Hörereignis ähnlich [12]. Außerdem ist die Lokalisation auf der Horizontalebene (siehe Kapitel 2.5) für den Menschen die markanteste [11]. Daraus ergibt sich, dass natürlich nur das horizontale Schallfeld reproduziert werden kann. Durch diese Reduktion ergeben sich einige Einschränkungen. Oft bleiben diese jedoch sogar ungehört, da das menschliche Ohr nicht alles wahrnehmen kann. Die resultierenden Einschränkungen werden im nächsten Kapitel erläutert. 2.3 2.3.1 Fehler und Einschränkungen Beugungseffekte, Endeffekte Da die Lautsprecherarrays in der Praxis nicht unendlich lang sein können, wie in der Theorie gewünscht, kann das Schallfeld auch nicht perfekt reproduziert werden. An den Enden der linearen Lautsprecherarrays treten dann die sogenannten Beugungseffekte2 oder Endeffekte3 auf. Das geschieht, durch die Abstrahlung der Kugelwellen der äußersten Lautsprecher. Dieser Beugungseffekt kann aber durch Abschwächung der Amplituden der äußersten Lautsprecher vermindert werden [11] [12]. Die Abbildung 2.2a zeigt die synthetisierte Welle durch ein lineares Lautsprecherarray mit gleichbleibender Amplitude (grauer Balken). Der Beugungseffekt ist deutlich sichtbar. Hingegen in 2.2b wird die Amplitude wie 2 3 auch Diffraction Effect genannt auch Truncation Effect genannt 2. Klangfeldsynthese - Grundlagen und Eigenschaften 6 Abbildung 2.2: Beugungseffekt: a) veranschaulicht den Beugungseffekt, ausgelöst durch die Kugelwellen der äußersten Lautsprecher, b) zeigt die Reduktion des Beugungseffekts durch die Abschwächung der Amplitude (grauer Balken). Abbildung aus [11] oben beschrieben abgeschwächt und somit auch der Beugungseffekt vermindert. 2.3.2 Spatial Aliasing In der Theorie wird die Verteilung der sekundären Quellen als kontinuierlich angenommen. Das ist in der Umsetzung natürlich nicht möglich. Die Lautsprecher, die als Sekundärquellen agieren, haben einen endlichen Abstand zueinander. Das entspricht einer Diskretisierung. Das heißt, dass nur an den Stellen, wo sich ein Lautsprecher befindet auch ein Signal ausgegeben werden kann. Wenn nun ein Signal ausgegeben werden soll, dessen Wellenlänge geringer ist, als der Abstand der Lautsprecher, so ist das nicht möglich bzw. es wird ein „anderes“ Signal ausgegeben. In Abbildung 2.3 wird dies anhand einer einfachen Illustration veranschaulicht. Somit wird klar, dass der Abstand der Lautsprecher zu einander die Alias Frequenz bestimmt. Unterhalb dieser Alias Frequenz kann das Schallfeld korrekt synthetisiert werden, oberhalb davon wird eine Verschlechterung der Lokalisation der virtuellen Schallquellen und der Klangfarbe beobachtet [5] [24]. Aliasing entsteht durch Interferenzen, also Überlagerungen von Wellen, welche durch die Sekundärquellen erzeugt werden. Daraus ergibt sich ein komplexes Überlagerungsmuster in der Hörzone [5]. Bei bewegten virtuellen Quellen wird das Überlagerungsmuster auch kontinuierlich verändert, was zu zeitabhängigen Schwankungen in der Frequenz und somit in der Klangfarbe führt. Obwohl dieses Artefakt bei bewegten Quellen besonders deutlich hörbar ist, wird es nicht erst durch die Bewegung ausgelöst. Es entsteht durch die Aliasing Artefakte, die bereits in statischen 2. Klangfeldsynthese - Grundlagen und Eigenschaften 7 Abbildung 2.3: Aliasing. Die blaue durchgehende Welle soll abgebildet werden. Durch den zu großen Abstand der Lautsprecher kann diese Welle nicht realisiert werden, es kommt zum Aliasing und tatsächlich wird die graue gestrichelte Linie wiedergegeben. Quellen entstehen [5]. 2.3.3 Fehlende Höhen/Tiefen Dimension Wie im Kapitel 2.2 schon besprochen, wird die Wellenfeldsynthese auf die horizontale Ebene rund um den Hörer herunter gebrochen, um die Anzahl der Lautsprecher zu reduzieren. Daher kann auch nur in dieser horizontalen Ebene, und auch nur unterhalb der Alias Frequenz, das Schallfeld korrekt reproduziert werden. Bei meinem Treffen mit René Rodigast [18] erfuhr ich, dass das Fraunhofer Institut beim IOSONO System auch im Bereich der fehlenden Dimensionen forscht. Es gibt bereits Ansätze mit kuppelförmig aufgehängten Lautsprechern, außerdem auch mit geraden linearen Arrays an der Decke, zum Beispiel für Kinos. 2.4 Vorteile der Klangfeldsynthese Obwohl ein solch komplexes System einige Nachteile mit sich bringt, darf nicht außer Acht gelassen werden, dass die Klangfeldsynthese einige signifikante Vorteile gegenüber Mehrkanal- und binauralen Ansätzen bietet. Diese Vorteile werden unten beschrieben. Es soll jedoch bedacht werden, dass die Wellenfeldsynthese nicht immer einen Vorteil gegenüber der Stereofonie, in Abhängigkeit zum Einsatz, hat. Die Vorteile müssen mit dem Aufwand, der für ein Wellenfeldsynthese System notwendig ist, sorgfältig abgewogen werden. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 2.4.1 8 Korrekte Perspektive Ein Problem bei der Mehrkanal Stereofonie ist, dass sich die Wahrnehmung der sogenannten Phantomschallquellen [15] mit der Position des Hörers ändert. Die Stereofonie baut auf solchen Phantomschallquellen auf, die entstehen, wenn eine Schallquelle zwischen zwei Lautsprechern positioniert wird. Die Lautsprecher geben dann das Schallsignal anteilig aus. Es ist nun klar, dass bei einer Bewegung des Hörers, zum Beispiel zum rechten Lautsprecher, das Signal von diesem viel stärker wahrgenommen wird, als das Signal des linken Lautsprechers. Somit kann die Phantomschallquelle nicht mehr in seiner ursprünglichen Position wahrgenommen werden. Das passiert bei der Wellenfeldsynthese nicht, da hier das Schallfeld korrekt reproduziert wird. Auch bei einer Bewegung im Schallfeld, wird die Quelle immer noch von der korrekten Richtung wahrgenommen. Die Lokalisation von Schallquellen bei Wellenfeldsynthese wird in dem Kapitel 2.5 ausführlicher beschrieben. 2.4.2 Große Hörzone Da für die korrekte Wellenfeldsynthese Lautsprecherarrays im ganzen Raum nötig sind und das Schallfeld somit im ganzen Raum reproduziert wird, ist natürlich auch der ganze Raum der sogenannte „Sweet Spot“, also die Hörzone. Als Sweet Spot wird der Bereich bezeichnet in dem das Schallfeld optimal synthetisiert werden kann. Veranschaulicht wird das in der Abbildung4 2.4. 2.4.3 Fokussierte Quellen in der Hörzone Der wohl größte Vorteil von Wellenfeldsynthese ist der, dass auch Schallquellen innerhalb der Hörzone, also vor den Lautsprecherarrays, möglich sind. Solche Quellen nennt man „fokussierte Quellen“, Schallquellen hinter den Lautsprecherarrays werden „virtuelle Quellen“ genannt [22]. Das ist ebenfalls zu sehen in der Abbildung 2.4b. Die virtuellen Quellen hinter den Arrays wurden vom Huygens’schen Prinzip beschrieben, die fokussierten Quellen jedoch nicht. Trotzdem ist die Realisierung solcher Quellen durch Phaseninvertierung möglich. Das Schallfeld kann aber zwischen der fokussierten Quelle und dem Lautsprecherarray nicht richtig wahrgenommen werden. In der Natur würde eine Schallquelle Schallwellen in alle Richtungen abstrahlen. Um mit Wellenfeldsynthese Quellen in der Hörzone zu realisieren, müssen die Lautsprecher die „Energie auf die gewünschte Stelle bündeln“. Befindet sich ein Hörer nun zwischen der fokussierten Quelle und den Lautsprechern, hört dieser die Lautsprecher. Er nimmt die Schallquelle zum Beispiel von vorne wahr, weil sich die Lautsprecher vor ihm befinden, obwohl die fokussierte Quelle hinter ihm ist. Dieses 4 Abbildung nach http://www.iosono-sound.com/technology.html 2. Klangfeldsynthese - Grundlagen und Eigenschaften S S S 9 S S S S S Sweet Spot Sweet Spot S S a) S S S b) Abbildung 2.4: Vergleich der Größe der Hörzone. a) zeigt den kleinen Sweet Spot von 5.1, b) zeigt die Hörzone von WFS, die sich über den ganzen Raum erstreckt. Beispiel ist in Abbildung 2.5 illustriert. Ab der fokussierten Quelle ist das Schallfeld jedoch korrekt. In Abbildung 2.6a ist das reproduzierte Schallfeld einer virtuellen Quelle zu sehen und in 2.6b das einer fokussierten Quelle [4]. Diese fokussierten Quellen geben völlig neue Möglichkeiten für die Audiogestaltung. Bei meinem Besuch in Ilmenau zeigte Herr Rodigast vom Fraunhofer Institut ein Beispiel mit dem IOSONO System [18], wo ein Geist im Raum herum flog und flüsterte. Das ging sogar so weit, dass der Geist auch durch einen Hindurch fliegen konnte und das sehr real klang. Bei den Bregenzer Festspielen, wo IOSONO ebenfalls installiert ist, ließ der Regisseur bei der Aufführung von Giacomo Puccinis „Tosca“ eine Klarinette durch den Zuschauerraum fliegen. So etwas ist mit keinem anderen Sound System machbar. So kann Sound auch als Mittel der Inszenierung noch besser und kreativer eingesetzt werden. 2.4.4 Bewegung im Schallfeld Da mittels Wellenfeldsynthese das physikalisch korrekte Schallfeld reproduziert wird, ist auch eine Bewegung im Schallfeld, wie in der Realität, möglich. Das macht die Wellenfeldsynthese besonders für Simulationen sehr attraktiv. Siehe auch Kapitel 2.7. Die virtuellen Schallquellen hinter dem Lautsprecherarray werden auch bei einer Bewegung im Schallfeld korrekt wahrgenommen, da die Wellenfeldsynthese sehr gute Lokalisationseigenschaften besitzt. Diese werden in 2. Klangfeldsynthese - Grundlagen und Eigenschaften Abbildung 2.5: Das Schallfeld einer fokussierten Quellen. Der Punkt H steht für die Hörerposition, der Punkt S bezeichnet die fokussierte Quelle. Das blau gekennzeichnete Feld zeigt den Bereich, wo die Quelle perspektivisch korrekt wahrgenommen wird. Abbildung nach [21] Abbildung 2.6: Das Schallfeld von virtuellen und fokussierten Quellen. a) zeigt das reproduzierte Schallfeld basierend auf einer virtuellen Quelle hinter dem Lautsprecherarray, wobei b) das Schallfeld einer fokussierten Quelle innerhalb der Hörzone veranschaulicht. Abbildung aus [1] 10 2. Klangfeldsynthese - Grundlagen und Eigenschaften 11 Abbildung 2.7: Illustration von ebenen Wellen. Je weiter die Welle von seiner Quelle S weg ist, umso flacher ist sie. Kapitel 2.5 näher betrachtet. Es ist jedoch zu beachten, dass die fokussierten Quellen, die bereits oben besprochen worden sind, hier eine Ausnahme bilden. Anzumerken bleibt auch, dass die Menschen durch ihre Gestalt einen Schatten im Schallfeld bilden. Dieses Phänomen ist jedoch laut Herrn Rodigast zu vernachlässigen. Zu einer solchen Schattenbildung kommt es in natürlichen Schallfeldern auch. 2.4.5 Atmosphäre durch echte ebene Wellen Ein weiterer großer Vorteil der Wellenfeldsynthese ist, dass damit die Erzeugung echter ebener Wellen [21] möglich ist. Eine ebene Welle entspricht einer weit entfernten Schallquelle. Je näher die abgestrahlten Wellen noch an der Quelle sind, desto höher ist der Krümmungsgrad der Welle. Das impliziert, dass die Welle bei einer hohen Entfernung nahezu flach ist. Das wird in Abbildung 2.7 dargestellt. Um den Eindruck von Räumlichkeit zu erwecken, wird ein beinahe diffuses Klangfeld benötigt. Ebene Wellen liefern einen ausgeglichenen Schalldruck. Mit der Wellenfeldsynthese ist es möglich eine realistische Atmosphäre mit mehreren ebenen Wellen, die idealerweise von allen Seiten kommen, zu produzieren. Es sind nicht mehr als 10 ebene Wellen nötig um ein diffus wahrgenommenes Schallfeld zu erzeugen [21]. Um eine realistische Atmosphäre zu bilden können bei der Wellenfeldsynthese ebene Wellen mit fokussierten Quellen kombiniert werden. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 12 In [21] werden u.a. 3 Arten von Atmosphären unterschieden: • Random Atmospheres Die fokussieten Quellen erscheinen völlig zufällig in der Szene. Ein Beispiel hierfür ist Regen, wobei jeder Regentropfen eine eigene Quelle ist. • Pathbased Atmospheres Die fokussierten Quellen folgen einem bestimmten Weg. Das wäre denkbar in einer Szene am Marktplatz, wo die Schritte der Leute Quellen sind. • Static Atmospheres Hier bleiben die fokussierten Quellen an einer bestimmten Stelle. Der Applaus eines Publikums wäre ein Beispiel für diese Art der Atmosphäre. 2.5 Lokalisation Eine wichtige Eigenschaft der Wellenfeldsynthese ist die Lokalisierbarkeit von virtuellen Quellen. In diesem Kapitel wird die Richtungswahrnehmung, von durch Wellenfeldsynthese erzeugten Quellen, besprochen. Um die Lokalisation von virtuellen Quellen betrachten zu können, muss aber erst geklärt werden, wie die Lokalisation von Schallquellen bei Menschen funktioniert. Im folgendem werden kurz die wichtigsten Eigenschaften erläutert. 2.5.1 Lokalisation in der Psychoakustik In der Psychoakustik ist das „kopfbezogene Koordinatensystem“ [12] üblich, da es die Erklärung von psychoakustischen Eigenschaften erleichtert. Bei diesem Koordinatensystem gibt es eine Horizontalebene, die horizontal rund um den Kopf in Ohrhöhe verläuft. Die Frontalebene steht senkrecht auf der Horizontalebene und schneidet ebenfalls die Ohren und die Medianebene steht senkrecht auf den anderen beiden. In der Abbildung 2.8 wird dies anschaulich illustriert. Die Richtungswahrnehmung in der Horizontalebene [12] wird durch die Tatsache bestimmt, dass beim Menschen meistens nicht dieselben Signale im rechten wie im linken Ohr ankommen. Die Signale können entweder zeitversetzt oder mit verschiedenem Pegel ankommen. Dadurch ergeben sich die sogenannten interauralen Pegeldifferenzen und die interauralen Zeitdifferenzen. Interaurale Zeitdifferenzen Eine interaurale Zeitdifferenz tritt immer dann auf, wenn eine Schallquelle einen Menschen nicht von direkt vorne, sprich auf der Achse der Medianebene, beschallt. Dadurch haben beide Ohren nicht dieselbe Entfernung zur 2. Klangfeldsynthese - Grundlagen und Eigenschaften 13 Abbildung 2.8: Kopfbezogenes Koordinatensystem. Der blaue Kreis bezeichnet die Horizontalebene, der rote die Frontalebene und der grüne die Medianebene. Abbildung nach [12]. Schallquelle und der Schall kommt bei einem Ohr schneller an als bei dem anderen. Die Zeitdifferenz ist besonders zur Ortung von tiefen Frequenzen, die kleiner als 1,5 kHz sind, wichtig, da hier keine Pegeldifferenzen wirksam sind [11] [25]. In Abbildung 2.9 wird eine Schallquelle, die sich nicht auf der Medianebene befindet, und ihre Entfernung zu beiden Ohren veranschaulicht. Interaurale Pegeldifferenzen Der Kopf bildet bei Frequenzen, deren Wellenlänge kleiner als die Kopfabmessungen ist, im Schallfeld einen „Schatten“. Durch diese Schattenbildung kommt es zu interauralen Pegeldifferenzen. In dem Ohr, dass der Schallquelle zugewandt ist, kommt ein anderer Pegel an, als in dem der Schallquelle abgewandten Ohr. Diese Intensitätsunterschiede sind besonders bei hohen Frequenzen über 1,5 kHz ausschlaggebend. Bei einer Wellenlänge, die kleiner als der Kopfumfang ist, können keine Zeitdifferenzen wahrgenommen werden [11] [25]. 2.5.2 Lokalisation virtueller Quellen Bei der Lokalisation virtueller Quellen spielt der Abstand, den die Lautsprecher zueinander haben, wieder eine Rolle. Dieser bestimmt, wie in Kapitel 2.3.2 schon besprochen, die Aliasing Frequenz. Unterhalb dieser Frequenz kann das Schallfeld physikalisch korrekt reproduziert werden. Bei einem physikalisch korrekten Schallfeld ist auch die Lokalisation optimal. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 14 Abbildung 2.9: Interaurale Zeitdifferenzen. Die Schallquelle S befindet sich links von der Medianebene (gestrichelte Linie), dadurch ergeben sich verschiedene Strecken zum Ohr, versanschaulicht durch d1 und d2. Abbildung nach [11]. Start [20] verglich die Lokalisation von realen Quellen, welche durch einzelne Lautsprecher repräsentiert wurden, mit der von virtuellen Quellen, wobei er aber keine große Differenz bei der Richtungswahrnehmung feststellen konnte. Er führte die Experimente einmal mit einem Wellenfeldsynthese System, welches einen Lautsprecherabstand von 11 cm hatte, durch. Das zweite Mal mit einem Lautsprecherabstand von 22 cm. Er verglich die ankommenden Signale, die er mit einem Kunstkopf aufnahm, der jeweiligen virtuellen Quelle und der realen Quelle. Bei der Auswertung zeigte sich, dass die Lokalisation der virtuellen Quellen, welche mit dem WFS System mit dem Lautsprecherabstand von 11 cm produziert wurden, im schalltoten Raum fast ident mit der Lokalisation der realen Quellen war. Er führte diese Versuche auch außerhalb des schalltoten Raumes durch. Hier zeigte sich jedoch dass die Lokalisation wesentlich stärker abwich. Bei den Hörversuchen von Huber [11] wurden ähnliche Ergebnisse erzielt. Er Verglich die Lokalisation von virtuellen Schallquellen die einmal von einem WFS System mit einem Lautsprecherabstand von 12 cm, und dann von einem System, wo der Lautsprecherabstand 4 cm betrug, erzeugt wurden. Das verglich er mit einer natürlichen Schallquelle und außerdem auch mit dem Wellenfeldsynthese-OPSI System. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 15 Wellenfeldsynthese-OPSI Beim Wellenfeldsynthese-OPSI Verfahren (Optimised Phantom Source Imaging of the high frequency contend of virtual sources in Wave Field Synthesis) wird die Wellenfeldsynthese mit der Stereofonie vermischt. Dieses Verfahren wurde als Lösung für die Aliasing Problematik der Wellenfeldsynthese entwickelt. Hier soll eine virtuelle WFS Quelle unterhalb der Alias Frequenz mit einer Phantomschallquelle oberhalb der Alias Frequenz verschmelzen [22]. Es zeigte sich, dass das Wellenfeldsynthese System, mit dem Lautsprecherabstand von 4 cm, die beste Lokalisation von virtuellen Schallquellen ermöglicht. Durch den geringeren Lautsprecherabstand war auch die Alias Frequenz entsprechend hoch (9 kHz). Dadurch wurde ein genügend großer Frequenzbereich korrekt reproduziert und dem Gehör wurde eine ausreichend hohe Anzahl an Merkmalen für die Richtungswahrnehmung geboten. So war die Lokalisation dieselbe, wie bei der realen Schallquelle. Bei den anderen Systemen, welche in den Versuchen mit einbezogen wurden, war die Lokalisierbarkeit geringfügig schlechter. Bei dem Wellenfeldsynthese-OPSI Verfahren mit einem Lautsprecherabstand von 12 cm wurde keine bessere Lokalisation festgestellt, als bei dem reinen WFS System mit demselben Lautsprecherabstand. Da keine Bewegung im Schallfeld stattfand, wurde befunden, dass sich der Aufwand für ein WFS System mit so geringem Lautsprecherabstand nicht lohnen würde, da die Lokalisierbarkeit nicht um so viel besser ausfiel. 2.5.3 Lokalisation bei WFS und 22.2 Systemen In den Hörversuchen von [14] werden die Lokalisationseigenschaften von 22.2 mit denen der Wellenfeldsynthese verglichen. Bei 22.2 handelt es sich um ein von NHK entwickeltes Mehrkanal System, bei dem 22 Lautsprecher, in einem bestimmten 3-dimensionalen Arrangement, und 2 Tieftöner um den Hörer positioniert werden. Im ersten Test wurde untersucht, wie Schallquellen, die mit dem 22.2 System von NHK erzeugt wurden, im 3-dimensionalen Raum von den Probanten wahrgenommen wurden. Im zweiten Test wurde der Fokus auf die Horizontalebene gelegt. Hier wurde ein Wellenfeldsynthese Ring mit einem auf die Horizontalebene reduzierten Set Up von 22.2 verglichen. Bei den Hörversuchen saßen immer 3 Personen gleichzeitig an bestimmten Positionen im Raum. Der Raum war mit einem, für die Akustik durchlässigem, Vorhang verkleidet um die Position Lautsprecher zu verdecken. Außerdem war ein 10 cm × 10 cm Raster auf dem Vorhang gedruckt (siehe Abbildung 2.10). Nun mussten die Probanten anhand dieses Rasters die Koordinaten angeben, von wo sie die Schallquelle wahrnahmen, und anhand einer Skala von 1 bis 4 angeben, wie diffus die Schallquelle war. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 16 Abbildung 2.10: Der Versuchsaufbau. Hier wird der Versuchsaufbau und das Koordinatensystem schematisch dargestellt. Abbildung aus [14]. Test 1 zeigte, dass wenn sich eine Schallquelle zwischen 2 Lautsprechern mit einem großen Winkelabstand zueinander befand, dann wurde die Quelle eher bei einem der beiden Lautsprecher wahrgenommen. Außerdem wurde festgestellt, dass die Höhe der Schallquellen überschätzt wurde. Bei Test 2 wurde festgestellt, dass die reduzierte Anzahl der Lautsprecher die Wahrscheinlichkeit erhöht, dass die Hörer die Schallquelle nahe bei einem der benachbarten Lautsprecher wahrnimmt. Auch hier wurden die meisten Quellen höher wahrgenommen, als sie sein sollten. Die Autoren sind sich nicht sicher, ob das ein systematischer Fehler des Koordinatensystems des Experiments sein könnte. Allgemein lässt sich nun sagen, dass die Lokalisierbarkeit von virtuellen Quellen besser ist, je geringer der Lautsprecherabstand des Wellenfeldsynthese Systems ist, mit dem die virtuelle Quelle erzeugt wird. Auch hier ist wiederum zu der Zweck zu Bedenken. Wenn keine Bewegung im Schallfeld erfolgt, reicht auch ein System mit geringerer Lautsprecherdichte. 2.6 Distanzwahrnehmung Das Gehör bestimmt die Position einer Schallquelle durch die Richtung aus der der Schall eintrifft und die wahrgenommene Entfernung. Da die Richtungswahrnehmung bereits im Kapitel 2.5 beleuchtet wurde, wird hier nun die Distanzwahrnehmung [23] [22] dargestellt. Für die Bestimmung der Distanz einer Quelle werden vom Gehör Parameter ausgewertet, wie Lautstärke, das Verhältnis von Direkt- zu Diffusschall, das Reflektionsmuster und natürlich die Plausibilität. Wellenfeldsynthese besitzt als einziges Sound System die Eigenschaft die Krümmung der Schallwellen reproduzieren zu können. Je nach Schallquelle hat die abgestrahlte Welle eine bestimmte Krümmung. Das Gehör kann aber nur bei relativ nahen Quellen durch die Krümmung der Welle auf die Entfernung 2. Klangfeldsynthese - Grundlagen und Eigenschaften 17 der zugehörigen Schallquelle schließen. Um die Eigenschaft der Distanzwahrnehmung von durch Wellenfeldsynthese erzeugten virtuellen Quellen beurteilen zu können, wurden Versuche u. a. am IRT in München [23] durchgeführt. Es wurde die Wahrnehmung der Distanz von natürlichen Quellen mit der von virtuellen Quellen verglichen. Zunächst wurden die Versuche mit der natürlichen Lautstärke durchgeführt. Bei den natürlichen Quellen (einzelne Lautsprecher) hatte die Distanz der Quellen auch einen erheblichen Einfluss auf die Wahrnehmung dieser. Außerdem konnte beobachtet werden, dass eine Überschätzung der Distanz für Abstände über einen Meter und eine leichte Unterschätzung bei Abständen unter einem Meter statt fand. Bei den virtuellen Quellen wurde ein ähnliches Ergebnis erzielt. Es bleibt lediglich zu bemerken dass die Kurve flacher ausfiel, also die Änderung der Distanz der Quellen nicht so stark wahrgenommen wurde, wie sie tatsächlich war. Es wurde nun vermutet, dass hauptsächlich durch die Lautstärke auf die Distanz der Schallquellen geschlossen wurde, und nicht durch die tatsächliche Position. Um dies zu untersuchen, wurde ein weiterer Versuch durchgeführt, wobei jedoch die Lautstärke der Quellen zufällig gewählt wurde. Bei dem Versuch mit den natürlichen Quellen fiel auf, dass bei Quellen deren Abstand mehr als 85 cm betrug, die Lautstärke tatsächlich die Distanzwahrnehmung bestimmte. Aber es wurde auch belegt, dass Quellen die näher als 85 cm lagen auch wirklich näher wahrgenommen wurden. Dies war bei den durch Wellenfeldsynthese erzeugten Quellen nicht so. Hier zeigt das Experiment, dass die Distanz tatsächlich über die Lautstärke bestimmt wird. Es ist also nicht möglich die Position einer Schallquelle durch die Krümmung der von ihr abgestrahlten Wellen zu erkennen. 2.7 Anwendungsgebiete Nun wurden die Stärken und Schwächen dieses Systems betrachtet. Bleibt nur noch die Frage: Wo wird oder kann Wellenfeldsynthese eingesetzt werden? Einige aktuelle und praxisbezogene Informationen zu diesem Thema habe ich auch aus dem Gespräch mit Herrn Rodigast [18] bezogen und im nachfolgenden Kapitel 4 verarbeitet. Laut [2] gibt es einige Einsatzgebiete, die nun im Folgenden geschildert werden: • Theater Bei der Verstärkung der Stimmen von Sprechern, Moderatoren oder Sängern bietet Wellenfeldsynthese eine korrekte Lokalisation für alle Zuschauer. • Kino Die Wellenfeldsynthese ist ideal für das Kino, da hier ein hoch qualitativer räumlicher Sound erwartet wird. Außerdem ist auch eine große 2. Klangfeldsynthese - Grundlagen und Eigenschaften 18 Hörzone zu bewältigen, wo für das gesamte Publikum die korrekte Soundperspektive dargestellt werden soll. Das ist bis jetzt noch mit keinem anderen System möglich. Weiters können die Zuschauer mit fokussierten Quellen, wie in Kapitel 2.4.3 besprochen, beeindruckt werden. • Home Theatre Systeme Es ist unbestreitbar ein Trend zu immer größeren Fernsehgeräten, schärferen Bild und auch besseren Sound zu beobachten. Wenn eine Möglichkeit gefunden wird, die Kosten und den Installationsaufwand für ein Wellenfeldsynthese System auf ein akzeptables Niveau zu bringen, ist auch der Heimkinomarkt als Einsatzgebiet für die Wellenfeldsynthese durchaus denkbar. • Virtual Reality Theatres Besonders bei 3D Video Projektionen, wo die „visuelle Quelle“ den Publikumsraum betritt, würde die Wellenfeldsynthese diesen Effekt, durch eine virtuelle Quelle an derselben Stelle, verstärken. • Simulatoren Die Klangqualität, zum Beispiel eines Flugsimulators, könnte durch die Wellenfeldsynthese erheblich gesteigert werden. Bei den immer komplexer werdenden Vehikeln wächst auch die Relevanz von immer realistischeren Simulatoren. • Video Konferenzen Bei Video Konferenzen wird noch mit Mono oder Stereo Signalen gearbeitet. Sobald jedoch jemand durcheinander redet ist es schwer sich auf den gewünschten Sprecher zu konzentrieren. Auch bei Hintergrundlärm leidet die Sprachverständlichkeit. Hier ist zwar räumlicher Klang nicht so gefragt, aber es fördert die Verständlichkeit. Neben den schon genannten Anwendungsgebieten für die Wellenfeldsynthese, wurden in [19] noch die folgenden genannt: • Konzerthallen Wellenfeldsynthese ist, durch die sehr kurze Latenz, für die Beschallung in Konzerthallen geeignet. Eine kurze Latenz-Zeit ist für jede Art von Live Performances von größter Wichtigkeit, und diesem Anspruch wird die Wellenfeldsynthese gerecht. • Open Air Events Bei der Beschallung von Open Air Events muss darauf geachtet werden, den Schalldruck für das Publikum hoch genug zu halten, aber ohne den Schalldruck auf der Bühne zu hoch werden zu lassen. Auch hier findet die Wellenfeldsynthese Zuspruch. Wie schon erwähnt, wir bei den Bregenzer Festspielen bereits das IOSONO System eingesetzt. 2. Klangfeldsynthese - Grundlagen und Eigenschaften 19 Abbildung 2.11: IOSONO in der Berliner Disco Tresor. Das Set Up verfügt über 600 Lautspecher, die die Tanzfläche umringen. Foto von Marco Prosch. Außerdem nannte mir Herr Rodigast [18] bei unserem Gespräch noch ein Anwendungsgebiet für die Wellenfeldsynthese: • Themed Entertainment Die Unterhaltung soll immer spektakulärer werden, daher findet die Wellenfeldsynthese auch Zuspruch in Planetarien, Geisterbahnen und anderen Unterhaltungseinrichtungen. • Disco Im Oktober 2008 wurde im Rahmen der Popkomm zum ersten Mal ein Wellenfeldsynthese System in einer Diskothek installiert und eröffnet. Es wurde IOSONO rund um die Tanzfläche der Berliner Disco „Tresor“ installiert5 . 2.8 Forschung, Projekte und Systeme Dieses Kapitel ist als Anhaltspunkt für weitere Informationen gedacht. Es soll einen kleinen Überblick geben, in welchen Institutionen geforscht und entwickelt wird, um die Suche für Interessierte zu vereinfachen. 5 Details aus http://www.tresorberlin.com/club/iosono_news.html 2. Klangfeldsynthese - Grundlagen und Eigenschaften 2.8.1 20 Forschungseinrichtungen und Projekte Erfunden wurde die Klangfeldsynthese bereits in den 80er Jahren an der Technischen Universität Delft6 in den Niederlanden. Seit dem wuchs das Interesse auch bei anderen Forschungsinstituten. Entwicklungen und Veröffentlichungen gab es unter anderem am • Fraunhofer Institut7 • am IRT8 (Institut für Rundfunktechnik in München) • an der IRCAM9 (Institut de Recherche et Coordination Acoustique/Musique) in Paris • an der TU Erlangen10 • an der TU Ilmenau11 und • an der TU München12 (meist in Zusammenarbeit mit dem IRT) Außerdem gab es ein großes, von der Europäischen Union gefördertes Projekt zur Entwicklung der Wellenfeldsynthese namens CARROUSO13 (Creating, Assessing and Rendering in Real Time of High Quality AudioVisual Environments in MPEG-4 Context) von 2001 bis 2003. Geforscht haben 10 internationale Institute, wobei viele der oben genannten auch beteiligt waren. 2.8.2 Marktreife Soundsysteme Hier gibt es nur 2 Systeme, die es bis jetzt zur Marktreife gebracht haben. • IOSONO Es wurde ursprünglich am Fraunhofer AEMT (Arbeitsgruppe Elektronische Medientechnologie) in Ilmenau als Teil des Fraunhofer IIS (Institut für Integrierte Schaltungen) in Erlangen entwickelt. 2003/04 wurde aus dem Fraunhofer AEMT ein eigenes Institut, und zwar das Fraunhofer IDMT14 (Institut für digitale Medientechnologie) [3], wo weiterhin am IOSONO System geforscht wird. Außerdem wurde auch 6 http://www.ist.tudelft.nl/ak http://www.fraunhofer.de/ 8 http://www.irt.de/ 9 http://www.ircam.fr/ 10 http://www.uni-erlangen.de/index.shtml 11 http://www.tu-ilmenau.de/uni/index.php 12 http://www.tumuenchen.de/ 13 http://cordis.europa.eu/ist/ka3/iaf/projects/carrouso.htm oder http://www.emt.iis.fhg. de/projects/carrouso/ 14 http://www.idmt.fraunhofer.de/ 7 2. Klangfeldsynthese - Grundlagen und Eigenschaften 21 eine Firma gegründet, die IOSONO GmbH15 , die sich um den Vertrieb des Systems kümmert. • sonicEmotion16 Das ist eine Schweizer Firma, die ebenfalls ein Soundsystem auf Basis der Klangfeldsynthese entwickelt hat. 2.8.3 Organisationen Weiters gibt es auch einige Organisationen, wo regelmäßig Conventions und Veröffentlichungen zu dem Thema Wellenfeldsynthese stattfinden. • AES17 Die Audio Engineering Society • VDT oder Tonmeistertagung18 Verband der deutschen Tonmeister • DAFX19 Jährlich stattfindende „Conference on Digital Audio Effects“ 15 http://www.iosono-sound.com/ http://www.sonicemotion.com/ch/index.php 17 http://www.aes.org/ 18 http://www.tonmeister.de/ 19 http://www.dafx.de/ 16 Kapitel 3 Von der Aufnahme zum synthetisierten Schallfeld In diesem Kapitel wird die Arbeit mit dem Wellenfeldsynthese-System geklärt. Es wird mit dem Recording begonnen und die Frage geklärt, wie die Aufnahmebedingungen für die Wellenfeldsynthese sind und ob überhaupt ein Unterschied zu konventionellen Aufnahmetechniken besteht. Danach wird das Mixing betrachtet. Es werden die Unterschiede betrachtet und Tools dafür angeführt. Nach dem Mixing wird der Begriff der „Audio Szene“ geklärt und was so eine Szene beinhaltet. Zuletzt wird noch gezeigt, wie die Übertragung der Daten erfolgt, so dass die Lautsprecher ein Schallfeld reproduzieren können. 3.1 Recording Mit der Aufnahmne beginnt alles. Deßhalb wird in diesem Kapitel geklärt, welche Voraussetzungen die Aufnahme der Audio Daten für die Wellenfeldsynthese erfüllen muss. Grundsätzlich macht eine Unterscheidung [1] zwischen Direktschall, frühen Reflexionen und Nachhall Sinn. 3.1.1 Direktschall Der direkte Schall einer Quelle sollte mit Spot Mikrofonen möglichst unabhängig vom Raum und trocken aufgenommen werden. Dieses Signal kann dann direkt zu einer virtuellen Quelle verarbeitet werden. Es gibt auch Situation in denen nicht jede einzelne Schallquelle für sich aufgenommen werden kann. Ein Beispiel hierfür ist die Aufnahme eines Orchesters. Hier ist es nötig einige Instrumente zu einer Gruppe zusammen zu fassen und gemeinsam aufzunehmen. Das kann dann wiederum als eigene virtuelle Quelle wiedergegeben werden. Alternativ kann auch das gesamte Orchester oder ein Teil davon mit der konventionellen Stereo Aufnahmetechnik aufgenommen 22 3. Von der Aufnahme zum synthetisierten Schallfeld 23 werden und als ebene Welle aus verschiedenen Richtungen wiedergegeben werden. 3.1.2 Frühe Reflexionen und Nachhall Die frühen Reflexionen und der Nachhall können mit gerichteten Mikrofonen, welche in verschiedene Richtungen zeigen, aufgenommen werden. Die Aufnahme kann aber auch mit einem SoundField1 Mikrofon erfolgen. Dieses Mikrofon kann mehrere Richtungen zur selben Zeit aufnehmen. Diese Aufnahmen, wie auch immer sie dann erfolgen, werden als ebene Wellen aus der entsprechenden Richtung, aus der sie auch aufgenommen wurden, reproduziert. 3.1.3 Künstliche Erzeugung von Reflexionen und Nachhall Wenn die Ambience des Aufnahmeraumes nicht herangezogen werden kann, wie es bei Studio Aufnahmen der Fall ist, dann muss diese im Nachhinein erzeugt werden. Das erfolgt dann wie bei konventionellen Surround Sound Methoden durch Geräte, wie zum Beispiel ein Hallgerät. Die besten Ergebnisse werden erzielt, wenn die frühen Reflexionen durch virtuelle Quellen wiedergegeben werden. Die späteren Reflexionen werden dann wieder als ebene Wellen aus verschiedenen Richtungen dargestellt. 3.1.4 Kompatibilität Es können auch konventionelle Aufnahmen mit Hilfe der Wellenfeldsynthese reproduziert werden. Hier liegt der Vorteil darin, dass die Wiedergabe weniger von der Hörerposition abhängig ist, wie bei der Wiedergabe über ein Mehrkanal System. 5.1 Surround kann zum Beispiel problemlos reproduziert werden indem vier ebene Wellen und der Front Kanal als virtuelle Quelle wiedergeben werden. 3.2 Authoring und Mixing Für die Wellenfeldsynthese wird eine andere Herangehensweise für das Mixing benötigt, als bei konventionellen Mehrkanal Verfahren. Im Gegensatz zu diesen ist die Wellenfeldsynthese unabhängig von dem Rendering und damit auch von dem Lautsprecher Set-Up, über den der Sound wiedergegeben wird. Bei Mehrkanal Technologien, sei es nun Stereo oder höher, wird das Mixen eines Tracks durch das spätere Ausgabeformat bestimmt. Es muss für jedes Format ein eigener Mix erstellt werden [19]. 1 http://www.soundfield.com/ 3. Von der Aufnahme zum synthetisierten Schallfeld 24 Bei der Wellenfeldsynthese wird ein Schallfeld zu einer bestimmten Zeit definiert. Die Signale, die von den Lautsprechern dann wiedergegeben werden, werden erst zur Wiedergabezeit berechnet und gerendert. Das heißt Audio Signale, die auf einem Set-Up A mit einer Anzahl von x Kanälen gemixt wurden, können ohne weiteres auf einem Set-Up B mit y Kanälen abgespielt werden [17]. Das reproduzierte Schallfeld bei der Wellenfeldsynthese wird nicht von vordefinierten Ausgabesignalen für die einzelnen Lautsprecher bzw. Kanäle bestimmt, sondern durch die Audio Daten in Kombination mit seinen Parametern. Die Verarbeitung der Audio Daten bei Wellenfeldsynthese erfolgt objektorientiert, gespeichert wird es im MPEG-4 Format. Daher werden objektorientierte Mixing Tools für die Wellenfeldsynthese benötigt. Wichtig hierbei ist allerdings, dass sich diese in bereits etablierte Audio Workstations, wie zum Beispiel ProTools, Apple Logic oder auch in Produkten von Steinberg, integrieren lassen. Das würde Sinn ergeben, da dann der Toningenieur in seiner gewohnten Arbeitsumgebung bleiben kann. IOSONO hat bereits für seine Spatial Audio Workstation (SAW), welches das stand-alone Authoring Tool für das IOSONO System ist, ein Plugin für Steinbergs Nuendo 42 bei der AES Convention in Amsterdam im Mai 2008 vorgestellt [9]. Die Abbildung 3.1 zeigt das Interface der IOSONO Spatial Audio Workstation. Es gab laut Herrn Rodigast [18] auch Gespräche mit ProTools wegen eines Plugins für IOSONO, die zeigten sich jedoch eher zugeknöpft. Für sonicEmotion gibt es ebenfalls ein Plugin für die WFS Mischung, und zwar in dem Programm Pyramix3 aus dem Hause Merging [13]. 3.3 Audio Szene Beim Mixing werden sogenannte „Audio Szenen“ nach einem objektorientiertem Ansatz erzeugt mit denen dann das Wellenfeldsynthese System arbeitet. Eine Audio Szene wird aufgebaut aus verschiedenen Audio Objekten. Audio Objekte können sein • Virtuelle Quellen die im gesamten Hörbereich, vor oder hinter dem Lautsprecherarray, positioniert und gruppiert werden können, • Bewegte Quellen das sind virtuelle Quellen die sich durch den Hörbereich bewegen und • Ebene Wellen die meist für die Erzeugung eines diffusen Schallfeldes als Atmosphäre eingesetzt werden. 2 3 http://www.steinberg.net/de/products/audiopostproduction_product/nuendo4.html http://www.merging.com/ 3. Von der Aufnahme zum synthetisierten Schallfeld 25 Abbildung 3.1: IOSONO Spatial Audio Workstation. Das Authoring Tool für IOSONO. Zu sehen sind die plazierten virtuellen Quellen und das Lautsprecherarray, dass dem echten entspricht. Abbildung aus [10]. Obwohl eine sehr weit entfernt positionierte Quelle in der Hörzone ebene Wellen erzeugen würde, ist beim Authoring Tool von IOSONO ein Umschalten zwischen ebenen Wellen und virtuellen Quellen vorgesehen. Das soll aber lediglich eine Erleichterung in der Handhabung bewirken. So muss eine Quelle nicht in die Ferne positioniert werden, wenn in der Hörzone doch nur diffuser Schall ankommt. Jedes Audio Objekt wird mit bestimmten Parametern bestückt. Solche Parameter können zum Beispiel die Position der Quelle, ihre Lautstärke, die Richtung, oder die Start- und Endzeit sein. Außerdem können dem Audio Objekt auch noch Metadaten, wie Name und Beschreibung, hinzugefügt werden. Das Authoring Tool von IOSONO, in dem die Audio Szene gemixt wurde, generiert eine XML Datei mit einer speziellen Struktur, die XMT-SAW genannt wird. Abbildung 3.2 zeigt die Struktur einer Audio Szene am Bespiel des Filmes „Matrix“ [10]. 3.4 Rendering und Übertragung Die entstandenen Audio Szenen sind der Input für das Rendering. Die Audio Szene wird erst während der Wiedergabe in Echtzeit gerendert. Die Rendering Einheit kontrolliert jeden einzelnen Lautsprecher und berechnet das 3. Von der Aufnahme zum synthetisierten Schallfeld 26 Abbildung 3.2: Struktur einer Audio Szene bei IOSONO. Abbildung aus [10]. Signal, das ausgegeben werden soll. Da ich detaillierte Informationen [6] [7] [8] über IOSONO zu diesem Bereich habe, möchte ich das Rendering und die Übertragung anhand von IOSONO beschreiben. Bei IOSONO bestehen die Lautsprecherarrays aus kleineren Lautsprecherpanels. Diese Panels bestehen jeweils aus 8 Lautsprechern, 8 Leistungsverstärkern und Platinen mit digitalen Signalprozessoren (DSP). Die übernehmen die Umwandlung der Signale für die Lautsprecher. Die Rechen- und Steuereinheit von IOSONO errechnet aus den Audio Daten mit einem bestimmten, am Fraunhofer-Institut entwickelten, Algorithmus, die digitalen Signale für jeden einzelnen Lautsprecher und sendet diese mittels RME Hammerfall Soundkarten4 an die einzelnen Panels. Der bzw. die Rechner sind mit optischen ADAT-Kabeln mit den Panels verbunden. Der ADAT-Wandler in dem Panel wandelt die Signale in analoge Signale um. Diese werden dann über den Leistungsverstärker an die Lautsprecher geschickt. 4 http://www.rme-audio.de/products.php Kapitel 4 IOSONO in der Praxis Ich wollte in dieser Arbeit nicht nur technische Aspekte bringen, die ohnehin schon in anderen Publikationen abgehandelt wurden. Mir war es eben sehr wichtig auch Informationen abseits der Technik zu sammeln und marktspezifische Aspekte und zukünftige Forschungsabsichten zu verarbeiten. Daher nahm ich Kontakt mit dem Fraunhofer IDMT1 auf und organisierte ein Treffen mit einem Ingenieur. Am 15. Dezember 2008 traf ich dann in Ilmenau Herrn René Rodigast und durfte ihm einige Fragen zu IOSONO stellen. Das Interview wird nun in diesem Kapitel behandelt. Das gesamte Interview ist in Anhang A zu finden. 4.1 René Rodigast und die Anfänge von IOSONO Ich [René Rodigast] habe Elektrotechnik studiert und war Technischer Leiter in einer Firma, die AV Installationen gemacht hat. Ich bin dann 2002 beim Fraunhofer-Institut eingestiegen, das war der Aufbau der ganzen Gruppe [AEMT]. Als Projektleiter habe ich dann dieses erste Kino, hier in Ilmenau, betreut, also das System zur Marktreife gebracht, da war ich von Anfang an dabei. Das hat von Sommer 2002 bis 2003 gedauert. Im Februar 2003 ist es dann eröffnet worden. Es wurden dann mit Studenten Lautsprecher gefertigt, alles geschah bei Fraunhofer in Eigenleistung. Wir haben dort das Kino umgebaut. Da ist ja ein 5.1 System drinnen, unter diesem wurden Aluprofile angeschraubt, um die Panels anhängen zu können. Es war auch eine Forderung des Kinos, dass man die wieder abbauen kann, ohne dass Schäden im Kino entstehen. Das war eine heiße Zeit, weil es ja auch zu einem bestimmten Eröffnungstermin fertig sein musste. Wir hatten kaum Erfahrung, was erstmal die Größe von so einem System betrifft, wie sich das in der Akustik auswirkt, was hinter der Leinwand passiert, denn da sind spezielle Filterrechner drinnen, um die 1 Fraunhofer Institut für digitale Medientechnologie 27 4. IOSONO in der Praxis 28 Leinwand wieder zu entzerren. Man hat das System installiert und dann die Erkenntnisse gesammelt, praktisch in einem kommerziellen System. 4.2 Marktspezifische Gesichtspunkte Wie ist die Nachfrage am Markt für IOSONO bzw. für Klangfeldsynthese Systeme allgemein? Der Markt ist recht weitläufig für die Technologie. IOSONO GmbH ist momentan sehr auf den Kinomarkt konzentriert, weshalb es auch eine Niederlassung in den USA gibt. Die sind in Hollywood, kennen dort die wichtigen Leute und sind in dem Bereich sehr aktiv. Es gibt eigentlich eine recht große Nachfrage und die versuchen jetzt wirklich das System als neues Standardsystem für Kinos zu etablieren. Wenn man so will, Dolby ablösen. Dolby ist eine Technologie aus den 70er Jahren mit den bekannten Nachteilen. Es wird im Prinzip daran gearbeitet, einen Qualitätssprung mit IOSONO zu schaffen. Es gibt auch andere Technologien die jetzt in eine ähnliche Richtung gehen, aber wenn es um Räumlichkeit Qualität geht, ist IOSONO eigentlich das Beste, was man da haben kann. Natürlich auch mit einem gewissen Aufwand. Das ist der Kinomarkt und da passiert eine ganze Menge. Das letzte was jetzt öffentlich war, war die Installation im Chinese Six, dieses große Premierenkino in Hollywood, am Hollywood Boulevard. Das ist ein ganz großes berühmtes Kino und da ist vor ein paar Wochen ein IOSONO System installiert worden. Dadurch versuchen wir den Einstieg zu schaffen und so eine Hollywoodpremiere im 5.1 kompatiblen Modus, dort zu präsentieren. Das andere System, dass es im US Kinomarkt gibt ist ein Mischkino in Hollywood in einen Studio. Man kann ruhig sagen, dass das Disney ist, weil das auch in der Zeitung stand. Die Soundingenieure arbeiten damit und sammeln Erfahrungen. Die mischen praktisch mit IOSONO oder probieren sich daran aus. Wir versuchen dadurch den Sprung in den Kinomarkt zu schaffen, indem die Soundingenieure, die schon damit gearbeitet haben, dann sagen, wir wollen die Qualität und keine andere. Es geht auch weiter, es sind noch weitere Installationen in den USA geplant. Im nächsten halben Jahr wird es noch weitere Installationen geben. Da bin ich nicht ganz so informiert, aber das ist das, was da so passiert. Das ist der Hauptfokus, wenn weltweit im Kinobereich der Sprung ins Digitale gemacht wird, also auf Projektions-, Content- und auch Formatseite, da soll jetzt praktisch auch gleich die IOSONO Qualität mit eingebracht werden. In wie vielen Kinos ist es jetzt konkret installiert? In Kinos ist es im Chinese Six und in Ilmenau. Die andere Geschichte neben dem Kinomarkt ist der ganze Themed Entertainment Bereich, da gibt es 4. IOSONO in der Praxis 29 jetzt in den USA noch zwei Installationen. Eine, das „Haunted Mansion“, befindet sich in den Disney Studios in Orlando. Das ist eine Geisterbahn, wo das IOSONO System installiert ist. Die Leute werden ins Dunkel gestellt und dann mit virtuellen Quellen erschreckt. Es gibt jetzt auch recht aktuell eine Installation im „Museum of Tolerance“ in Los Angeles. Das ist ein großer Saal in einem Museum, wo verschiedene Dinge vorgeführt werden, das vor ein paar Wochen eröffnet worden ist. Im Bereich Themed Entertainment gibt es auch in Deutschland in den Bavaria Filmstudios ein 4D Kino, mit Rüttelsitzen, 3D Bild und IOSONO Sound, das sind 4 Dimensionen. Das ist die Themenpark-Ecke. Dann gibt es Planetarien, eines in den Arabischen Emiraten, in Katar. Dort gibt es ein Planetarium mit IOSONO System, wobei das System dort so eine Art reduziertes System ist. Dort gibt es vorne einen halben Ring, dann gibt es Lücken und erst hinten wieder was. Die zweite recht große Planetariumsgeschichte, wo es auch Richtung 3D geht, war in Saragossa auf der EXPO 2008. Da gibt es ein IOSONO System in einer recht großen Kuppel, wobei auch in der Kuppel Lautsprecher installiert sind. Wenn man so will IOSONO 3D, wobei es nicht voll gepflastert ist mit Lautsprechern, sondern eher einzelne, die dann die Höhe darstellen. 4.3 IOSONO im Vergleich zu Multichannel Könnte man sagen, die Tendenz geht dahin, dass man besseren Sound will, mehr Kanäle, mehr Boxen, wenn man die neuen Multichannel Systeme 10.2 und 22.2 betrachtet? Geht das auch schon in die Richtung WFS? Bei 22.2 muss auch speziell dafür produziert werden. Um das trotzdem auch noch kompatibel zu halten gibt es schon eine Zusammenarbeit in einem (EU) Projekt, wo Entwickler von 22.2 u. a. mit dem IIS2 in Erlangen im Kinotonbereich zusammenarbeiten. Das Ziel ist, sich auf gemeinsame Standards zu einigen. Es kann durchaus sein, dass beide Systeme nebeneinander existieren, alles mit seinen Vor- und Nachteilen. IOSONO ist ja auch nicht frei von Nachteilen, ebenso wenig das andere System, es hat eigentlich alles seine Berechtigung. Alex: Am problematischsten ist einfach, das WFS so viele Lautsprecher braucht, das ist auch sicher eine Geldsache. Aber wenn die Tendenz auch bei Multichannel Systemen dahin geht, das man eben immer mehr Lautsprecher und immer mehr Kanäle hat, hilft das der WFS auch, sich einmal endgültig durchzusetzen? Das Durchsetzen ist sicherlich eine Frage der Kanäle und am Ende der Kosten. Das kann man schon sagen, wobei es tendenziell sicher besser ist, 2 Fraunhofer Institut für Integrierte Schaltungen 4. IOSONO in der Praxis 30 wenn mehrere Systeme am Markt sind, denn dann gibt es auch billigere Möglichkeiten zu produzieren. Das sind ja jetzt mehr oder weniger Spezialsysteme, also die, die am professionellen Markt installiert werden. Hier können nicht eben mal 10.000 Stück gefertigt werden. Das wird sich lösen, wenn man so was wie IOSONO für den Heimmarkt produziert. Dann bekommt man die Kanäle auch sehr, sehr günstig, oder es werden Arrays gebaut, die dann einfach zu produzieren sind. Bei IOSONO ist es so, dass es Qualitätsstandards gibt. Man kann nicht beliebige Lautsprecher nehmen, die beliebig billig und beliebig schlecht sind, sondern es gibt einen gewissen Anspruch, im Prinzip so eine Art Norm, die da verwendet wird. Aber man kann sich vorstellen es für den Heimbereich ganz anderes zu machen. Bei uns gibt es Entwicklungen in Richtung „klingende Tapeten“, die einfach zu integrieren sein sollen. Also, Flachlautsprecher, an denen wir forschen, das sind flache Lautsprecher, nicht Flachlautsprecher im Sinne von DMLs oder von Elektrostaten, sondern wir arbeiten an neuen Technologien, um das ganze massenmarktverträglich zu machen, auch was die Kosten betrifft. Da nähert man sich sicher an den Heimbereich an, da kommen vielleicht auch mehr Lautsprecher dazu. Bei IOSONO versucht man die Kosten nach unten zu drücken. Wenn man bei vielen Leuten angekommen ist, muss man es für die erträglich gestalten. Das funktioniert, das kann man machen, aber man muss erstmal den Markt dafür öffnen. 4.4 Die Vision der Heimanwendung Die Heimanwendung wäre auch eine Frage gewesen. Könnten sie das etwas spezifizieren, klingende Tapete im Sinne von, Lautsprecher Array zum Aufkleben, sieht man die auf der Wand oder kann man die gut verstecken, oder wie könnte das aussehen? Das sind jetzt so visionäre Dinge, wie gesagt, wir forschen an solchen Sachen. Eine dieser Visionen ist die klingende Tapete, also ein Wandmaterial, was ein paar Millimeter dick ist, was am Ende eine Art Lautsprecherfunktion übernimmt, wie auch immer man das schafft. Gibt es da schon konkrete Ergebnisse, Experimente? Da gibt es einige Dinge, was man im Prinzip auch schon verwenden kann. Man kann zum Beispiel Folien kaufen, die klingen irgendwie. So etwas gibt es beispielsweise in Grußkarten. Es gibt ja so Grußkarten, die klappt man auf und die fangen dann an zu singen. Oft ist das eben eine Folie, wie ein kleiner Kondensator. Wenn man den entsprechend speist, dann klingt der. Das ist eine Basis, auf der man so klingende Tapeten machen könnte. Man kann ja auch einen Schrank bekleben, also wenn ich jetzt hier ein IOSONO System 4. IOSONO in der Praxis 31 hätte und ich würde einfach so eine Art Folienrolle rundherum kleben und dann würde das funktionieren. Können sie uns so was zeigen oder unterliegt das noch der Geheimhaltungspflicht? Das ist Forschung, das ist auch sicher noch im geheimen Bereich angesiedelt, aber da gibt es immer irgendwelche Entwicklungen. Da möchte man hin, also nicht nur für IOSONO, im Prinzip allgemein für die ganze Heimanwendung von Lautsprechern. Es gibt ja den viel zitieren „Woman Acceptance Factor“, die Frau akzeptiert also nicht, das irgendwo irgendwelche großen Boxen im Wohnzimmer stehen, man muss die verstecken oder kleinmachen. [...] Es ist sicherlich auch eine Designfrage. Auch flache, bilderartige Dinger, die man da an die Wand hängt, die nicht auffallen, wären eine Möglichkeit. Aber diese großen Arrays, wie wir sie hier so sehen, sind für die Wohnung schwer akzeptabel. Es gibt aus dem High End Bereich sicherlich Leute, die wollen das dann auch zeigen, man muss den Lautsprecher auch sehen, aber das ist die andere Fraktion. Aber für die Masse muss das natürlich passen. Es muss auch in jede Wohnung integrierbar sein. Dann gibt es Türen und Fenster, da sind auch wieder Lücken drinnen, mit denen man sich auseinandersetzen muss. Das sind alles noch ein bisschen zukünftige Dinge, aber das lässt sich alles lösen. Wenn man die Technologie erstmal umgesetzt hat, dann ist sofort auch die Designfrage wichtig. Man kann ja auch die Wohnung entsprechend so designen, dass alle Funktionen enthalten sind. Also wenn man Haus baut, dann überlegt man auch, an welcher Stelle das Bad ist, und baut dann das Haus. Das ist halt für den Heimbereich sicherlich auch eine Sache, die Designfrage. Sie haben das Wohnzimmer der Zukunft erwähnt. Wie könnte das aussehen in Bezug auf Sound? Man kann zum Beispiel dem Zuhörer zu Hause die Möglichkeit geben, dass er sich selber die Position seiner Schallquellen sucht. Also wenn er jetzt Stereo hört, dann kann er sie sich ein bisschen weiter weg schieben, oder wenn es ihm gefällt, dann schaltet er auf ebene Wellen um. Oder er will Nachrichten hören, dann nimmt er eine Quelle und schiebt die sehr nahe. Das wäre eine ganz andere Dimension von Voreinstellungen als die, die man so bei Stereoanlagen hat. 4. IOSONO in der Praxis 4.5 32 Mixing Gibt es da Panning Software, die sie uns zeigen könnten, oder was wird da konkret fürs Mixen verwendet? Das Allerneuste, bzw. das, was eigentlich Standard ist, ist ein Plugin für Nuendo. Wir haben mit Steinberg zusammengearbeitet und es gibt ein Plugin. Das ruft man in seiner ganz normalen Audioworkstation auf und hat zu den üblichen Mixing Tools noch das Positionsfenster mit all seinen Möglichkeiten Eigenschaften einzustellen, Bewegungspfade zu speichern, zu editieren. Das ist das Werkzeug, das auch die Filmleute benutzen. Das ist auch mit ihnen zusammen entstanden. Sie haben gesagt, was sie für eine Soundmischung brauchen, beispielsweise für Film, und daraus ist dieses Tool entstanden. Das heißt, wenn man IOSONO verwenden möchte, kauft man sich oder hat Nuendo und kauft sich dieses Plugin und hat eigentlich schon das Produktionsumfeld, das man braucht. Vorher gab es eine spezielle Software, die verwenden wir hier immer noch, funktioniert genauso, aber eben nicht mit diesem professionellen Anspruch, wie bei dieser Steinberg Software. Könnte man auch aus einem 5.1 Mix Daten für WFS rausrechnen? Beispielsweise die Phantomquelle ist sehr mittig zwischen Rechts und Surround Rechts. Kann man das Rausrechnen und für das WFS-System genau an diese Stelle positionieren, die virtuelle Quelle. Funktioniert das? Ja, das wäre denkbar. Man müsste die Signale links und rechts von der Intensität vergleichen und daraus dann die Position generieren, aber es ist immer nur in der Dimension zwischen links und rechts. Es fehlt komplett die Tiefe. Und das will man ja bei der Gestaltung auch immer, man will ja eigentlich eine Räumlichkeit haben, und Räumlichkeit ist nicht im Unterschied zwischen links und rechts. Das ist eben eine komplett losgelöste Quelle, die ich vor und zurück, links, rechts, nach oben und unten schiebe. Es gibt auch Algorithmen, wo man sozusagen von 5.1 auf IOSONO skalieren kann. Aber eigentlich der klassische Ansatz im Studio bei der Produktion müsste eigentlich der sein, das die Szene, wenn man die in 5.1 hat, dann noch mal neu abgemischt wird mit den ganzen einzelnen Objekten, oder man macht sie als reduzierte Variante. Wir hatten beispielsweise einen Mix von „Terminator“. Es gab ein Videospiel zu Terminator 4 oder so, das haben wir von den Leuten aus Hollywood, und dieser Mix beinhaltete sogenannte Stamps, also runter gemixte Pakete. Die nehmen ja viele hunderte Spuren auf und machen dann Submixes davon. Mit diesen Submixes kann man in IOSONO auch was anfangen. Man braucht vielleicht nicht alle einzelnen Spuren, aber idealerweise mischt man das in IOSONO und dann kann man auf jeden Fall immer noch 5.1 oder was auch immer daraus machen. Das geht viel einfacher als anders herum. 4. IOSONO in der Praxis 4.6 33 Rendering Wie werden die Daten dann gerendert? Wird das in Echtzeit gerendert? Ja, das passiert komplett in Echtzeit. Echtzeit im Sinne von Systemdurchlaufzeit. In Bregenz ist es wirklich so eine Art Echtzeit, das braucht man ja, weil man lange Laufzeiten in der Luft hat, sehr kurze Zeiten, wo das System reagieren kann, und da wird WFS komplett auf DSP’s gerechnet. Die sind dann nicht wie PC’s, die immer wieder mal schauen, ob eine Mail gekommen ist oder ein Drucker installiert wurde. Es dauert immer noch ein klein wenig länger mit PC’s. Wenn man das in super schneller Echtzeit, da sind es 5 ms, dann ist man eigentlich auf DSP Basis unterwegs, bzw. mittlerweile sind die Prozessoren auch so schnell geworden, das man da auch mit sehr wenigen Millisekunden Latenz komplett WFS rechnen kann. Man muss auch sagen, dass es davon abhängig ist, was verwendet wird, wie viele Lautsprecher und wie viele Quellen, weil ja jede Quelle auf jeden Lautsprecher gerechnet wird. Das sind bei 800 Lautsprechern und 20 Quellen 20 ∗ 800 Rechenoperationen. Echtzeit ist relativ, das brauche ich bei einem Film nicht, das brauche ich nur Live, da muss einfach das Bild und der Ton synchron sein. Bei Film kann ich Bild und Ton aufeinander anpassen, dann ist es egal, ob das eine halbe Sekunde später rauskommt. Nur bei Live ist das wichtig, denn wenn ich ins Mikrofon spreche, dann muss es aus dem Lautsprecher kommen. Was wird da für Software verwendet? Eine Eigene. Es sind Fraunhofer Algorithmen, die wir seit Anfang der WFSAktivitäten immer weiter entwickelt haben. Die werden dafür verwendet und immer weiter verbessert. Daher auch die Lizenzierung an IOSONO GmbH, die verwenden unsere Software. An dem Interface, wie die Quellen beeinflusst werden, das ist die Basis an der immer noch gearbeitet wird. Gerade für Nuendo wird eine neue GUI gebaut. 4.7 Zukunftsausblicke Welche Zukunftstendenzen sehen Sie? Wird sich IOSONO bzw. die Wellenfeldsynthese durchsetzen? Ich denke schon, dass sich das durchsetzen wird, so oder so ähnlich. Die eine Sache sind natürlich die Kosten. Also wir sprechen schon vom Sound System der Zukunft, weil alle bisherigen Systeme eine Reihe an Nachteilen haben, die den Anforderungen, die jetzt aus den digitalen Medien entstehen, nicht gerecht werden. 4. IOSONO in der Praxis 34 Dieser räumliche Sound wird auch immer präsenter, auch die ganze Sweet Spot Geschichte. Das sind Sachen, die man lösen kann. Wie man da hinkommt, ist eine andere Frage. Wie macht man die Systeme billiger, wie macht man sie einfacher, wie kann man bestimmte Nachteile ausgleichen. Vielleicht muss man auch noch an Räumen etwas tun. Das wird sich zeigen. Also die Entwicklung bei Wellenfeldsynthese geht sicherlich erstmal in Richtung Kinoproduktion. Aber es gibt immer mehr Versuche um genügend Leistung genügend unsichtbar zu machen und die Rechenprozesse weiter zu optimieren. Mit dem heutigen PC System kann man ja eigentlich schon sehr viel machen. Unsere Systeme, das sind ganz normale Server, das steckt eine MADI Karte drinnen, das heißt ein so ein PC kann 64 Kanäle rechnen. Für das Kino hier in Ilmenau haben wir 192 Kanäle, das heißt man bräuchte weitere Kisten. Aber das braucht auch nicht so viel Platz. Also da ist man auch schon sehr weit, was Platzbedarf und Aufwand betrifft. Es ist auch zu überlegen, ob man das Signal vielleicht nicht auch einmal über Funk zu den Panels sendet. Die ganzen aktiven Komponenten können noch optimiert werden, dass die keine Wärme abgeben und so. In diesem Bereich gibt es bestimmt noch einiges an Potenzial. Aber das wichtige ist sicherlich, das Ganze unsichtbar zu machen, leicht einbaubar und billig. Klar, auf dieser Seite ist sicherlich noch einiges zu tun, da gibt es schon noch einige Baustellen. Aber ich denke schon, dass sich das durchsetzen wird, auch für, naja, für die meisten Bereiche. Bei Beschallung wird es vielleicht jetzt schwieriger sein große Kunden zu bekommen. Da braucht man eigentlich keine Wellenfeldsynthese so richtig, bzw. es gibt auch Nachteile der geschlossenen Arrays. Die kann man schlecht hinter den Leuten mit den Mikrofonen positionieren, oder davor, das darf die Zuschauer nicht stören. Also das hat natürlich auch gewisse Herausforderungen, so geschlossene Arrays zu verwenden. Aber unsere Erfahrungen zeigen, dass sich das lösen lässt. In Bregenz gibt es ja das größte IOSONO System. Also ich denke schon, dass sich das durchsetzen wird. David: Wie viel kostet zum Beispiel so ein Kino System? Also wie das in Ilmenau? Also ein Kino System, da hat man damals gesagt dass das so ca. 20 000 Euro kostet, also ein Faktor 3 zum 5.1 System. Das war der Stand 2003. Was das jetzt kostet, weiß ich ehrlich gesagt gar nicht. Aber das wird nicht unendliche Dimensionen erreichen können, denn das muss ja auch jemand kaufen. Kapitel 5 Conclusio Die Technologie schreitet mit schnellen Schritten voran. Die Technologien werden immer komplexer und aufwendiger um die Natur ins Wohnzimmer zu bringen. Das betrifft besonders die Unterhaltungsbranche. Somit wurde auch räumlicher und realistischer Sound immer gefragter. Von Mono wurde zu Stereo gewechselt, als das nicht genug war wurde in den 70er Jahren die Quadrophonie, mit 4 Kanälen, auf den Markt gebracht. Seit einigen Jahren hat sich 5.1 etabliert und in letzter Zeit wurden die Mehrkanal Systeme auf 10.2 bzw. 22.2 aufgestockt. Um eben einen realistischen Sound erzeugen zu können, werden immer mehr Kanäle nötig. Mit der Wellenfeldsynthese wurde ein Ansatz gefunden, mit dem ein wirklich realistischer Sound möglich wird. Leider ist das aber zur Zeit mit einen großen Aufwand verbunden. Ein solches System benötigt hunderte von Lautsprechern um ein realistisches Ergebnis zu liefern. Als Beispiel möchte ich hier die Diskothek in Berlin nennen, wo das System über 600 Lautsprecher verfügt. Das ist natürlich nicht marktfähig. Vor allem muss das System billiger und leicht integrierbar sein. Dieselbe Herausforderung sehe ich jedoch auch bei den neuen Multichannel Anlagen. Ich würde mir bestimmt keine 24 Lautsprecher ins Wohnzimmer stellen. Daher stimme ich Herrn Rodigast voll zu, wenn er meint, dass im Bereich der Integrierbarkeit die meiste Arbeit liegt, um Wellenfeldsynthese tauglich für die Heimanwendung zu machen. Ich denke auch, dass sich die Wellenfeldsynthese als Sound System, wenn die genannten Probleme der Integrierbarkeit und des Preises gelöst werden, durchsetzen wird. Die Menschen lechzen förmlich nach neuer Technik, denken wir nur an den iPhone Hype im Jahr 2007. Am Fraunhofer Institut wird auch an dem „Wohnzimmer der Zukunft“ geforscht, wo auch ein Wellenfeldsynthese System integriert werden und mit Tracking perfektioniert könnte. Die Vision des „Wohnzimmers der Zukunft“ ist an vielen Instituten und Forschungseinrichtungen ein Thema. Für jetzt bleibt nur noch zu beachten, dass Wellenfeldsynthese nicht pau- 35 5. Conclusio 36 schal als die beste Lösung betrachtet werden kann. Es ist sehr aufwändig ein solches System zu installieren und zu betreiben. Dieser Aufwand muss mit der Art der Anwendung und der Absicht sorgfältig abgewogen werden. Ich denke bei einem großen Event, wo das Publikum mit etwas außergewöhnliches beeindruckt werden soll, ist die Klangfeldsynthese angebracht, zumal sie auch als Stilmittel zur künstlerischen Untermalung verwendet werden kann. Wobei es jedoch für die Heimanwendung noch undenkbar ist, weil der Aufwand jetzt einfach noch zu enorm ist. Literaturverzeichnis [1] Boone, Marinus M.: Acoustic rendering with wave field synthesis. In: ACM SIGGRAPH and Euroraphics Campfire: Acoustic Rendering for Virtual Environments, Snowbird, Utah, Mai 2001. Lab. of Acoustical Imaging and Sound Control. [2] Boone, Marinus M. und Edwin N. G. Verheijen: Sound reproduction applications with wave-field synthesis. In: AES 104th Convention. Audio Engineering Society, Mai 1998. [3] Zweites Fraunhofer Institut für Thüringen in Ilmenau geplant. Pressemitteilung des Bundesministeriums für Bildung und Forschung Deutschland, Juli 2003. [4] Coulkins, T., E. Coreteel und O. Warusfel: Wave field synthesis interaction with the listening environment, improvements in the reproduction of virtual sources situated inside the listening room. In: Proceedings of the 6th Int. Conference on Digital Audio Effects, London, UK, September 2003. DAFX. [5] Franck, Andreas, Andreas Gräfe, Thomas Korn und Michael Strauß: Reproduction of moving sound sources by wave field synthesis: An analisys of artifacts. In: AES 32nd International Conference, Hillerod, Denmark, September 2007. Audio Engineering Society. [6] IOSONO High-End Raumklang mit Wellenfeldsynthese. Informationsblatt des Fraunhofer AEMT über IOSONO, August 2003. [7] Klangfeldsynthese Optimaler Hörgenuss im Live-Einsatz. Informationsblatt des Fraunhofer AEMT über IOSONO, August 2003. [8] IOSONO - eine neue Definition der Klangwelt. Informationsblatt des Fraunhofer IDMT über IOSONO. [9] New iosono spatial audio workstation plug-in exclusively for nuendo 4. Pressemitteilung des Fraunhofer IDMT, Mai 2008. 37 Literaturverzeichnis 38 [10] Heimrich, Thomas, Katrin Reichelt, Hendrik Rusch, Kai Uwe Sattler und Thomas Schröder: Modeling and managing spatiotemporal audio data, 2005. [11] Huber, Thomas: Zur Lokalisation akustischer Objekte bei Wellenfeldsynthese, Entwurf. Diplomarbeit, IRT (Institut für Rundfunktechnik GmbH), Floriansmühlstr. 60, 80939 München, Germany, Juli 2002. [12] Kerber, Stefan: Zur Wahrnehmung virtueller Quellen bei Wellenfeldsynthese, Entwurf. Diplomarbeit, IRT (Institut für Rundfunktechnik GmbH)/Technische Universität München, Floriansmühlstr. 60, 80939 München, Germany, August 2003. [13] Kuhn, Clemens: Wellenfeldsynthese: Was leistet sie wirklich? VDT Magazin, Seiten 20–23, 2005. [14] Liebetrau, Judith, Thomas Sporer, Thomas Korn, Kristina Kunze, Christoph Mank, Daniel Marquard, Timo Matheja, Stephan Mauer, Thomas Mayenfels, Robert Möller, Michael Andreas Schnabel, Benjamin Slobbe und Andreas Ueberschaer: Localization in spatial audio - from wave field synthesis to 22.2. In: AES 123th Convention, New York, USA, Oktober 2007. Audio Engineering Society. [15] Oellers, Helmut: Phantomschallquellen. Website zum Thema Wellenfeldsynthese, 2008. http://www.holophony.net/Phantomschallquellen. htm. [16] Oellers, Helmut: Virtuelle Schallquelle. Website zum Thema Wellenfeldsynthese, 2008. http://www.holophony.net/virtuelle_Schallquelle.htm. [17] Pellegrini, Renato und Clemens Kuhn: Wave field synthesis: Mixing and mastering tools for digital audio workstations. In: AES 116th Convention, Berlin, Germany, Mai 2004. Audio Engineering Society. [18] Rodigast, René: Interview zum IOSONO System. spräch, Dezember 2008. Persönliches Ge- [19] Sporer, Thomas: Wave field synthesis - generation and reproduction of natural sound environments. In: Proceedings of the 7th Int. Conference on Digital Audio Effects, Naples, Italy, Oktober 2004. DAFX. [20] Start, Evert Walter: Direct sound enhancement by wave field synthesis. Dissertation, Technische Universität Delft, Delft, Netherlands, Juni 1997. [21] Wagner, Andreas, Andreas Walther, Frank Melchior und Michael Strauß: Generation of highly immersive atmospheres for wave field synthesis reproduction. In: AES 116th Convention, Berlin, Germany, Mai 2004. Audio Engineering Society. Literaturverzeichnis 39 [22] Wittek, Helmut: Räumliche Wahrnehmung von virtuellen Quellen bei Wellenfeldsynthese. In: 23. Tonmeistertagung, Leibzig, Germany, November 2004. VDT (Verband Deutscher Tonmeister). [23] Wittek, Helmut, Stefan Kerber, Francis Rumsey und Günther Theile: Spatial perception in wave field syntehsis renderd sound fields: Distance of real and virtual nearby sources. In: AES 116th Convention, Berlin, Germany, Mai 2004. Audio Engineering Society. [24] Wittek, Helmut, Francis Rumsey und Günther Theile: Perceptual enhancement of wave field synthesis by stereophonic means. Journal of the Audio Engineering Society, Seiten 723–751, September 2007. [25] Zimmermann, Angela: Eigenschaften des Richtungshörens beim Menschen. Seminar Sehen und Hören an der Universität Ulm, Fakultät für Informatik, Abteilung Neuroinformatik, 2004. Anhang A Interview mit René Rodigast zum IOSONO System Einige Fragen zu Ihrer Person, bezüglich Ihrer Ausbildung und was sie hier her zum Fraunhofer Institut gebracht hat. Ich habe Elektrotechnik studiert und war Technischer Leiter in einer Firma, die AV Installationen gemacht hat. Vorher war ich beim Radio und beim Theater. Dann bin ich 2002 bei Fraunhofer eingestiegen, das war der Aufbau der ganzen Gruppe. Ich habe dann als Projektleiter dieses erste Kino betreut, in Ilmenau, also das System zur Marktreife gebracht. Das hat von Sommer 2002 bis 2003 gedauert. Es gab die Verhandlungen mit dem Kino und im Februar 2003 ist es eröffnet worden. Es wurden mit Studenten Lautsprecher gefertigt, alles bei Fraunhofer in Eigenleistung. Wir haben dort das Kino umgebaut. Da ist ja ein 5.1 System drinnen und unter dem System wurden Aluprofile angeschraubt, damit man die Panels anhängen kann. Es war auch eine Forderung, dass man die wieder abbauen kann, ohne das Schäden im Kino entstehen. Das war eine recht heiße Zeit. Es musste dann auch zu einem bestimmten Eröffnungstermin fertig sein. Wir hatten kaum Erfahrung, was erstmal die Größe von so einem System betrifft, dann natürlich auch, wie sich das in der Akustik auswirkt. Was passiert hinter der Leinwand, das sind ja dann auch spezielle Filterrechner drinnen, die dann wieder die Leinwand entzerren. Man hat das System installiert und dann die Erkenntnisse gesammelt, praktisch in einem Kommerziellen System. Haben Sie im Zuge dessen auch den Raum dämmen müssen oder ist der Kinosaal so geblieben wie er war? Der ist so geblieben wie er war, der hat eine THX zertifizierte Akustik, das heißt man hat einen Nachhallzeitschlauch bei der THX-Norm und der ist natürlich super für ein System wie IOSONO. Da hat man auch eine ganze Menge Erfahrungen gesammelt, wie die Akustik sein kann und wie sie nicht 40 A. Interview mit René Rodigast zum IOSONO System 41 sein darf, um IOSONO zu verwenden. Aber bei trockenen Räumen geht es natürlich immer. Wie ist die Nachfrage am Markt für IOSONO bzw. für Klangfeldsynthese Systeme allgemein? Der Markt ist recht weitläufig für die Technologie. IOSONO GmbH ist momentan sehr auf den Kinomarkt orientiert, deshalb gibt es auch eine Niederlassung in den USA, die auch in Hollywood sitzt und die da diese ganzen Leute kennen und in dem Bereich sehr aktiv sind. Also da gibt es eigentlich eine recht große Nachfrage und da versucht man jetzt wirklich das System als neues Standardsystem für Kinos zu etablieren. Wenn man so will, Dolby ablösen. Dolby ist eine Technologie aus den 70er Jahren mit den bekannten Nachteilen. Da wird im Prinzip daran gearbeitet, das man einen Qualitätssprung schafft mit IOSONO. Es gibt auch andere Technologien die da jetzt eine ähnliche Richtung gehen, aber eigentlich von der Räumlichkeit, von der Qualität, ist IOSONO das beste, was man da eigentlich haben kann, natürlich auch mit gewissen Aufwänden. Das ist sozusagen der Kinomarkt, da passiert eine ganze Menge, das letzte was jetzt öffentlich war, war die Installation im Chinese Six, das ist dieses große Premierenkino in Hollywood, am Hollywood Boulevard, wo auch diese ganzen Fußabdrücke sind. Da ist ein ganz großes berühmtes Kino, da ist jetzt vor ein paar Wochen ein IOSONO System installiert und auch eröffnet worden. Da versucht man, den Einstieg zu kriegen, so eine Hollywoodpremiere mit 5.1 kompatiblen Modus, dort zu präsentieren. Das andere System, dass es im US Kinomarkt gibt, das ist ein Mischkino in Hollywood in einen Studio. Man kann ruhig sagen, dass das Disney ist, weil das auch in der Zeitung stand. Die Soundingenieure arbeiten damit und sammeln Erfahrungen. Die mischen praktisch mit IOSONO oder probieren sich daran aus. Da versucht man, dadurch den Sprung in den Kinomarkt zu schaffen, dass die dann sagen, wir wollen die Qualität und keine andere. Das ist das was zählt. Da geht es eben weiter, da sind noch weitere Installationen geplant, in den USA. In dem nächsten halben Jahr wird es da noch weitere Installationen geben. Da bin ich nicht ganz so informiert, aber das ist das, was da so passiert. Da ist der Hauptfokus, wenn man da weltweit im Kinobereich den Sprung so ins Digitale macht, also auf Projektions- und auf Contentseite und auch auf Formatseite, da möchte man jetzt praktisch auch gleich die IOSONO Qualität mit einbringen. In wie vielen Kinos ist es jetzt konkret installiert? In Kinos ist es im Chinese Six und in Ilmenau. Die andere Geschichte neben dem Kinomarkt, was recht ähnlich ist, ist dieser ganze Themed Entertain- A. Interview mit René Rodigast zum IOSONO System 42 ment Bereich, da gibt es jetzt in den USA noch zwei Installationen. Eines ist „Haunted Mansion“, das ist auch Disney in Orlando. Das ist so eine Geisterbahn, wo das IOSONO System installiert ist und die Leute ins Dunkel stellt und sie dann irgendwie erschreckt mit verteilten Quellen. Dann gibt es jetzt auch recht aktuell eine Installation im „Museum of Tolerance“ in Los Angeles. Das ist ein Museum, ein großer Saal in einem Museum, wo dann verschiedene Dinge vorgeführt werden, das vor ein paar Wochen eröffnet worden ist. Im Bereich Themed Entertainment gibt es auch in Deutschland in den Bavaria Filmstudios, ein 4D Kino mit Rüttelsitzen, 3D Bild und IOSONO Sound, das sind 4 Dimensionen. Das ist die ThemenparkEcke. Dann gibt es Planetarien, eines in den Arabischen Emiraten, in Katar. Da gibt es ein Planetarium mit IOSONO System, wobei das System dort ist so eine Art reduziertes System. Die haben vorne einen halben Ring, dann gibt es Lücken und dann hinten wieder was. Die zweite recht große Planetariumsgeschichte, wo es auch Richtung 3D ging, ist Saragossa auf der EXPO. Da gibt es ein IOSONO System in einer recht großen Kuppel, wo Kuppel Content und verteilte Lautsprecher in der Kuppel kombiniert waren mit IOSONO. Wenn man so will IOSONO 3D, wobei es nicht vollgepflastert ist mit Lautsprechern, sondern einzelne, die dann die Höhe darstellen. Ganz kurz zu Planetarien. Da gibt es doch meist nur eine Stimme, die die Sterne beschreibt. Inwiefern ist das IOSONO System wichtig? Da teilt sich die Welt gerade auf, thematisch bei den Planetarien. Es gibt halt die wirklich klassischen Planetarien, die dann Sterne zeigen, das erklären. Im Prinzip Edutainment, die den Leuten irgendwas beibringen wollen. Die andere Ecke ist aber schon wieder das Entertainment, das mischt sich eigentlich auch. Die hatten früher auch nicht die Möglichkeit, großartig Unterhaltung zu machen. Da hat man vielleicht auch mal so einen Horizont mit ein paar Dias gehabt und eventuelle ein Bild in die Kuppel projiziert. Das hat sich komplett geändert, nachdem man Volldomprojektionen macht. Die ganze Kuppel ist eigentlich ein Bild und da wird sehr viel mit Effekten gemacht, es werden komplette Filme dafür produziert, ein richtiger Raketenstart, jemand landet auf dem Mond, Verfolgungsjagd und all diese Dinge. Das kann man in so einer ambienten Umgebung natürlich viel eindrucksvoller machen. Genau da ist auch dringender Bedarf zu solchen Systemen wie IOSONO. Wenn man rundum halt Projektion hat, dann braucht man auch rundum Ton. Ich war im Sommer in Chicago auf der Welt-Planetaria Tagung und die hatten wirklich teilweise solche Sachen gehabt, dort ist jemand abgebildet und spricht und von da kommt der Ton, also so ganz seltsame Dinge. Es ist halt der Standard 5.1, wenn man da nicht auf dem richtigen Platz sitzt, A. Interview mit René Rodigast zum IOSONO System 43 dann funktioniert das nie. Man hört eben den Lautsprecher, wo man in der Nähe sitzt, egal welches Bild es dazu gibt. Das ist noch kritischer in einem Planetarium als in einem Kino. Da merkt man es offensichtlich, das da was nicht stimmt. Da ist auch ein großes Potential für die Planetarien da. Ansonsten im wissenschaftlichen und Entwicklungsbereich gibt es auch Systeme, beispielsweise in Surrey, nördlich von London. Das ist eine Uni, die machen so einen Cave und machen Forschung im 3D Bild und Ton Bereich. Es gibt auch eines in Zürich, das ist eine ganz andere Ecke, die machen so REHA Geschichten, also Leute mit langsamen Trainingsmaßnahmen wieder fit machen. Da gibt es so eine Art virtuelles Rudergerät, es gibt eine Art Cave mit Projektion, wo, je nachdem wie schnell man rudert, die Landschaft an einem vorbei zieht. Da ist auch IOSONO dabei, sozusagen um den räumlichen Ton auch zu machen. Das ist wirklich eine sehr realistische Geschichte im Sportbereich. Das ist so relativ breit gefächert. Ein wichtiger Bereich ist die Beschallungsecke, Bregenz, unser größtes System mit 800 Lautsprechern. Das ist auch so ein Projekt, dass sehr anspruchvoll ist, und da wird immer noch entwickelt. Da gibt es unter diesen Umständen physikalische Grenzen. Da muss man immer noch an der Software oder an Algorithmen bestimmte Dinge ausprobieren, die man dann in diesem riesigen Umfeld testet. Das ist eine sehr schöne Sache, die Chance zu haben, unter diesen Open Air Bedingungen auch die Forschung zu machen. Für die Bregenzer ist es auch immer wieder eine riesige Entwicklungschance, die die auch nutzen wollen. Gab es Versuche IOSONO zu vereinfachen? Ja, man kann ja zum Beispiel nur jeden zweiten oder vierten Lautsprecher benutzen. Aber das ist dann keine wirkliche Wellenfeldsynthese mehr. Das macht man um mit weniger Aufwand die Sweet Spot Problematik aufzulösen. Das hat dann eine nicht so gute Räumlichkeit wie IOSONO, aber eigentlich eine ganz andere Dimension wie diese X.X Systeme. Auch da gibt’s Sachen, die wir machen. Und da ist auch immer wieder die Frage noch der 3. Dimension. Typischer Weise wird im Kino immer auf dieselbe Art produziert bisher, der Center ist meistens die Stimme, links und rechts kommt Musik und Surround sind irgendwelche Effekte, Ambience, irgend so etwas. Aber die Filmleute wünschen sich schon immer mehr Möglichkeiten, man macht es nur nicht, weil es ja auf der ganzen Welt kompatibel sein muss. Da gibt es verschiedene Entwicklungen, wo man da besser wird. Das geht weg, von X.X Systemen. Eine Sache ist auch das Format. Da wird es eigentlich Spur für Spur übertragen und wir sind auf der Objektbasierten Formatseite unterwegs. Das heißt es gibt ein Tonobjekt, ein Audioobjekt und das hat Eigenschaften, das ist Zeit, Position und Lautstärke. Das ist natürlich eine ganz andere Möglichkeit, da Information reinzupacken als in so eine Tonspur, die jetzt wirklich „vorne links“ heißt. Die braucht eine Menge Speicher, weil A. Interview mit René Rodigast zum IOSONO System 44 sie die ganze Zeit immer spielen muss, auch wenn sie keine Information hat, und da muss man halt auch auf der Formatseite wieder etwas tun. Könnte man sagen, die Tendenz geht dahin, dass man besseren Sound will, mehr Kanäle mehr Boxen, wenn man die neuen Multichannel Systeme 10.2 und 22.2 betrachtet? Geht das auch schon in die Richtung WFS? Bei 22.2 muss auch speziell dafür produziert werden, das heißt die Leute sitzen ja dann auch in einem 22.2 Mischstudio und müssen ihre Effekte auch genauso legen, wie sie die dort auch abmischen, dass das dann wieder kompatibel ist. Da gibt es aber auch schon Zusammenarbeit in einem (EU) Projekt, wo die 22.2 Leute mit u.a. mit dem IIS in Erlangen zusammenarbeiten, sozusagen im Kinotonbereich. Da möchte man sich auch auf gemeinsame Standards einigen. Es kann durchaus passieren, dass beide Systeme nebeneinander existieren, im Prinzip alles mit seinen Vor- und Nachteilen. IOSONO ist ja auch nicht frei von Nachteilen und das andere System auch nicht, es hat eigentlich alles seine Berechtigung. Da ist man auch schon dabei, sich zu treffen und abzustimmen, was man da eigentlich macht. Alex: Am problematischsten ist einfach, das WFS so viele Boxen braucht, das ist auch sicher eine Geldsache. Aber wenn die Tendenz auch bei Multichannelsystemen dahin geht, das man eben immer mehr Boxen, immer mehr Kanäle hat, hilft das der WFS auch, sich einmal endgültig durchzusetzen? Das Durchsetzen ist sicherlich eine Frage der Kanäle und am Ende der Kosten. Das kann man schon sagen, wobei es sich tendenziell sicher besser löst, wenn mehr Systeme am Markt sind, dann gibt’s auch billigere Möglichkeiten, das zu produzieren. Das sind ja jetzt mehr oder weniger Spezialsysteme, also diese ganzen was da am Professionellen Markt installiert werden. Es ist nichts, wo man eben mal 10 000 Stück fertigt davon, und das wird sich lösen, wenn man so was wie IOSONO oder auch so was wie das Spacial Pan, oder was auch immer, wenn man das für den Markt macht. Da kriegt man die Kanäle auch sehr, sehr günstig, oder man baut irgendwelche Arrays, die dann einfach zu produzieren sind. Bei IOSONO ist es so, dass es Qualitätsstandards gibt. Man kann nicht beliebige Lautsprecher nehmen, die beliebig billig und beliebig schlecht sind, sondern es gibt einen gewissen Anspruch, im Prinzip so eine Art Norm, die man da verwendet. Aber man kann sich vorstellen, für den Heimbereich irgendwann mal vielleicht, das ganz anderes zumachen. Bei uns gibt es Entwicklungen in Richtung „klingende Tapeten“, die einfach zu integrieren sein sollen. Also, Flachlautsprecher, an denen wir forschen, das sind flache Lautsprecher, nicht Flachlautsprecher im Sinne von DMLs oder von Elektrostaten sondern wir arbeiten an neuen Technologien, um das ganze Massenmarktverträglich zu machen, auch von den Kosten her. Da nähert man sich sicher A. Interview mit René Rodigast zum IOSONO System 45 an den Heimbereich an, da kommen vielleicht mehr Lautsprecher dazu. Bei IOSONO versucht man die Kosten nach unten zu kriegen und, wenn man bei vielen Leuten angekommen ist, muss man es für die erträglich gestalten. Das funktioniert, das kann man machen, aber man muss erstmal den Markt dafür öffnen. Die Heimanwendung wäre auch eine Frage gewesen. Könnten sie das etwas spezifizieren, klingende Tapete im Sinne von Lautsprecher Arrays zum Aufkleben oder sieht man die auf der Wand oder kann man die gut verstecken, oder wie könnte das aussehen? Das sind jetzt so visionäre Dinge, wie gesagt, wir forschen an solchen Sachen. Eine dieser Visionen ist die klingende Tapete, also ein Wandmaterial, was ein paar mm dick ist, was am Ende eine Art Lautsprecherfunktion übernimmt, wie auch immer man das schafft. Gibt es da schon konkrete Ergebnisse, Experimente? Da gibt es einige Dinge, was man im Prinzip auch schon verwenden kann. Man kann zum Beispiel Folien kaufen, die klingen irgendwie. Die sehen wie Geschenkpapier aus, was man in diesen Grußkarten beispielsweise hat. Es gibt ja so Grußkarten, die klappt man auf und die fangen dann an zu singen. Oft ist das eben eine Folie, wie ein kleiner Kondensator. Wenn man den entsprechend speist, dann klingt der. Das ist eine Basis, auf der man so klingende Tapeten machen könnte. Man kann ja auch einen Schrank bekleben, also wen ich jetzt hier ein IOSONO System hätte und ich würde einfach so eine Art Folienrolle rundherum kleben und dann würde das funktionieren. Alex: Können sie uns so was zeigen oder unterliegt das noch der Geheimhaltungspflicht? Das ist Forschung, das ist auch sicher noch im geheimen Bereich angesiedelt, aber da gibt es immer irgendwelche Entwicklungen. Da möchte man hin, also nicht nur für IOSONO, im Prinzip allgemein für die ganze Heimanwendung von Lautsprechern. Es gibt ja den viel zitieren „Woman Acceptance Factor“, die Frau akzeptiert also nicht, das irgendwo irgendwelche großen Boxen im Wohnzimmer stehen, man muss die verstecken oder klein machen. Man sieht ohnehin am Markt, was da passiert. Man stellt irgendein Gebilde auf den Tisch und dann heißt es, der macht Sourround Sound. Das ist natürlich alles Humbug, aber damit verkauft man ja solche Sachen. In der Ecke muss man dann wirklich auch Lösungen, die entsprechende Qualität haben, finden. Dann ist auch IOSONO ein Thema für den Heimbereich. Es ist sicherlich auch eine Designfrage, wie auch immer man das anstellt. Auch flache, bilderartige Dinger, die man da an die Wand hängt, die nicht auffallen oder so. Aber diese großen Arrays, wie wir sie hier so sehen, sind für die Wohnung schwer akzeptabel. A. Interview mit René Rodigast zum IOSONO System 46 Es gibt aus dem High End Bereich sicherlich Leute, die wollen das dann auch zeigen, man muss den Lautsprecher auch sehen, das ist die andere Fraktion. Aber für die Masse muss das natürlich passen. Es muss auch in jede Wohnung irgendwie integrierbar sein. Dann gibt es Türen und Fenster, da sind auch wieder Lücken drinnen, dann muss man sich auch wieder mit diesen Lücken auseinandersetzen. Das sind alles noch ein bisschen zukünftige Dinge, aber das lässt sich alles lösen. Wenn man die Technologie erstmal umgesetzt hat, dann ist sofort auch die Designfrage wichtig. Man kann ja auch die Wohnung entsprechend so designen, dass alle Funktionen drinnen sind. Also wenn man ein Haus baut, dann überlegt man auch, an welcher Stelle das Bad ist, und baut dann das Haus. Das ist halt für den Heimbereich sicherlich auch eine Sache, dass die Designfrage. Bei uns in Hagenberg gibt es auch Forschung im Bereich Wohnzimmer der Zukunft. Da würde sich ein System wie IOSONO sicher auch sehr gut integrieren lassen. Ideal wäre bei solchen Systemen, dass das System auch immer weiß, wo der Hörer sitzt. In Richtung Tracking, haben wir auch gerade ein Projekt am laufen. Wenn das IOSONO System beispielsweise weiß, wo der Hörer sich aufhält, dann kann sich das natürlich noch besser darauf einstellen, weil standardmäßig gibt es bei uns eine Art Referenzpunkt, auf den das System skaliert ist. Der Referenzpunkt ist idealerweise auch immer das Ohr, deshalb kann man das Tracken und alles auch dynamisch umstellen. Bei so einem Wohnzimmer der Zukunft könnte man sich auch so ein Tracking vorstellen, wie auch immer das dann funktioniert. Dann kann sich der Fernseher, das Bedieninterface oder auch der Sound auf den Hörer einrichten. Als wir gestartet sind mit dieser Arbeitsgruppe war der erste Gedanke das Wohnzimmer der Zukunft. Das waren so ein paar Räume, wo ein großer Fernseher drinnen stand und eine Couch und IOSONO. Damals hieß es halt noch WFS-System mit Standardlautsprecher. Das war unser erster Versuch. Da war der Gedanke, das über diese Wohnzimmerschiene in die Welt zu tragen. Das macht jetzt gerade den Umweg über den professionellen Markt, aber eigentlich soll es ja dahin weder zurück gehen, weil es am Ende der Massenmarkt ist, wo mehr Interesse und natürlich auch das entsprechende Geld ist, siehe mp3. Der Raum muss für die Wellenfeldsynthese ja fast schalltot sein. Wie streng ist das System wirklich? Ein schalltoter Raum, da können wir nachher mal reingehen, da möchte niemand drinnen sein. Das ist eine Dimension, die man sich nicht in der normalen Wohnung wünschen würde. Es gibt fürs Kino diese Norm, THX, die ist gut für Wellenfeldsynthese, muss aber auch nicht unbedingt sein. Wir haben bestimmte architektonische Maßnahmen, die man an Räumen A. Interview mit René Rodigast zum IOSONO System 47 vornehmen kann, die den Raum eignet für IOSONO. Also zum Beispiel Deckenreflektionen. Auf der Tonmeistertagung hatten wir IOSONO und da war eine sehr niedrige Decke aus Glas. Da hatten wir immer wieder Fehlortungen, wenn das Signal an die Decke ging, das kam immer wieder zur falschen Zeit am Ohr an. Also da gibt es verschiedene Dinge die man machen kann. Auch im normalen Umfeld, wo auch immer, um den Raum ein bisschen akustisch zu adaptieren. Man kann schon sagen, je trockener der Raum ist, umso besser ist es. Aber wichtig ist es, dass man direkte erste Reflektionen vermeidet, also Dinge die jetzt sehr früh wieder zurück kommen. Bei IOSONO, bei diesen Panels, ist es so - wie wir nachher sehen werden - dass die unten noch die Verstärker haben und die haben auch eine Reflektionsfläche. Das heißt das System selber reflektiert an sich, aber man kann mit wenig Aufwand solche Reflektionen vermeiden. Man hängt es halt mit Mollton ab oder mit Schaumstoff. Das ist meist relativ unkritisch, bzw. muss man sich den Raum anschauen, um geeignete Maßnahmen zu finden. Schall zu unterdrücken um Raumakustik herzustellen geht oft relativ einfach. Auf Messen haben wir große Kisten, die stellen wir in die Ecke, und die absorbieren bestimmte Frequenzen. Damit hat man schon viel geschafft. Wie würde das in diesem Raum (Büro) zum Beispiel aussehen? Also, was bräuchte man da, damit IOSONO gut funktioniert. Oder kann man das System einfach so reinstellen? Ja, man würde schauen, dass man ein paar Absorberflächen noch schafft. Alex: Zum Beispiel mit Vorhängen? Naja, zum Beispiel Vorhänge, aber es gibt auch Wandmaterialen, die weich sind. Wir haben das hier in Konferenzräumen, sieht aus wie eine Wand, es ist aber ein weiches Gewebe mit einer Vorhangschalung. Damit kann man auch ohne dass es auffällt einen Raum entsprechend anpassen. Hier in unseren Laborräumen, das sind alles zertifizierte Räume nach BSF16, das ist eine ITU Norm, die eine bestimmte Nachhallzeit erfüllen müssen, da ist das Gewebe auch mit Lochplatten verkleidet. Davor sind Vorhänge um da auch die Höhen wegzukriegen. Raumakustik ist ein sehr spezielles Gebiet, aber unser IOSONO System an einen Raum anzupassen, wenn man den Raum, wie wir vorher gesagt haben, entsprechend dafür designen würde, wäre das sicher mit gewisser Kenntnis recht einfach machbar. Also die Decke ist immer so ein Thema. Ich habe auch mal Simulationen gemacht, beispielsweise für ein Planetarium, ein sehr kleines, die eine Betonkuppel bauen wollten. Beton reflektiert zu 100 % und ich habe dann alles, was außerhalb dieser Betonkugel war, versucht irgendwie absorbierend zu machen und man kriegt das dann schon irgendwie hin. Die Lautsprecher müssen dann natürlich auch entsprechend ausgerichtet werden, die Lautsprechercharakteristik muss entsprechend gewählt werden und so. Da wird A. Interview mit René Rodigast zum IOSONO System 48 es dann schon spannend wenn man so böse akustische Umgebungen hat wie Beton. Das Problem sind eben Fehlortungen. Also man hat eine Quelle an einem bestimmten Platz und durch Reflektionen kommt die Quelle von einer anderen Seite am Ohr an. Das kennt man ja von einer großen Kirche, da kann man sich teilweise nicht richtig unterhalten, weil einfach zu viele Reflektionen am Ohr ankommen. Das ist bei IOSONO nicht anders wie in der Natur. Es gibt auch bestimmte Normen, wie zum Beispiel Konferenzräume, Klassenräume beschaffen sein müssen, um eine entsprechende Sprachqualität zu erzeugen. Und so kann sich das auch für Wellenfeldsynthese Systeme vorstellen. Dass man den Raum nicht als Betonkasten mit Glasscheiben und einer hochreflektierenden Decke und einem Marmorfußboden baut, ist eigentlich klar, wenn man vernünftige Tonsysteme einbauen will. Wie wird das System gefüttert? IOSONO arbeitet, wie gesagt, mit Audio Objekten. Objekt heißt einfach, man sieht den Raum und es gibt irgendwelche Dinger, von denen Audioinformation kommen. Audio Objekte haben ihre Eigenarten, also ein Audio Objekt ist zum Beispiel auch ein Schrei, er ist ganz kurz da, und dann ist er wieder weg. Das ist eine normale IOSONO Szene. Man hat diese ganzen Objekte, die haben alle ihre Eigenschaften, ihre Position, und können als Punktquelle oder ebene Welle oder was auch immer wiedergegeben werden. Wie in der Natur, also viele Vögel sitzen auf einen Baum, jeder schreit vor sich hin und es kommt noch ein Sturm dazu, ein Wanderer läuft vorbei, das ist eine IOSONO Szene. Ganz viele einzelne Geräusche die sich komplex wieder abbilden lassen. Welche Parameter haben diese Objekte jetzt konkret? Wieder der Bezug zur Natur, der Vogel sitzt auf dem Baum, der ist halt 20 Meter entfernt, also eine Position, dann piepst der Vogel zu einer bestimmten Zeit, also er hat eine Zeit, er hat eine bestimmte Länge, solange wie er piepst. Wenn er ganz weit weg ist wird der Vogelschrei als ebene Welle ausgegeben. Also eine Quelle in großer Entfernung bildet praktisch ebene Wellen. Bei einer Quelle in der Nähe ist die Wellenform rund und je weiter die weg ist, desto flacher wird diese, und wenn die Welle hier angekommen ist, ist sie praktisch überall. Das ist die so genannte Plane Wave. Das kann man diesen Objekten auch einstellen, ob sie nun Plane Waves sind oder nicht. Dann gibt es noch die Zeit, die der Schall von dieser entfernten Quelle bis hier her bräuchte, die man auch ausschalten kann. Man kann sagen, die Wellenform kann so sein, als ob der dort hinten sitzen würde, aber die Zeit soll so sein, wie wenn der hier vorne sitzen würde. Das sind alles gestalterische Sachen, die man machen kann, das ist die Freiheit, die die Wellenfeldsynthese A. Interview mit René Rodigast zum IOSONO System 49 bietet. Das kann man sonst nicht. Man kann beim 5.1 Mix nie eine Quelle in die Entfernung stellen, man kann sie nur links und rechts positionieren und hoffen, dass die dann halbwegs stabil wieder abbildet wird. Eine Sonderart von IOSONO ist, dass man die Quelle in den Raum bringen kann. Das kann man mit keinen anderen System, also, diese ganzen „Punkt-irgendwas“ Systeme schaffen nie so was. Im Prinzip funktioniert das so, man fokussiert die Energie auf diesen Punkt und von diesem Punkt geht praktisch ein neues Wellenfeld aus. Das ist ein Gestaltungsmittel, das die Soundingenieure aus dem Kinobereich unheimlich effektvoll finden. Denen haben wir alles Mögliche erzählt, wo sich die Quellen befinden, dass sie stabil sind und so, da haben sie alle nur müde gelächelt. Aber dann zu sagen, nimm die Quelle und schieb die in den Raum oder schieb die durch den Kopf der Hörer durch, das ist der Effekt, den die bisher nicht gehabt haben. Dadurch kriegt man die Leute natürlich auch. David: Das ist ja wie Binaural. Binaural und Wellenfeldsysteme kann man ja eigentlich nebeneinander stellen, das eine ist mit Kopfhörer und das andere mit Lautsprechern. Ich habe gelesen, dass die fokussierten Quellen aber eher problematisch sind. Funktionieren die einwandfrei? Die funktionieren einwandfrei. Die funktionieren logischer weise nur nicht, wenn man sich zwischen Lautsprecher und der Quelle befindet. Also wenn ich hier stehe und hier ist die Quelle, dann würde ich natürlich den Lautsprecher hören, weil der muss ja sozusagen den Punkt fokussieren und von hier aus die Energie abstrahlen. Also wenn ich dazwischen sitze, dann höre ich die Quelle zum Beispiel von rechts, obwohl sie eigentlich links neben mir sein sollte? Genau, aber das ist ja auch wieder eine Sache von dem, der das mischt. Also, man weiß wo die Leute sitzen und man weiß, welche Effekte man erreichen will. Im Kino beispielsweise, haben wir da so einen kleinen Geist, der durch die Kinozuschauerreihen fliegt und flüstert. Das ist für jeden Platz effektvoll, und da ist es eigentlich egal, ob man den auch mal vom Lautsprecher hört, der Zuschauer wird trotzdem erschreckt. Es ist eigentlich wieder Klangdesign oder Sounddesign, was man damit machen kann. Wenn man den Menschen tracken würde, wenn das System also weiß, wo der sich aufhält, kann man das ausschalten, dann kann der wirklich um die Quelle rumlaufen. Wie erfolgt die Wandlung von 5.1 auf WFS, für das Kino zum Beispiel? Im Prinzip ist das der kompatible Modus. Man macht diese virtuellen Quellen. Man nimmt die 5 Spuren und schiebt die in das System rein. Das System A. Interview mit René Rodigast zum IOSONO System 50 skaliert die auf diese Position, wobei bei der Kinomischung meist im Center die Sprache ist, weil der Bildbezug hergestellt werden soll. Also schiebt man die recht nahe an die Leinwand. Dann ist das von der Position her immer, dass der Sprecher aus der Mitte kommt. Links und Rechts ist meistens die Musik, die kann man etwas weiter weg schieben um das Publikum einzuhüllen. Sie haben das Wohnzimmer der Zukunft erwähnt. Wie könnte das aussehen in Bezug auf Sound? Wie wir vorher besprochen haben, dass man zum Beispiel dem Zuhörer zu Hause einfach die Möglichkeit gibt, er kann sich selber die Position seiner Schallquellen suchen. Also wenn er jetzt Stereo hört, dann kann er sie sich ein bisschen weiter weg schieben, oder wenn es ihm gefällt, dann schaltet er auf Ebene Wellen um. Oder er will Nachrichten hören, dann nimmt er eine Quelle und schiebt die sehr nahe. Das wäre eine ganz andere Dimension von Voreinstellungen als die, die man so von Stereoanlagen hat. Wie ist das mit virtuellen Quellen im Gegensatz zu 5.1. Da kann man ja eigentlich auch virtuelle Quellen platzieren, beispielsweise zwischen Rechts und Surround Rechts. Es wird halt einfach nur anteilig rausgespielt, so dass es sich in der Mitte wieder trifft. Das ist das Panning, es gibt sozusagen das Intensitätspaning und das Zeitpanning , das funktioniert halt wirklich genau für einen einzigen Platz im Schallfeld. Also wenn einer seine Abmischung macht, beispielsweise vorm Computer, dann sitzt er genau ideal in diesem Punkt, dann passt das auch. Dann kann der auch Phantomquellen, also Quellen dazwischen, irgendwo positionieren. Die sind halt für ihn auf diesem Platz zu hören, aber sobald er ein bisschen den Kopf wegdreht, dann sind die sofort wieder an einer anderen Stelle. Könnte man auch aus einem 5.1 Mix Daten für WFS rausrechnen? Beispielsweise die Phantomquelle ist sehr mittig zwischen Rechts und Surround Rechts. Kann man das Rausrechnen und für das WFS-System genau an diese Stelle positionieren, die virtuelle Quelle. Funktioniert das? Ja, das wäre denkbar. Man müsste die Signale links und rechts von der Intensität vergleichen und daraus dann die Position generieren, aber es ist immer nur in der Dimension zwischen links und rechts. Es fehlt komplett die Tiefe. Und das will man ja bei der Gestaltung auch immer, man will ja eigentlich eine Räumlichkeit haben, und Räumlichkeit ist nicht im Unterschied zwischen links und rechts. Das ist halt eine komplett losgelöste Quelle, die ich vor und zurück, links, rechts, nach oben und unten schiebe. Es gibt auch A. Interview mit René Rodigast zum IOSONO System 51 Algorithmen, wo man sozusagen, von 5.1 auf IOSONO skalieren kann. Aber eigentlich der klassische Ansatz im Studio bei der Produktion müsste eigentlich der sein, das man diese Szene, wenn man die in 5.1 hat, dann noch mal neu abmischt mit diesen ganzen einzelnen Objekten oder man macht sie als reduzierte Variante. Wir hatten beispielsweise auch einen Mix von „Terminator“, es gab ein Videospiel zu Terminator 4 oder so, das haben uns die Leute aus Hollywood gegeben und die haben dann sogenannte Stamps, also runtergemixte Pakete, gehabt. Das funktioniert auch noch, also die nehmen ja viele hunderte von Spuren auf und machen dann Submixes davon. Und mit diesen Submixes kann man in IOSONO auch was anfangen. Man braucht vielleicht nicht komplett alle einzelnen Spuren, aber idealerweise mischt man das in IOSONO und dann kann man auf jeden Fall immer noch 5.1 oder was auch immer daraus machen. Das geht viel einfacher als anders herum. Gibt es da Panning Software, die sie uns zeigen könnten, oder was wird da konkret fürs Mixen verwendet? Das allerneuste, bzw. das, was eigentlich Standard ist, ist ein Plugin für Nuendo. Wir haben mit Steinberg zusammengearbeitet und es gibt ein Plugin. Das ruft man in seiner ganz normalen Audioworkstation auf und man hat zu den üblichen Mixing Tools noch das Positionsfenster mit all seinen Möglichkeiten Eigenschaften einzustellen, Bewegungspfade zu speichern, editieren. Das ist das Werkzeug, das auch die Filmleute benutzen. Das ist auch mit ihnen zusammen entstanden. Sie haben gesagt, was sie brauchen für eine Soundmischung, beispielsweise für Film, und daraus ist dieses Tool entstanden. Das heißt, wenn man IOSONO verwenden möchte, kauft man sich oder hat Nuendo und kauft sich dieses Plugin und hat eigentlich schon das Produktionsumfeld, das man braucht. Vorher gab es eine spezielle Software, die verwenden wir hier immer noch, funktioniert genauso, aber es ist eben nicht mit diesem professionellen Anspruch wie bei dieser Steinberg Software. Alex: Hat das Plugin einen besonderen Namen? Ich würde mir nämlich gerne einen Screenshot davon suchen. Ich weiß nicht, ob man das im Internet findet. Ich weiß gar nicht, wie es heißt, müssen wir dann mal schauen. Alex: Irgendein Bild wäre toll. Gibt es auch Gedanken in die Richtung, das man in Richtung Logic geht? Denn das ist auch sehr verbreitet im Audiobereich. Das könnte das Ganze noch ein bisschen Pushen, wenn es als Software verfügbar wäre. Das ist der IOSONO GmbH Teil, weil das sind Dinge, die am Markt passieren, die ein bisschen Abseits der Forschung sind. Ich weiß dass es Gespräche mit ProTools gab, aber das hat leider nicht funktioniert. Da muss man A. Interview mit René Rodigast zum IOSONO System 52 ja wirklich an Sourcecode und in die Tiefen des Systems und das war etwas schwierig. Mit Steinberg ging das eigentlich einfacher. Es hat auch den Vorteil, dass Steinberg eine deutsche Software ist. Die Kommunikation ist dadurch auch einfacher. Amerikanische Strukturen sind manchmal auch etwas komplexer. Das war einfach damals eine Formalentscheidung. Man wollte ein Professionelles System, und Nuendo ist das ja, und da gibt es eigentlich auch wirklich wenig negative Stimmen, die dann sagen, mit dem Arbeiten wir nicht. Am Ende ist es ja alles dasselbe, wenn man mit so einem Werkzeug arbeitet. ProTools ist natürlich verbreitet, wäre auch unser Wunsch gewesen, aber das ging damals nicht. IOSONO ist rein Wellenfeldsynthese? Es gibt ja auch die OPSI Systeme. Ist IOSONO so ein System oder rein WFS? IOSONO ist nur WFS. OPSI ist ein System von einem Kollegen, der auch bei CARROUSO dabei war. Die haben auch alle ihre Erkenntnisse mit raus genommen und danach ist das OPSI entstanden. Da gibt es mehrere solcher Ableger, die dann Wissen aus diesem Projekt mitgenommen haben. Alex: Es ist mir oft untergekommen, auch auf seiner Homepage gibt es viel Literatur. Es gibt noch eine interessante Seite von einem ehemaligen Kollegen von mir, der ist ein wenig der Bastler, der schreibt auch über WFS. Ist interessant wenn man da mal reinschaut. Der ist Abseits von Forschung, ein Einzelkämpfer, der sich dafür interessiert. Er hat auch Patente angemeldet in der Ecke. Ich weiß gerade nicht mehr, wie die Seite heißt. Alex: Ich glaube, die kenne ich. Heißt die „Synthetic Wave“, ist das die? Ja, Synthetic Wave kann stimmen, ich glaube das ist sie. Er ist Techniker bei einem Radiosender und ich habe früher mit ihm zusammen gearbeitet. Er war immer Erfinder und Freigeist in Bezug auf WFS und räumliche Sachen. Es ist interessant, was man da so findet auf seiner Seite. Fraunhofer publiziert eher nur in Papers, die besten Informationen bekommt man aus AES Papers. Da gibt es Standardpapers, wo WFS erklärt ist, das findet man in der AES Welt am besten. Das ist unser Standardportal, wo wir auch veröffentlichen. Wenn man auf Wikipedia sucht, findet man viele Links zu Helmut, Synthetic Wave. Es ist auf jeden Fall interessant, kann man auch gut verwenden. Der freut sich auch, wenn er ein Mail bekommt, er wird in einer Arbeit zitiert, kann man ruhig mal machen. Wie werden die Daten dann gerendert? Wird das in Echtzeit rausgerendert? Ja, das passiert komplett in Echtzeit. Echtzeit im Sinne von Systemdurchlaufzeit. In Bregenz ist es wirklich so eine Art Echtzeit, das braucht man ja, A. Interview mit René Rodigast zum IOSONO System 53 weil man lange Laufzeiten in der Luft hat, sehr kurze Zeiten, wo das System reagieren kann, und da wird WFS komplett auf DSP’s gerechnet. Die sind halt dann nicht wie PC’s, die schauen immer wieder mal ob eine Mail gekommen ist oder ein Drucker installiert wurde. Es dauert immer noch ein klein wenig länger mit PC’s. Wenn man das in super schneller Echtzeit, da sind es 5 ms, dann ist man eigentlich auf DSP Basis unterwegs, bzw. mittlerweile sind die Prozessoren auch so schnell geworden, das man da auch mit sehr wenigen Millisekunden Latenz komplett WFS rechnen kann. Man muss auch sagen, das es davon abhängig ist, was ich verwende, wie viele Lautsprecher und wie viele Quellen, weil eigentlich ja jede Quelle auf jeden Lautsprecher gerechnet wird. Das sind bei 800 Lautsprechern und 20 Quellen 20 ∗ 800 Rechenoperationen. Echtzeit ist relativ, aber ich brauche das bei einem Film oder so nicht, das brauche ich nur Live, da muss einfach das Bild und der Ton synchron sein. Bei Film kann ich Bild und Ton aufeinander anpassen und dann ist es egal, ob das eine halbe Sekunde später rauskommt. Nur bei Live, wenn ich ins Mikrofon spreche, dann muss es aus dem Lautsprecher rauskommen. Was wird da für Software verwendet? Eine Eigene. Es sind Fraunhofer Algorithmen, die wir seit Anfang der WFSAktivitäten immer weiter entwickelt haben. Die werden dafür verwendet und immer weiter verbessert. Daher auch die Lizenzierung an IOSONO GmbH, die verwenden unsere Software dazu. Wobei dieses Interface, was macht man mit den Quellen, wie beeinflusst man die, das ist die Basis an der immer noch gearbeitet wird. Also gerade für Nuendo baut man da eine neue GUI. Wird beim rendern komprimiert? Ich habe gelesen, es wird mit MPEG-4 ausgegeben. Es wird mit komplett hochaufgelösten Audio Material gearbeitet. MPEG4 ist richtig, aber MPEG4 ist ja kein Kompressionsformat, sondern das objektorientierte Datenformat. Das heißt, wir komprimieren nicht Audio, sondern sparen Speicherplatz über dieses objektorientierte Format. Wenn zum Beispiel ein Vogel schreit, und das passiert nur einmal in einem eineinhalb Stunden Film. Der Vogel schreit nur einmal für 2 Sekunden. Dann brauche ich auch nur diesen einen Schnipsel Vogelschrei abzuspeichern, mit seinen Metadaten, wo er singt und so. Im normalen Tonstudioalltag würde man für diesen einen Vogel eine komplette Spur reservieren müssen. Hier haben wir einfach nur einen Schnipsel Audio Material von 2 Sekunden und ein paar Metadaten abzuspeichern. Das braucht eben kaum Speicher, sonst würde man die ganzen eineinhalb Stunden eine Tonspur haben. Da versucht man auch mit diesem objektorientierten Format an die Standards zu kommen, also dieses MPEG Format zu standardisieren und entsprechend im Kinobereich A. Interview mit René Rodigast zum IOSONO System 54 durchzusetzen. Welche Limitation bei der Anzahl der Soundquellen gibt es? Ich habe in einem Paper etwas gelesen von maximal 20 Soundquellen. Ist das noch aktuell? Es gibt im Prinzip so eine Art selbst auferlegte Grenze, und zwar liegt diese bei 32 gleichzeitig bewegten Quellen. Das ist aber auch so eine Geschichte, die sich aus der Psychoakustik begründet. Der Mensch kann, ich weiß jetzt die Zahl nicht genau, nur eine bestimmte Anzahl von (bewegten) Objekten orten. Ich glaube die Zahl war noch weit darunter, 12 oder so was. Also mehr als 12 Quellen, die sich gleichzeitig bewegen, kann der Mensch nicht mehr unterscheiden. Daher hat man sozusagen eine Grenze eingeführt, einfach um das System nicht mehr zu belasten als man es eigentlich muss, und die liegt glaube ich bei 32. Die können sich gleichzeitig bewegen. Das hat nichts mit einer Grenze des Systems zu tun, sondern das ist einfach so eine Art Vernunftregel, um nicht mehr zu rechnen als man braucht. Man muss ja da auch immer die Prozessoren optimieren und Speicherplatz und Durchlaufzeit, und dafür gibt es eben diese Grenze. Wenn man mehr als 32 Quellen bewegen will, muss man eben ein paar zu einer Gruppe zusammenfassen, das kann man schon machen. Man kann auch 32 Gruppen mit je 8 Quellen gleichzeitig bewegen. Man muss ja auch immer eine Grenze festlegen, damit das System auch weiß, bis wohin es denn überhaupt kann. Also man möchte das System ja auch nicht überlasten. Es gibt ja auch so Audio Prozessoren, Yamaha DP und was es da so gibt, die habe einen kleinen Balken, der irgendwie sagt „DSP ist gleich voll bei 98 %“ und da weiß man, man muss aufhören zu programmieren. Das kann man da schlecht einbauen, irgendwie so eine Grenze, „hör jetzt auf Quellen rein zu schieben“. Wie sieht die optimale Aufnahme für WFS aus? Also die Aufnahme sollte logischerweise so gut getrennt, wie es nur irgendwie geht passieren, also diskrete Quellen. Wenn man es irgendwie schafft alle Quellen isoliert von einander aufzunehmen, dann ist das die beste Voraussetzung. In der Praxis geht das natürlich auch oft nicht, aber bei der Mikrofonierung muss man sich eben auch im Klaren sein, dass man noch etwas von den benachbarten Geräuschen dabei hat. Wenn man zum Beispiel ein Orchester mikrofonieren würde, und es würde von Nachbarinstrument noch etwas auf das Mikrofon mit eingespielt, macht das auch nichts, wenn man das dann ungefähr so platziert, wie die dort auf der Bühne gesessen sind. Aber wenn man jetzt erste und zweite Geige hat, und die zweite spielt bei der ersten mit hinein und möchte dann bei der Mischung die erste Geige auf die rechte Seite sitzen ist das logischerweise Unsinn. Alex: Aber das würde man ja auch nicht machen. A. Interview mit René Rodigast zum IOSONO System 55 Nein, macht man nicht. Aber es gibt künstlerische Freiheit, wie gesagt in Bregenz fliegt eine Klarinette durch den Zuschauerraum, das ist zwar auch nicht der Normalfall, aber wenn der Künstler das so will, dann macht er das. Also man muss einfach bei der Mikrofonierung aufpassen. Mit Raumreflexionen, Raumakustik kann man sich dann entscheiden, wie man das macht. Es gibt gerade in Bezug auf Raumakustik die Technik, dass man den Raum mit einem Mirkofonarray aufnimmt. Wir arbeiten zum Beispiel mit einem Kreisarray das sich im Prinzip im Raum vortastest. Möglich wäre auch ein Kreuzarray. Wenn man jetzt so eine Szene aufbaut, hat man beispielsweise die Bühne, da sind all die aufgenommenen Punktquellen, die stellt man als Einzelquelle dar. Den Raum hat man beispielsweise mit 4 Raummikrofonen aufgenommen und gibt diese als Ebene Wellen aus. Da sagt die Theorie, man braucht 8 ebene Wellen um den Raum komplex darzustellen. Diese ebenen Wellen sind alles Einzelaufnahmen aus dem Konzertsaal. Seid ihr dabei einen neuen Recording Standard zu etablieren? Man braucht ja keinen neuen Standard, da man wie gewohnt aufnehmen kann. Der einzige Unterschied den man macht, und das passiert genau in diesem Plugin, man sagt, diese Spur, zB Spur 35, ist jetzt Audio Objekt 35. Das macht die Software dann automatisch. Und dann legt man einfach fest, wie seine Spur agieren soll. Also sie soll sich von hier nach da bewegen, zu einer bestimmten Zeit, soll so und so laut sein. Man kann es sich so vorstellen, es kommt jemand mit seinen ganzen Spuren und bearbeitet das ganze mit Nuendo. Beim Abspeichern seiner Audioszene werden die Spuren mit Objektdaten versehen. Da kann man eigentlich arbeiten wie man es gewohnt ist, mit seinen Einzelspuren, aber es werden eigentlich schon Objekte generiert. Welche Zukunftstendenzen sehen Sie? Wird sich IOSONO bzw. die Wellenfeldsynthese durchsetzen? Ich denke schon, dass sich das durchsetzen wird, so oder so ähnlich. Die eine Sache sind natürlich die Kosten. Also wir sprechen schon vom Sound System der Zukunft, weil alle bisherigen Systeme eine Reihe an Nachteilen haben, die den Anforderungen, die jetzt aus den digitalen Medien entstehen, nicht gerecht werden. Dieser räumliche Sound wird auch immer präsenter, auch die ganze Sweet Spot Geschichte. Das sind Sachen, die man lösen kann. Wie man da hinkommt ist eine andere Frage. Wie macht man die Systeme billiger, wie macht man sie einfacher, wie kann man bestimmte Nachteile ausgleichen. Vielleicht muss man auch noch an Räumen etwas tun. Das wird sich zeigen. Also die Entwicklung bei Wellenfeldsynthese geht sicherlich erstmal in Richtung Kino A. Interview mit René Rodigast zum IOSONO System 56 Produktion. Aber es gibt immer mehr Versuche um genügend Leistung genügend unsichtbar zu machen und die Rechenprozesse weiter zu optimieren. Mit dem heutigen PC System kann man ja eigentlich schon sehr viel machen. Unsere Systeme, das sind ganz normale Server, da steckt eine MADI Karte drinnen, das heißt so ein PC kann 64 Kanäle rechnen. Für das Kino hier in Ilmenau haben wir 192 Kanäle, das heißt man bräuchte weitere Kisten. Aber das braucht auch nicht so viel Platz. Also da ist man auch schon sehr weit, was Platzbedarf und Aufwand betrifft. Es ist auch zu überlegen, ob man das Signal vielleicht nicht auch einmal über Funk zu den Panels sendet. Die ganzen aktiven Komponenten können noch optimiert werden, dass die keine Wärme abgeben und so. In diesem Bereich gibt es bestimmt noch einiges an Potenzial. Aber das wichtige ist sicherlich, das Ganze unsichtbar zu machen, leicht einbaubar und billig. Klar, auf dieser Seite ist sicherlich noch einiges zu tun, da gibt es schon noch einige Baustellen. Aber ich denke schon, dass sich das durchsetzen wird, auch für, naja, für die meisten Bereiche. Bei Beschallung wird es vielleicht jetzt schwieriger sein große Kunden zu bekommen. Da braucht man eigentlich keine Wellenfeldsynthese so richtig, bzw. es gibt auch Nachteile der geschlossenen Arrays. Die kann man schlecht hinter den Leuten mit den Mikrofonen positionieren, oder davor, das darf die Zuschauer nicht stören. Also das hat natürlich auch gewisse Herausforderungen so geschlossene Arrays zu verwenden. Aber unsere Erfahrungen zeigen, dass sich das lösen lässt. In Bregenz gibt es ja das größte IOSONO. Also ich denke schon, dass sich das durchsetzen wird. David: Wie viel kostet zum Beispiel so ein Kino System? Also wie das in Ilmenau? Also ein Kino System, da hat man damals gesagt, das kostet so ca. 20 000 Euro, also ein Faktor 3 zum 5.1 System. Das war der Stand 2003. Was das jetzt kostet, weiß ich ehrlich gesagt gar nicht. Aber das wird nicht unendliche Dimensionen erreichen können, denn das muss ja auch jemand kaufen.