Thesis-Download - Hochschule Furtwangen

Transcrição

"LeapMotion als Musikinstrument"
Möglichkeiten der Nutzung eines Handund Fingerbewegungssensors für die
softwarebasierte Klangerzeugung. Eine
Untersuchung relevanter Faktoren
anhand eines Prototyps.
BACHELOR -T HESIS
im Studiengang Medieninformatik
an der Hochschule Furtwangen.
28.02.2014
Name:
Matrikelnummer:
Bearbeitungszeitraum:
Erstbetreuer an der Hochschule:
Zweitbetreuer an der Hochschule:
Tobias C. S. Schäuble
236377
Wintersemester 2013/2014
Prof. Wilhelm Walter
Prof. Dr. Bruno Friedmann
Kurzbeschreibung
I
Kurzbeschreibung
Heutzutage wird das Spielen, die Erzeugung und das Bearbeiten von Musik und akustischen Signalen häufig mittels Digitaltechnik durchgeführt. Auch zukünftig kann ein
Trend zur Digitaltechnik beobachtet werden. Diese Thesis gibt einen Überblick alternativer Audio-Eingabegeräte und erläutert die Implementierung eines MaxMSP1 Objektes
zur Nutzung des Bewegungssensors LeapMotion2 in MaxMSP. Die LeapMotion ist ein
neuartiger Sensor, der Bewegungen der Hände im dreidimensionalen Raum erfasst und
es ermöglicht, Digitaltechnik vereinfacht zu steuern. Ob und in welchem Rahmen diese
neue Steuerungsmöglichkeit für ein elektronisches Musikinstrument genutzt werden
kann, ist die wesentliche Frage, die diese Arbeit beantwortet. Um die neuen Möglichkeiten präzise zu untersuchen, wird ein Prototyp eingesetzt. Die Untersuchungen des
Prototyps werden evaluiert und abschließend kritisch gewürdigt. Abschließend wird auf
zukünftige Entwicklungen im Bereich der Steuerungsmöglichkeiten für elektronische
Musikinstrumente eingegangen.
1
„Max gives you all the tools to create your own music, sound, video, and interactive media applications.
You can arrange boxes on a canvas and connect them together to create, experiment, and play.”[cyca]
2
„The Leap Motion Controller senses how you move your hands, the way you move them naturally. So
you can point, wave, reach, and grab. Even pick something up and put it down.”[Lea]
II
Kurzbeschreibung
Abstract
III
Abstract
Nowadays, playing, producing and editing music and acoustic signals is done by using
digital technology. Also in the future a trend to digital technology can be observed.
This thesis gives an overview of alternative audio input devices and illustrates the
implementation of a MaxMSP3 object for the use of the motion sensor LeapMotion4
in MaxMSP. The LeapMotion detects movements of the hand in three-dimensional
space and therefore facilitates control of digital technology. If and how this controlling
possibility can be used for an electronic musical instrument is the essential question
of this work. To analyse the possibilities accurately a prototype is used for the studies.
The analyses of the prototype will be evaluated and finally critically acclaimed. In
the end future developments in the field of control possibilities for electronic musical
instruments are addressed.
3
„Max gives you all the tools to create your own music, sound, video, and interactive media applications.
You can arrange boxes on a canvas and connect them together to create, experiment, and play”[cyca]
4
„The Leap Motion Controller senses how you move your hands, the way you move them naturally. So
you can point, wave, reach, and grab. Even pick something up and put it down.”[Lea]
IV
Abstract
Inhaltsverzeichnis
V
Inhaltsverzeichnis
Kurzbeschreibung
Abstract
I
III
1
Einleitung
1
2
Grundlagen
5
2.1
Klang und Schallerzeugung . . . . . . . . . . . . . . . . . . . . . . .
5
2.1.1
Analoge Instrumente und Musik . . . . . . . . . . . . . . . .
7
2.1.2
Softwarebasierte Instrumente und Musik . . . . . . . . . . .
8
2.2
Bewegungssensoren . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
2.3
Bedienungsmöglichkeiten softwarebasierter Klangerzeugung . . . . .
12
3
4
Prototyp
17
3.1
MaxMSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.2
LeapMotion und MaxMSP . . . . . . . . . . . . . . . . . . . . . . .
19
3.3
Exemplarisches Musikinstrument . . . . . . . . . . . . . . . . . . . .
24
3.4
Ergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
Kriterien und Evaluation
4.1
31
4.0.1
Musikinstrument . . . . . . . . . . . . . . . . . . . . . . . .
31
4.0.2
Kriterienkatalog . . . . . . . . . . . . . . . . . . . . . . . .
33
Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
VI
Inhaltsverzeichnis
5
Interpretation der Ergebnisse und Schlussfolgerungen
43
6
Online-Dokumentation
47
6.1
Onepager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
6.2
Git Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
7
Zusammenfassung und Ausblick
51
7.1
Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
7.2
Kritische Würdigung des Prototyps . . . . . . . . . . . . . . . . . . .
52
7.3
Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
52
Anhang A Visueller Programmcode des exemplarischen Musikinstruments 53
Anhang B Interview mit David Stützel
61
Literaturverzeichnis
63
Abbildungsverzeichnis
67
Eidesstattliche Erklärung
71
Anhang C CD-Rom
73
1. Einleitung
1
1 Einleitung
Musizieren beschreibt eine Interaktion zwischen Mensch und Musikinstrument. Digitale Technologien ermöglichen es, diese natürliche und jahrtausendealte5 Interaktion
nun auf Interaktionen zwischen Mensch und Computer (in der Funktion des Musikinstruments) auszuweiten. Dass eine physisch kontaktlose Mensch-MusikinstrumentInteraktion möglich ist, bewies Leon Theremin erstmals mit seinem 1919 erfundenen,
nach ihm benannten, rein elektronischen Musikinstrument6 . Neuartige elektronische
Bewegungssensoren (wie z.B. die LeapMotion) bieten nun erweiterte Möglichkeiten
und Perspektiven für das Musizieren. Eine Mensch-Musikinstrument-Interaktion mittels
softwarebasierter Klangerzeugung in Kombination mit elektronischen Bewegungssensoren zu realisieren, würde der Welt elektronischer Musikinstrumente neue Chancen
und variable Nutzungsmöglichkeiten eröffnen.
Ziel dieser Arbeit ist es daher, einen Prototypen eines kontaktlosen Musikinstruments
mit Hilfe des Bewegungssensors LeapMotion zu entwerfen, zu entwickeln und zu
evaluieren. Hierfür müssen folgende Fragen vorweg beantwortet werden:
Ist die Realisierung eines funktionsfähigen Prototyps bzw. eines exemplarischen Musikinstruments generell möglich?
Ist der LeapMotion Sensor als Musikinstrument nutzbar?
Wie kann ein solcher Prototyp evaluiert werden?
5
6
vgl. [AHK+ 98]
vgl. [Dvo08] Seite 269
2
1. Einleitung
Um dieses Ziel zu erreichen, werden zu Beginn in Kapitel 2 grundlegende Fragen beantwortet und definiert. Anschließend werden auf die neuen Aspekte der Entkoppelung
der Spielbewegung von Art und Qualität des daraus resultierenden Klangs durch die
Entwicklung elektronischer Musikinstrumente eingegangen. Nachdem die analoge und
softwarebasierte Klang- und Schallerzeugung erläutert wurde, wird auf das Thema der
Bewegungssensorik und der damit einhergehenden Bedienungsmöglichkeiten eingegangen.
Anschließend wird in Kapitel 3 die Form des Prototyps definiert sowie dessen genaue
Entwicklung und Programmierung dargestellt.
Das für die Evaluierung nötige Verfahren basiert auf einem Kriterienkatalog, der einzelne Kriterien der Eigenschaften eines Musikinstruments enthält. Dies wird in Kapitel 4
erarbeitet und erläutert. Anhand des Evaluierungssverfahrens kann anschließend der
entwickelte Prototyp evaluiert werden (siehe Kapitel 4.0.2).
In Kapitel 6 wird das Erstellen der (open-source) Online-Dokumentation geschildert.
Abschließend wird in Kapitel 7 die Arbeit zusammengefasst, eine kritische Würdigung
durchgeführt und ein Ausblick auf Möglichkeiten der Weiterentwicklung und weiterführenden Nutzung des Prototyps gegeben.
1. Einleitung
3
Abbildung 1.1 veranschaulicht das Vorgehen dieser Arbeit, die Zusammenhänge der
Elemente der Untersuchung und somit die Struktur bzw. den Ablauf der Arbeit.
Antwort auf
Konzeption
Fragestellung
Programmierung
Exemplarisches
Musikinstrument
Kapitel 3
Nachweis
Interpretation der Ergebnisse
und Schlussfolgerungen Kapitel 5
Darstellung
Klang und Schallerzeugung
Kapitel 2
Kriterien und Valedierung Kapitel 4
OnlineDokumentation
Kapitel 7
Zusammenfassung und
Ausblick Kapitel 6
Abbildung 1.1: Veranschaulichung der Struktur dieser Arbeit
2. Grundlagen
5
2 Grundlagen
In diesem Kapitel werden grundlegende Fragen rund um diese Arbeit behandelt. Kapitel 2.1 „Klang und Schallerzeugung” und 2.1.1 „Analoge Instrumente und Musik”
behandeln verhältnismäßig alte und grundlegende Themen. Kapitel 2.1.2 „Klang und
Schallerzeugung” transponiert Kapitel 2.1.1 in die Neuzeit und zeigt neue Möglichkeiten und Grundwissen softwarebasierter Musikinstrumente. Der in dieser Arbeit für
den Prototyp verwendete Eingabesensor LeapMotion und alternative/konkurrierende
Bewegungssensoren werden in Kapitel 2.2 vorgestellt und erläutert. In Kapitel 2.3 wird
anschließend eine Brücke zwischen den beiden vorliegenden Kapiteln hergestellt und
beispielhafte alternative Bedienungsmöglichkeiten der softwarebasierten Klangerzeugung aufgezeigt.
2.1 Klang und Schallerzeugung
Die folgende Betrachtung umfasst lediglich eine einführende Zusammenfassung der
wichtigsten, für diese Arbeit erforderlichen, Aspekte. Andere Aspekte, wie etwa die
gesamte Technik der digitalen Aufnahme, Speicherung und Wiedergabe von Klang und
Schall oder die vielfältige Geschichte elektronischer Klangerzeuger werden ausgeklammert. In vielen wissenschaftlichen Arbeiten geht es um das Thema der Klangerzeugung.
Diese sind inhaltlich oft sehr ähnlich; lediglich die Art der Betrachtungsweise differiert. So beschreibt beispielsweise Hans Jörg, Friedrich die wichtigsten physischen
Eigenschaften von Schall folgendermaßen:
6
2. Grundlagen
1. Der Schalldruck: beschreibt den auf „unser Gehör” reagierenden
„Luftdruckunterschied”[HJ08](S 11).
2. Der Schalldruckpegel: „ein logarithmisches Verhältnismaß(...), um Schalldruckdifferenzen auszudrücken”[HJ08](S. 11)
3. Die Schallleistung: „die Menge an Schallenergie, die pro Zeiteinheit abgestrahlt
wird.”[HJ08](S. 12)
4. Der Schallleistungspegel: „ein logarithmisches Maß zur Beurteilung von Schallleistungen im Verhältnis zur Referenz (...). Seine Einheit ist das Dezibel.”[HJ08](S.
12)
5. Das Spektrum: „Die Zusammensetzung der Frequenzen ist das Spektrum” [HJ08](S.
12)
Schall und Klang in der Wahrnehmung des Menschen:
1. Das menschliche Gehör mit seinen Bestandteilen: „Das Äußere Ohr”, „Das Mittelohr”, „Das Innenohr”[HJ08](S. 30-31)
2. Die Psychoakustik:
a) Das Hörfeld: „Das Hörfeld begrenzt den Lautstärke- und Frequenzbereich,
der vom Ohr verarbeitet werden kann.”[HJ08](S. 32)
b) Das Lautstärkeempfinden ist abhängig von: „Schalldruck und Schalldruckpegel”, „Kurven gleicher Lautstärke”, „Bewertungskurven” und
„Lautheit”[HJ08](S. 33-35)
3. Das Tonhöhen-Hören: „Die Projektion der Frequenz auf bestimmte
Hörzellen”[HJ08](S. 35)
4. Die Kombinationstöne: „Neben den tatsachlich im Schallereignis vorhandenen
Frequenzen werden als Folge der nichtlinearen Verzerrungen im Ohr weitere Frequenzen wahrgenommen.”[HJ08](S. 39)
2. Grundlagen
7
5. Das Grundton-Hören - Residualeffekt: „der Zusammenklang zweier beliebiger aufeinanderfolgender Obertöne, die (die) Empfindung des Grundtons erzeugt”[HJ08](S.
39)
Die meisten weiteren Publikationen wie beispielsweise: „Chladni und die Entwicklung der experimentellen Akustik um 1800” von Ullmann, Dieter [Ull84] und „was
ist elektronische Musik” von Kaegi, Werner [Kae67] handeln von konkreten Fällen
wie beispielsweise „der experimentellen Akustik”[Ull84] und „Klangerzeugung durch
Synthese von Elementarsignalen”[Kae67]. Oder sie handeln mehr oder weniger von
den oben aufgezeigten physikalischen und psychischen Gegebenheiten, wie sie beispielsweise Rolf Bader in seinem Werk „Nonlinearities and Synchronization in Musical
Acoustics and Music Psychology”[Bad13] ebenfalls aufführt.
2.1.1 Analoge Instrumente und Musik
Ein Instrument ist ein „meist fein gearbeitetes, oft kompliziert gebautes Gerät, Werkzeug
für wissenschaftliche, technische Arbeiten”[Duda]. In dieser Arbeit wird der Begriff
Instrument im Zusammenhang mit Musik als Kurzform von Musikinstrument genutzt.
Musik definiert sich in diesem Zusammenhang als die „Kunst, Töne in bestimmter
(geschichtlich bedingter) Gesetzmäßigkeit hinsichtlich Rhythmus, Melodie, Harmonie
zu einer Gruppe von Klängen und zu einer stilistisch eigenständigen Komposition
zu ordnen” [Dudb]. Somit ist laut Definition ein Musikinstrument ein Gerät oder
Werkzeug, welches ermöglicht, Töne in bestimmten Gesetzmäßigkeiten hinsichtlich
Rhythmus, Melodie und Harmonie einer Gruppe zuzuordnen. Da nicht nur eine Art von
Instrumenten existiert und es auch nicht nur eine Musikrichtung gibt, hat Hans Jörg,
Friedrich Musikinstrumente in vier Hauptgruppen gegliedert: „
• Blasinstrumente
• Saiteninstrumente
• Schlaginstrumente
8
2. Grundlagen
• elektronische Instrumente
”[HJ08](S.59). Somit ist zu klären, wie diese Differenzierung zustande kommt und an
welchen Kriterien ein Musikinstrument unterschieden werden kann:
1. „Der Tonumfang”[HJ08](S.60) oder auch Ambitus beschreibt den Umfang vom
höchsten bis zum tiefsten Ton, der produziert werden kann; nicht aber die Obertöne.
2. „Obertonstruktur"[HJ08](S.60) gibt das Verhältnis der verschiedenen Obertöne 7
im Zeitlichen sowie in der Stärke an.
3. „Einschwingverhalten”[HJ08](S.60) ist die Dauer, bis ein/e
konstante/r Klang/Schwingung erreicht ist. Allgemeiner das Schwingverhalten,
welches die Intensität des Grundtons und allen vorhandenen Ober- und Nebentönen8
angibt.
Diese Eigenschaften machen Instrumentengruppen, jede Instrumentenart und sogar
jedes Instrument zu einem akustischen Unikat. In der Musik werden verschiedene
Instrumentengruppen mit verschiedenen Instrumenten gleichzeitig genutzt, um ein
breites Spektrum an Tonumfang und Obertönen zu erhalten. Verbunden mit zeitlich
differierenden Intensitäten verschiedener Instrumente entsteht so ein musikalisches
Stück. Dabei sind jegliche Variationen zwischen keiner Intensität keines Instruments in
keiner Zeit und voller Intensität aller Instrumente in ganzer Zeit denkbar.
2.1.2 Softwarebasierte Instrumente und Musik
Softwarebasierte Instrumente und Musik haben im Gegensatz zu klassischen Instrumenten und klassischer Musik, wie sie im vorherigen Kapitel 2.1.1 beschrieben wurden,
den entscheidenden Unterschied, dass „historisch erstmals die Zwangsläufigkeit der
Beziehung zwischen der Spielbewegung und der Art und Qualität des daraus resultierenden Klangs”[MH10] entfällt. Somit ist nicht nur jegliche Variation der Intensität,
7
„einzelne(...) Komponenten mit den Frequenzen 2f0 , 3f0 , 4f0 , 5f0 , ... usw. nennt man die Obertöne
oder Partialtöne der Grundfrequent f0 ”[PW99](S.57)
8
Komponenten mit Frequenzen die nicht der vielfachen der Grundfrequenz f0 entsprechen
2. Grundlagen
9
der Instrumentenanzahl und der zeitlichen Varianz möglich, sondern auch die Art und
Weise der Ansteuerung und/oder Stimulation dieser variablen Faktoren. Nicht nur die
Art und Weise, wie softwarbasierte Instrumente und Musik angesteuert bzw. gespielt
werden, spielt eine Rolle, auch, wie eigentliche Klänge/Frequenzen erzeugt werden,
ist bei softwarebasierter Klangerzeug eine zu klärende Frage. Hans Jörg Friedrich hat
hier die zwei verschiedenen Arten der softwarebasierten Klangerzeugung festgestellt:
„Die elektronischen Instrumente unterscheiden sich”[HJ08] von den herkömmlichen
akustischen Instrumenten, „dass sie entweder Klänge synthetisch erzeugen oder akustische Klänge elektronisch übertragen.”[HJ08]. Daraus lässt sich erschließen, dass es
lediglich zwei verschiedene Prinzipien softwarebasierter Klangerzeugung gibt. Zum
einen das „algorithmische Berech(nen) elektroakustischer Klänge”[Tro05] (S. 207) und
zum anderen das Abspielen akustisch erzeugter Klänge/Frequenzen eines elektronischen Impulses. Hierbei spielt es keine Rolle, ob dies in Echtzeit oder verzögert abläuft.
Mischformen beider Arten softwarebasierter Klangerzeugung sind ebenfalls denkbar
und werden meist auch so verwendet.
2.2 Bewegungssensoren
Das in dieser Arbeit für den Prototyp verwendete Eingabegerät „LeapMotion” ist ein
neuartiger9 elektronischer Bewegungssensor. Diverse Fachzeitschriften wie das LinuxMagazin10 oder auch andere Internet-Magazine wie t3n.de11 berichteten schon früh
über das Startup-Unternehmen LeapMotion, Inc. mit gleichnamigem Produkt. „The
Leap Motion Controller senses how you naturally move your hands and lets you use
your computer in a whole new way. Point, wave, reach, grab. Pick something up and
move it”[Lea] beschreibt das Unternehmen sein Produkt. Das lediglich 3"(7,62cm) x
1"(2,54cm) x 0,5"(1,27cm)12 große Gerät wird per USB-Anschluss an den jeweiligen
9
Mai 2012 angekündigt[neu]; „Leap Motion (...) In Preparation For Its July 22 Launch”[tec]
vgl. [mag]
11
vgl. [t3n]
12
vgl. [Lea] siehe Abbildung 2.1
10
10
2. Grundlagen
Computer angeschlossen.
Abbildung 2.1: LeapMotiongerät inklusive USB-Verbindungskabel
[ars]
Ob es sich dabei um einen mit OSX oder Windows betriebenen Computer handelt, spielt
im Wesentlichen keine Rolle. Nach Anschluss des Sensors erfassen zwei eingebaute
zweidimensionale Infrarotkameras innerhalb des LeapMotion Controllers den Raum
über dem Controller. Um eine ideale Erfassung der Objekte in diesem Raum zu ermöglichen, wird dieser von drei Infrarot-LED’s, die ebenfalls im Gehäuse der LeapMotion
verbaut sind, ausgeleuchtet. Im Idealfall, vorausgesetzt die Lichtverhältnisse sind optimal und ein leistungsstarker Computer zur Verarbeitung der Daten ist vorhanden, kann
die Leap Objekte über ihr bis zu 200 Mal pro Sekunde13 in einer Genauigkeit von bis
zu 1/100. Millimeter14 erfassen. Der Interaktionsraum, in dem Bewegungen zuverlässig
erfasst werden können, beschränkt sich dabei auf 150 Grad15 und einer maximalen Höhe
von 25cm.16 Neben den Konkurrenzprodukten Nintendo Wii (siehe: 2.2 (a)), Playstation
Move (siehe: 2.2 (b)) und Microsoft Kinect (siehe: 2.2 (c)) bestzet die LeapMotion den
noch freien Markt der Computersensoren.
13
The Leap Motion Controller can track your movements at a rate of over 200 frames per second [Lea]
The Leap Motion Controller tracks all 10 fingers up to 1/100th of a millimeter [Lea]
15
It’s a super-wide 150◦ field of view [Lea]
16
vgl. LeapMotion Software -> Leap Motion-Bedienfeld -> Interaktionshöhe
14
2. Grundlagen
(a) Nintendo Wii [chi]
11
(b) Playstation Move [the]
(c) Microsoft Kinect [wor]
Abbildung 2.2: Direkte Konkurrenzprodukte zur LeapMotion
Alle drei Produkte in Abbildung 2.2 gleichen den bildverarbeitenden Systemen der
LeapMotion. Dies bedeutet, alle besitzen eine oder mehrere Kameras, deren Bildmaterial
in Echtzeit zur Bestimmung der Koordinaten im Raum genutzt werden. Die Interaktion
des Nintendo Wii (siehe: Abbildung 2.2 (a)) funktioniert mittels Controller, der in der
Hand gehalten wird. Die mit diesem Controller ausgeführten Bewegungen werden über
Kameras innerhalb des Controllers erkannt. Somit können die zur Eingabe genutzten
Koordinaten über Infrarot-LED’s am Bildschirm ermittelt werden. Ähnlich funktioniert
das System der Playstation Move (siehe: Abbildung 2.2 (b)). Allerdings befinden sich
hier die Kameras in Monitornähe und der Controller bildet den Referenzpunkt. Ähnlich
der LeapMotion ist die Microsoft Kinect (siehe: Abbildung 2.2 (c)). Hier erkennen
ebenfalls zweidimensionale Kameras die Bewegung des menschlichen Körpers im
Raum und interpretieren daraus die Koordinaten. All diese Konkurrenzprodukte wurden
konzipiert, um Spiele für die jeweiligen Spielkonsolen zu steuern. Sie haben alle einen
ähnlich großen Interaktionsraum. Anders als bei der LeapMotion ist eine Interaktion
bei diesen drei Produkten mit dem gesamten Körper möglich und auch vorgesehen.
Aufgrund dieses großen Interaktionsraumes ist die Genauigkeit im Gesamten weniger
detailliert als bei der LeapMotion.
12
2. Grundlagen
2.3 Bedienungsmöglichkeiten softwarebasierter
Klangerzeugung
Softwarebasierte Klangerzeuger müssen, wie auch die artverwandten akustischen Klangerzeuger, eine Stimulation bzw. einen Anstoß erhalten, um einen Klang zu erzeugen.
Jedoch ist die Art und Weise der Klangerzeugung bei diesen beiden artverwandten Klangerzeugern völlig unterschiedlich. Bei akustischen Klangerzeugern ist dies in jedem
Fall eine rein mechanische/r Stimulation/Anstoß. Bei softwarebasierten Klangerzeugern
dagegen ist dies nicht zwingend der Fall. Eine mechanische/r Stimulation/Anstoß ist nur
indirekt möglich. Dabei muss immer der Umweg über die Digitalisierung17 erfolgen.
Dieser Unterschied ist am klassischen Beispiel eines Pianos im Vergleich zu einem
elektronischen Piano gut zu erläutern: Die/der menschliche Stimulation/Anstoß ist in
beiden Fällen identisch und äußert sich durch einen Tastendruck auf eine beliebige
Taste. Bei einem rein mechanischen Piano wird diese Energie der/des Stimulation/Anstoßes genutzt, um über komplexe mechanische Hämmer, Ärme und Dämpfer18 eine
Saite in Schwingung zu bringen. Bei einem elektronischen Piano wird die Energie
der/des Stimulation/Anstoßes genutzt, um einen elektronischen Schalter zu betätigen.
Dieser Schalter kann, je nach Komplexität und Ausführung des elektronischen Pianos,
lediglich einen Unterschied zwischen „An” und „Aus” erfassen oder aber endlich viele
Zwischenschritte erfassen. Eine Kombination aus mechanischem Ansteuern mittels
Hämmer, Ärme und Dämpfer und elektronischem Abnehmen ist bei elektronischen
Pianos üblich. Dies dient der Nachempfindung des Spielempfindens eines klassischen
Pianos und der besseren Spielbarkeit. Vollständigkeitshalber ist zu erwähnen, dass bei
softwarebasierter Klangerzeugung nicht immer ein/e mechanische/r Stimulation/Anstoß nötig ist, es können auch automatisierte Algorithmen oder Zufallsalgorithmen zur
Erzeugung digitaler Impulse verwendet werden.
Nach Digitalisierung der/des Stimulation/Anstoßes kann dieser digitale Impuls auf
17
„Mit Digitalisierung wird die Umwandlung von Informationen wie Ton, Bild oder Text in Zahlenwerte
zum Zwecke ihrer elektronischen Bearbeitung, Speicherung oder Übertragung bezeichnet.”[Sch06]
18
vgl. [Cro95]
2. Grundlagen
13
verschiedene Arten und Weisen zu einem Klang weiterverarbeitet werden. Wie in 2.1.2
Klang und Schallerzeugung bereits erläutert, gibt es typischerweise zwei Vorgehensweisen der softwarebasierten Klangerzeugung: synthetisch erzeugte oder elektronisch
übertragene akustische Klänge19 . Beide dieser Arten lassen sich mittels digitaler Impulse manipulieren. Dabei sind verschiedene Manipulationen möglich. Folgende Auflistung
zeigt die gebräuchlichsten Manipulationen:
• Starten und Stoppen der Synthese oder der elektronischen Übertragung
• Regulierung der Lautstärke bzw. des erzeugenden Amplitudenpegels
• Abspielgeschwindigkeit bei elektronisch aufgezeichneter Übertragung
• Frequenzabhängige Manipulation elektronisch aufgezeichneter Übertragung
• u. v. m.
Wie diese verschiedenen Stimulationen/Anstöße und auch Manipulationen aussehen
können, zeigt die „International Conference on New Interfaces for Musical
Expression”[nim]. Dort wurden verschiedene Arten von Bedienungsmöglichkeiten softwarebasierter Instrumente und ähnliche Anwendungen vorgestellt. Hier eine Auflistung
einiger Bedienungsmöglichkeiten ähnlich der in dieser Arbeit vorgestellten LeapMotion
als Musikinstrument:
• „3D Gesture-driven Collaborative Audio Mosaicing”[JMC] „This research presents
a 3D gestural interface”[JMC]. Das mit der Microsoft Kinect realisierte Interface
erkennt die Hände der Künstler in vier Dimensionen (x,y,z,t).20 Hier handelt es sich
um die Raumkoordinaten und die Lage im Raum (Abbildung 2.3).
19
20
vgl. [HJ08]
vgl. [JMC]
14
2. Grundlagen
Abbildung 2.3: Zwei Künstler, deren Hände erkannt und zu einem Musikstück interpretiert werden. [JMC]
• „A Musical Interface with Stereotypical Acoustic Transducers”[LY] „This paper introduces Sonicstrument, a sound-based interface that traces the user’s hand
motions”[LY]. Bei diesem Projekt wurden verschiedenste Arten von bewegungserkennenden Systemen genutzt: „optics (cameras, infrared sensors), electromagnetic
field (compass), and motion/vibration (accelerometers)”[LY].
• „A Real-time Multimedia Gestural Controller for Augmented Electric Bass
Performance”[Ram]. Der so genannte „Bass Sleeve” verwendet verschiedene Eingabekanäle: Knöpfe, Beugungssensoren, druckempfindliche Widerstände und Accelerometer (Abbildung 2.3 (a)), um in Echtzeit den Klang einer Bass-Gitarre verändern
bzw. ihm Komponenten hinzufügen zu können.21
21
vgl. [Ram]
2. Grundlagen
15
(a) Drucksensoren, Beugungssensoren (b) Software zum bedienen geschrieben in Maund deren Bedienungseinheit [Ram]
xMSP [Ram]
Abbildung 2.4: A Real-time Multimedia Gestural Controller for Augmented Electric
Bass Performance [Ram]
• „Hex Player - A Virtual Musical Controller”[AJM] „a playable musical interface
for tablets and multi-touch tables. The interface is a generalized keyboard, inspired
by the Thummer, and consists of an array of virtual buttons”[AJM]. In Abbildung
2.5 ist das Interface der in MaxMSP geschriebenen Software zu sehen.
Abbildung 2.5: In MacMSP geschriebene Software zum Bedienen [AJM]
16
2. Grundlagen
3. Prototyp
17
3 Prototyp
In diesem Kapitel wird die praktische Umsetzung eines exemplarischen Prototyps
beschrieben und die technische Umsetzbarkeit einer auf Hand- und Fingerbewegung
basierenden Steuerung bewiesen. Um diesem Ziel gerecht zu werden, werden wie
in Abbildung 3.1 grundlegend betrachtete Schritte, Abläufe und Umgebungen des
Prototyps in Zusammenhang gestellt.
18
3. Prototyp
LeapMotion
Kapitel 2.2
USB
Hardware - Computer
Software -
Betriebssystem
LeapMotion Software
MaxMSP Vektordaten bereitgestellt Kapitel 3.1
über Leap::Controller
Exemplarisches
Musikinstrument Kapitel 3.3
Max-Patch Kapitel 3.3
LeapMotion und MaxMSP
Kapitel 3.2
Xcode
C++
MaxMSP kompatible Vektordaten
Klangerzeugung
Kapitel 3.3
Frequenz
Klang
Kapitel 2.1
Legende:
Hardware
Software
Gedanken Modell
Datenfluss
Programmierumgebung
Abbildung 3.1: Veranschaulichung der Struktur des Prototyps
Der Umfang des Prototyps beschränkt sich auf ein exemplarisches Musikinstrument,
dessen Struktur in Kapitel 3.3 genauer beschrieben wird. In den folgenden Kapiteln 3.1
MaxMSP und 3.2 LeapMotion und MaxMSP wird auf die für den Prototyp verwendete
3. Prototyp
19
Software und Softwareentwicklungsumgebungen eingegangen. Die Ergebnisse des so
entstandenen exemplarischen Musikinstruments werden in Kapitel 3.4 dargestellt. Des
Weiteren gibt es zu Kapitel 3.3 in Anhang A detaillierte Abbildungen zum visuellen
Programmcode und die dazugehörigen Beschreibungen.
3.1 MaxMSP
Professor Reginald Bain beschriebt MaxMSP als als ein „powerful graphical programming environment for real-time interactive computer music composition/
performance”[Bai13] das in vielen Bereichen wie beispielsweise: „art, computer science,
mathematics, and music”[Bai13] genutzt wird. MaxMSP wird für diese Arbeit und für
den in dieser Arbeit entwickelten Prototypen genutzt, um die Daten der LeapMotion
zu interpretieren, zu konvertieren und zu Audiosignalen/Klängen weiterzuverarbeiten
(siehe 3.3).
3.2 LeapMotion und MaxMSP
Um das exemplarische Musikinstrument in MaxMSP, wie es in Kapitel 3.3 beschrieben
wird, programmieren und realisieren zu können, bedarf es an Vorarbeit. Diese besteht
im Wesentlichen darin, die von der LeapMotion ankommenden Daten in MaxMSP
zur Verfügung zu stellen. Die folgende Übersicht listet schrittweise die Bewegung
des Menschen bis zum ausgegebenen Klang hin auf; wobei der wesentliche Teil der
Datenweitergabe in Punkt 5 und 6 geschieht:
1. Die Interaktion zwischen Mensch und LeapMotion, indem die Hand, die Finger
oder ein Objekt über dem LeapMotion Controller bewegt werden.
2. Die Aufnahme der Bewegung durch LeapMotion Controller: Zwei zweidimensionale Infrarotkameras nehmen in Echtzeit die Umgebung oberhalb der Leap Motion
20
3. Prototyp
auf22 (siehe Abbildung: 3.2).
Abbildung 3.2: LeapMotion-Visualisierung der Aufnahme
[Lea]
3. Die per USB angeschlossene LeapMotion leitet stetig zwei zweidimensionale Bilder
an die von LeapMotion entwickelte Software.
4. Die LeapMotion Software verarbeitet das Bildmaterial zu dreidimensionalen Vektoren:
22
vgl. Kapitel 2.2 Bewegungssensoren
3. Prototyp
21
a) Es wird zwischen Fingern, Händen und Objekten wie Stiften oder Pinseln
unterschieden.
b) Es wird die exakte dreidimensionale Position ermittelt.
c) Zusätzlich zur Position hat die Hand einen Vektor, der die Lage angibt, in der
sie liegt. Finger und Objekte haben zusätzlich einen Richtungsvektor, in die
sie zeigen.
d) Um Störungen wie schnelles Auftauchen und Verschwinden oder Fehlinterpretationen möglichst zu verringern, verwendet die LeapMotion Software
zusätzlich Glättungs-Algorithmen. Diese sind hochkomplex und von LeapMotion unter Verschluss gehalten.
5. Die rein vektorbasierten Koordinaten stehen dem Softwareentwickler über verschiedene Zugriffskanäle zur Weiterverarbeitung bereit (siehe Abbildung 3.1 Vektordaten bereitgestellt über Leap::Controller). In dem konkreten Fall des LeaptoMax Objekts für MaxMSP wird dies über ein Leap Controller Objekt für C++
realisiert (siehe Listing 3.1)
1
(...)
2
# i n c l u d e " Leap . h "
3
(...)
4
t y p e d e f s t r u c t _LeapToMax {
5
(...)
6
Leap : : C o n t r o l l e r ∗ l e a p ;
7
}
8
(...)
9
v o i d ∗LeapToMax_new ( t_sym
10
b o l ∗ s , l o n g a r g c , t _ a t o m ∗ a r g v ) { t_LeapToMax
∗ x= NULL ;
11
x = ( t_LeapToMax ∗ ) o b j e c t _ a l l o c ( s _ L e a p T o M a x _ c l a s s ) ;
12
i f ( x ){
13
(...)
14
x−> l e a p = new Leap : : C o n t r o l l e r ;
15
}
16
(...)
17
v o i d LeapToMax_free ( t_LeapToMax ∗ x ) {
22
3. Prototyp
18
d e l e t e ( Leap : : C o n t r o l l e r ∗ ) ( x−> l e a p ) ;
19
}
20
(...)
Listing 3.1: Leap Controller Objekt [Aka]
Der gezeigte Ausschnitt aus dem Quellcode von [Aka] zeigt die Initialisierung des
Leap Controller Objekts (Zeile 4-15 Listing: 3.1) und das Löschen bei Nichtbenutzung (Zeile 17-19 Listing: 3.1). In Zeile 2 Listing 3.1 wird der für die Initialisierung
notwendige Header23 zum Dokument hinzugefügt. Somit kann auf erforderliche
LeapMotion Klassen zugegriffen werden.
6. Das in C++ geschriebene Objekt „LeaptoMax” von [Aka] und das in dieser Arbeit
auf die aktuellste API24 gebrachte Objekt gibt die von der LeapMotion zu Verfügung
gestellten Vektordaten Frame für Frame an maxMSP weiter.
1
(...)
2
v o i d LeapToMax_bang ( t_LeapToMax ∗ x )
3
{
4
c o n s t Leap : : Frame f r a m e = x−>l e a p −>f r a m e ( ) ;
5
const i n t 6 4 _ t frame_id = frame . id ( ) ;
6
7
/ / i g n o r e t h e same f r a m e
8
i f ( f r a m e _ i d == x−> f r a m e _ i d _ s a v e ) r e t u r n ;
9
x−> f r a m e _ i d _ s a v e = f r a m e _ i d ;
10
11
o u t l e t _ a n y t h i n g ( x−> o u t l e t , gensym ( " f r a m e _ s t a r t " ) , 0 ,
12
nil );
13
14
(...)
15
16
f o r ( s i z e _ t i = 0 ; i < numHands ; i ++)
17
{
23
„Um die benötigten Deklarationen und Definitionen zwischen den verschiedenen Quelltexten auszutauschen, gibt es Header-Dateien”[Wil]
24
„Classes contain a mixture of private and public methods. The public methods are those that are meant
to be used by application programmers. The set of public methods of a class library make up its
application programmer interface (API)”[DJ06] S.84
3. Prototyp
23
18
/ / Hand
19
c o n s t Leap : : Hand &hand = h a n d s [ i ] ;
20
c o n s t i n t 3 2 _ t h a n d _ i d = hand . i d ( ) ;
21
c o n s t Leap : : F i n g e r L i s t &f i n g e r s =
22
hand . f i n g e r s ( ) ;
23
const s i z e _ t numFingers = f i n g e r s . count ( ) ;
24
25
t_atom hand_data [ 3 ] ;
26
atom_setlong ( hand_data , hand_id ) ;
27
a t o m _ s e t l o n g ( h a n d _ d a t a +1 , f r a m e _ i d ) ;
28
a t o m _ s e t l o n g ( h a n d _ d a t a +2 , n u m F i n g e r s ) ;
29
o u t l e t _ a n y t h i n g ( x−> o u t l e t , gensym ( " hand " ) , 3 ,
30
hand_data ) ;
31
32
f o r ( s i z e _ t j = 0 ; j < n u m F i n g e r s ; j ++)
33
{
34
/ / Finger
35
(...)
Listing 3.2: LeaptoMax Weitergabe der Verktoren [Aka]
Der gezeigte Ausschnitt aus dem Quellcode von [Aka] zeigt die Weitergabe der
verfügbaren Daten am Beispiel der Handballen; weiters die der Finger (Zeile 32ff
Listing: 3.2), der Objekte usw.. Das Prinzip der Weitergabe bleibt unverändert; lediglich die weiterzugebenden Daten verändern sich. Dies geschieht nur dann, wenn
die Methode LeapToMax_bang (Zeile 2 Listing: 3.2) aufgerufen wird, was dann der
Fall ist, wenn bei einem Signaleingang am LeaptoMax Objekt ein Methodenaufruf
stattfindet (vgl.: [cycc] S.15 u. 16., siehe Anhang: A Abbildung A.3). In Zeile 4
und 5 Listing: 3.2 wird die Frame-ID initialisiert (siehe Anhang: A Abbildung A.2).
Zeile 7-9 verhindert die Ausgabe der Daten eines gleichen Frames. Zeile 11 und 12
geben schließlich eine Startsequenz „frame_start” mittels outlet_anything Methode
aus. In Zeile 16-30 erfolgt die Weitergabe der Daten des Leap Controller Objekts
an konstante Variablen, die in Zeile 29 ausgegeben werden.
24
3. Prototyp
7. In MaxMSP werden die ankommenden Daten nun interpretiert, konvertiert und
weiterverarbeitet. Weiteres hierzu in folgendem Kapitel 3.3
3.3 Exemplarisches Musikinstrument
Nachdem das LeaptoMax Objekt, wie in Kapitel 3.2, erzeugt ist und die Daten der
LeapMotion in MaxMSP verfügbar sind, kann ein exemplarisches Musikinstrument entworfen und programmiert werden. Das Musikinstrument muss die in 4.0.2 aufgeführten
Kriterien erfüllen, um die These dieser Arbeit belegen zu können. Das exemplarische
Musikinstrument begrenzt sich dabei auf einen Bruchteil des Umfangs der aus der Kombination von LeapMotion und MaxMSP entstehenden Möglichkeiten (siehe Kapitel
7.3 Ausblick). Um eine möglichst leichte Evaluation (siehe Kapitel 4.1) zu gewährleisten, wurde ein schon vorhandenes kontaktloses elektronisches Musikinstrument
nachgebildet: das nach seinem Erfinder benannten, 1919 erfundenen Theremin25 .
25
vgl. [Dvo08] Seite 269
3. Prototyp
25
Abbildung 3.3: Leon Theremin mit seiner Erfindung „Das Theremin”
Quelle:[med]
Das Theremin ist ein rein elektronisches und analoges Instrument. Dies bedeutet,
jegliche Signale innerhalb des Instruments sind ausschließlich analoger Natur. Gespielt
wird das Musikinstrument, indem die von der Theremin erzeugten elektromagnetischen
Felder durch beide Hände gebrochen werden. Hierfür gibt es zwei Antennen, von denen
diese elektromagnetischen Felder ausgehen. Wird nun beispielsweise eine Bewegung hin
zur Antenne des linksarmigen elektromagnetischen Feldes ausgeführt, interpretiert dies
das Theremin, indem es die Lautstärke des erzeugenden Klangs anhebt. Entfernt man
die Hand von der Antenne, wird die Lautstärke des erzeugenden Klangs abgesenkt. Die
Frequenz des erzeugenden Klangs wird mit der rechtsarmigen Antenne ebenfalls über
26
3. Prototyp
die Entfernung der Hand manipuliert. Das Klangergebnis des Theremin ist abhängig von
den jeweilen Ausführungen der Bauweisen des Musikinstruments. Variationen reichen
vom reinen Sinus hin bis zu komplex rückgekoppelten und verzerrten Klängen. Alle
konventionellen Theremine haben die Gemeinsamkeit, dass sie jeweils nur einstimmige
Klänge erzeugen. Auf der CD-Rom im Anhang C sind verschiedene Hörbeispiele
aufgeführt, die die verschiedenen Ausführungen der Theremin Bauweisen akustisch
betrachten. Ebenso sind Hörbeispiele des exemplarischen Musikinstruments dieser
Arbeit vorzufinden.
3. Prototyp
27
Abbildung 3.4 zeigt den generellen Ablauf der von der LeapMotion kommenden Daten
in MaxMSP und bildet so das Softwaredesign des exemplarischen Musikinstruments:
LeapMotion Software
Bewegungsdaten
Theremin Beispiel Instrument
Anhang A: Abbildung A.1
!
p Datenaufbereitung
Visualisierung der Handballen
Fram id, Time und Hand Anzahl
p Leap to Max
Verteilung der Einzeldaten
Implementierung des LeaptoMax Objekts aus Kapitel 3.2
p Scale Frequenz
p Scale Volume
Ermittlung der Frequenz
Ermittlung der Lautstärke
p Single
Klangerzeugung
Klangausgabe
Frequenz
Legende:
Klang
Datenfluss
Kapitel 2.1
MaxMP Umgebung
Frequenz Datenfluss
Abbildung 3.4: Genereller Ablauf der Daten in MaxMSP
Wie in Abbildung 3.3 zu sehen, werden beide Hände benötigt, um das Theremin spie-
28
3. Prototyp
len zu können. Für das in dieser Arbeit entwickelte exemplarische Musikinstrument
werden hierfür die von der LeapMotion kommenden Handballen-Datensätze verwendet. Diese Daten beinhalten die in Tabelle Anhang A Abbildung A.2 (Subpatch zur
Datenaufbereitung und Visualisierung) aufgezeigten Daten.
Um eine möglichst intuitive und einfache Steuerung des exemplarischen Musikinstruments zu ermöglichen, werden lediglich die x, y und z Koordinaten der Positionen
beider Hände verwendet. Wie beim Originalinstrument auch, steuert die rechte Hand
die Tonhöhe (Anhang A Abbildung A.4), die linke Hand steuert die Lautstärkeanpassung (Anhang A Abbildung A.5). Nachdem sowohl Tonhöhe des Klanges als auch
Lautstärke aus den Daten interpretiert und bestimmt werden, kann in Anhang A Abbildung A.6 der eigentliche Klang erzeugt und über die MaxMSP interne Klangausgabe
an das Betriebssystem zur Ausgabe weitergegeben werden. Somit ist das exemplarische Musikinstrument der Bedienung des originalen Theremins von Leon Theremin26
identisch.
3.4 Ergebnis
In diesem Kapitel wird lediglich das Ergebnis des exemplarischen Musikinstruments
präsentiert. Dessen Evaluation, Schlussfolgerung und Untersuchung wird in Kapitel 4
und Kapitel 5 geschildert. Um eine benutzerfreundliche und intuitive Bedienung des
exemplarischen Musikinstruments zu erhalten, werden im Präsentationsmodus27 von
MaxMSP alle nicht bedienbaren und während des Betriebs nicht gebrauchten Elemente
ausgeblendet. So entsteht ein übersichtliches und überschaubares Bedienungsfeld.
26
27
vgl. [med]
Ausgewählte Elemente werden angezeigt, restliche grafisch nicht benötigte Elemente werden ausgeblendet.
3. Prototyp
29
Abbildung 3.5: Exemplarisches Musikinstrument im Präsentationsmodus
Abbildung 3.5 zeigt Abbildung Anhang A Abbildung A.1 im übersichtlicheren Stil:
im „Präsentationsmodus”. Die wesentlichen Bedienungselemente des exemplarischen
Musikinstruments (siehe Abbildung 3.5) sind:
1. Eine Klaviatur als visuelles Feedback, welche die momentan gespiele Frequenz
momentan anzeigt28 .
2. Die Auswahl „Feedback” mit der Auswahlmöglichkeit der Rückkopplungszeit;
eine Klangveränderung mit rückkoppelnden Effekten. Detallierte Beschreibung in
Anhang A Abbildung A.6.
28
Frequenz-Ton-Zuordnung bezieht sich auf die übliche gleichstufige Stimmung
30
3. Prototyp
3. Die Auswahl „Steps”: bei Aktivierung wird der Klang in Halbtonschritten ausgegeben, bei Deaktivierung hat der Klang einen fließenden Übergang.
4. Eine Anzeige der Lautstärke des erzeugenden Klangs in dB.
Das akustische Ergebnis und ein Eindruck der Spielweise wird in den vorhandenen
Videos auf Anhang C unter Hörbeispiele verdeutlicht.
4. Kriterien und Evaluation
31
4 Kriterien und Evaluation
Kapitel 4 beschäftigt sich mit der reproduzierbaren Untersuchung der Gebrauchstauglichkeit des in dieser Arbeit programmierten elektronischen Musikinstruments und
dessen Komponenten. Bevor die Ergebnisse in Kapitel 5 interpretiert werden können,
müssen grundlegende begriffliche und formelle Fragen beantwortet werden. Hierzu
wird in 4.0.1 versucht, eine Definition für den in dieser Arbeit oft verwendeten Begriff
„Musikinstrument” zu finden und in Kapitel 4.0.2 ein Kriterienkatalog zur Evaluation
des in dieser Arbeit entstandenen elektronischen Musikinstruments zu definieren. Wie
beschrieben, wird anschließend in Kapitel 5 der in Kapitel 4.0.2 erarbeitete Kriterienkatalog mit dem in 3.3 beschriebenen exemplarischen Musikinstrument verglichen.
4.0.1 Musikinstrument
Das Wort Musikinstrument besteht aus den zwei Einzelwörtern Musik und Instrument. Untersucht man diese getrennt voneinander, so stellt sich die Frage der Definitionen. Die Definition von Musik ist folgendermaßen: „Kunst, Töne in bestimmter
(geschichtlich bedingter) Gesetzmäßigkeit hinsichtlich Rhythmus, Melodie, Harmonie
zu einer Gruppe von Klängen und zu einer stilistisch eigenständigen Komposition
zu ordnen; Tonkunst”[Dudb]. Die Definition von Instrument lautet: "meist fein gearbeitetes, oft kompliziert gebautes Gerät, Werkzeug für wissenschaftliche, technische
Arbeiten”[Duda]. Folglich ist ein Musikinstrument die Kunst, Töne in bestimmter
Gesetzmäßigkeit hinsichtlich Rhythmus, Melodie und Harmonie mit Hilfe eines fein
32
gearbeiteten, komplizierten Gerätes oder Werkzeugs zu einer Gruppe von Musikkompositionen zu ordnen29 . David Stützel, Dozent an der Musikhochschule Trossingen,
ging der Frage, was ein Musikinstrument ausmacht und wie es definiert ist, in einem
Interview (Anhang B) nach. Er fasst folgende Punkte zusammen30 :
1. „Ein Musikinstrument macht Musik” -> folglich muss definiert werden, was Musik
ist.
2. „Musik ist unter anderem auch eine Kunst” -> folglich muss definiert werden, was
Kunst ist.
3. Zusatz zu 1. und 2.: Der Versuch einer Definition ist „unvollständig” oder „nicht
gemeint(e)” Definitionen entstehen.
4. Ein Musikinstrument wird als Musikinstrument anerkannt, „sobald man es als
solches benutzt, eventuell auch schon, sobald man es als solches ansieht”
5. „Sobald (...) über Tonhöhen” geredet wird, werden Musikinstrumente, „die vielleicht nur eine Tonhöhe haben oder "nur” ein Geräusch” haben, ausgeschlossen ->
folglich kann anhand der Klangerzeugung keine Definition abgeleitet werden.
6. Zusatz zu 5.: Es besteht schon das Problem bei der Definition eines Musikinstruments durch „Klänge, Töne, Geräusche, also im weitesten Sinne Hörbares”.
Herangezogen wird das Beispiel: "John Cages 4’3331 ”
7. Zusatz zu 4., 5. und 6.: Eine Sache, die kein Musikinstrument ist, könnte somit ein
„Gedanke, eine Erinnerung, ein Gefühl sein” .
8. Unterscheidung zwischen:
a) „Hilfsmittel(n)”, die es ermöglichen, Instrumente zu spielen, wie beispielsweise „eine Tastatur, die das Anschlagen von Saiten, das Blasen von Orgelpfeifen”
ermöglicht.
29
vgl. [Dudb] und [Duda]
jegliche Zitate der Auflistung aus: Anhang B
31
Ein Musikstück, in dem über die gesamte Dauer von 4 Minuten und 33 Sekunden nichts zu Hören ist.
30
33
b) Das Musikinstrument selbst als Klangerzeuger.
9. Zusatz zu 8 a).: Ein solches „Hilfsmittel kann (...) (selbst) zum (Musik)Instrument
werden”
10. Bei elektronischen Musikinstrumenten gilt, dass "Tonerzeugung, der Klang” nicht
direkt mit der Art und Weise der Spieltechnik zu tun haben muss.
Aus den Definitionen für Musik (siehe [Dudb]), Instrument (siehe [Duda]) und auch
aus dem Interview mit David Stützel wird klar, dass es keine allgemein gültige Antwort
auf die Frage, was ein Musikinstrument ausmacht, gibt. Lediglich ein Rahmen der
Möglichkeiten, was als Musikinstrument genutzt werden kann (bzw. nicht genutzt
werden kann) und ein Einblick in die Philosophie (obige Auflistung Punkt 7), die in
dieser Frage steckt, kann gegeben werden.
4.0.2 Kriterienkatalog
Um eine Bewertung und Evaluation des in dieser Arbeit entwickelten Prototyps trotz
des in Kapitel 4.0.1 geschilderten Problems der Definition eines Musikinstruments
zu ermöglichen, ist in folgendem Kapitel und in Abbildung 4.1 ein Kriterienkatalog
zur Evaluation des entstandenen elektronischen Musikinstruments aufgezeigt. Hierfür
wurden sowohl technische Aspekte als auch Aspekte der Handhabung in Betracht gezogen. In Kapitel 4.1 wird dieser Kriterienkatalog anschließend anhand des erarbeiteten
Kriterienkataloges evaluiert und spezifische Eigenschaften aufgezeigt.
Folgende Abbildung (4.1) zeigt Aspekte des Kriterienkataloges und stellt primär verschiedene Zusammenhänge dar:
34
Kriterien
Vergleich zum Original
Kapitel 2.2
Interaktionsmöglicheit
Kapitel 2.2 , 2.3
Spielbarkeit
Art der Interaktion
Diversifikation
Erweiterbarkeit
Klangerzeugung
Art des Klangs
Klangergebnis
Analoge
Klangerzeugung
Ausdrucksmöglichkeit
technische Realisierung
Kriterien des Klangs
Kapitel 2.1.1
Tonumfang
Einschwingverhalten
Voraussetzung
Kapitel 2.2
softwarebasiert
Kapitel 2.1.2
Obertonstruktur
Art des elektronischen
Musikinstruments
Kapitel 2.1.1
Reaktionszeit
Kapitel 2.2
Legende:
direkte Verbindung
indirekte Verbindung
Laufrichtung
Abbildung 4.1: Veranschaulichung und Zusammenhänge des Kriterienkataloges
Die in Abbildung 4.1 veranschaulichten Kriterien werden in folgender Auflistung mit
jeweiliger Fragestellung aufgeführt.
1. Klangerzeugung
35
a) Art des Klangs
i. Klangergebnis: Wie ist das Klangergebnis und wovon hängt es ab?
ii. Kriterien des Klangs
A. Tonumfang: Welches Ausmaß kann der Tonumfang annehmen?
B. Obertonstruktur: Welche Obertonstruktur kann das Musikinstrument
erzeugen?
C. Einschwingverhalten: Welches Einschwingverhalten hat das Musikinstrument?
iii. Analoge Klangerzeugung: Welche Elemente erzeugen den Klang? Dieses
Kriterium beeinflusst indirekt 1(a)iiA, 1(a)iiB und 1(a)iiC; es ist selbst
abhängig von Kriterium 4a.
iv. Diversifikation unter Betrachtung der Klangerzeugung
A. Erweiterbarkeit: Wie und in welchem Umfang ist die Klangerzeugung
des Musikinstruments erweiterbar? Dieses Kriterium wird indirekt
von Kriterium 4 beeinflusst.
B. Ausdrucksmöglichkeit: Welche Ausdrucksmöglichkeit bietet die
Klangerzeugung des Musikinstruments?
2. Spielbarkeit
a) Interaktionsmöglicheit unter Betrachtung der Spielbarkeit: Welche Form der
Interaktion ist mit dem Musikinstrument möglich?
i. Art der Interaktion unter Betrachtung der Spielbarkeit: Welche Art der
Interaktion ist mit dem Musikinstrument möglich? Dieses Kriterium wird
indirekt von Kriterium 4 beeinflusst.
b) Diversifikation unter Betrachtung der Spielbarkeit
36
i. Erweiterbarkeit: Wie und in welchem Umfang ist die Spielbarkeit des Musikinstruments erweiterbar? Dieses Kriterium wird indirekt von Kriterium
4 beeinflusst.
ii. Ausdrucksmöglichkeit: Welche Ausdrucksmöglichkeit bietet die Spielbarkeit des Musikinstruments?
3. Interaktionsmöglichkeit
a) Diversifikation unter Betrachtung der Interaktionsmöglichkeit
i. Wie und in welchem Umfang ist die Interaktionsmöglichkeit des Musikinstruments erweiterbar? Dieses Kriterium wird indirekt von Kriterium 4
beeinflusst.
ii. Ausdrucksmöglichkeit: Welche Ausdrucksmöglichkeit bietet die Interaktionsmöglichkeit des Musikinstruments?
b) Art der Interaktion unter Betrachtung der Interaktionsmöglichkeit: Welche
Art der Interaktion ist mit dem Musikinstrument möglich? Dieses Kriterium
wird indirekt von Kriterium 4 beeinflusst.
4. Technische Realisierung
a) Softwarebasiert
i. Art des elektronischen Musikinstruments: Um welche Art von elektronischem Musikinstrument handelt es sich?
b) Reaktionszeit: Welche Reaktionszeit hat das technische System des elektronischen Musikinstruments?
c) Voraussetzung: Welche Vorraussetzung benötigt das elektronische Musikinstrument?
37
5. Vergleich zum Original: Wie verhält sich das Musikinstrument in Vergleich zum
originalen Musikinstrument? Dieses Kriterium behandelt alle der im Kriterienkatalog aufgeführten Kriterien (siehe 1 bis 4) und vergleicht diese mit den Kriterien des
originalen Musikinstruments.
4.1 Evaluation
Die Evaluation bezieht sich auf den in Kapitel 4.0.2 beschriebenen und aufgeführten Kriterienkatalog und beschreibt, wie im Kriterienkatalog Kriterium 5 „Vergleich
zum Original”, die Aspekte in Bezug auf das originale Theremin (siehe Kapitel 3.3).
Folgende Auflistung leistet Antwort auf die im Kriterienkatalog gestellten Fragen:
1. Klangerzeugung
a) Art des Klangs
i. Das Klangergebnis32 ist, abgesehen von der Abhängigkeit des in Kriterium 1(a)iii geschilderten analogen Klangerzeugers sowie der in Kriterium
2 beschriebenen Spielbarkeit, dem originalen Theremin (siehe. Kapitel
3.3) identisch.
ii. Kriterien des Klangs (Siehe Kapitel 2.1.1)
A. Vorausgesetzt, der analoge Klangerzeuger ermöglicht den Tonumfang, so hat das exemplarische Musikinstrument eine Untergrenze
von 130.813Hz (entspricht C3 ) und eine Obergrenze von 1760Hz
(entspricht A6 )33
B. Sowohl der „reine Sinus” Modus als auch der so genante „Echo
Modus” besitzt keine Obertonstrukturen (siehe Anhang A Abbildung
A.6).
32
33
Der CD-Rom in Anhang C sind verschiedene Hörbeispiele beigefügt
Frequenz-Ton-Zuordnung bezieht sich auf die übliche gleichstufige Stimmung
38
C. Das Einschwingverhalten verhält sich durch die
technisch-/softwarebasierte Grundlage des untersuchten Musikinstruments schneller als bei originaler Theremin. Lediglich die analoge
Klangerzeugung (siehe Kriterium 1(a)iii) verursacht Verzögerungen
beim Aufbau des Klangs.
iii. Der analoge Klangerzeuger ist im untersuchten Musikinstrument nicht
festgelegt. Abhängig vom System, auf dem das softwarebasierte Musikinstrument ausgeführt wird, übernehmen verschiedene Komponenten die
analoge Klangerzeugung. Ein denkbares Beispiel wäre ein Betriebsystem,
auf dem das untersuchte Musikinstrument ausgeführt wird. Dieses erhält
einen digitalen Klang und wandelt diesen in einen analogen Klang um.
Anschließend wird dieser beispielsweise durch eine Endstufe verstärkt
und von einem Lautsprecher wiedergegeben. Hierbei ist zu beachten,
dass der Wandlungsprozess von digital nach analog immer durchgeführt
werden muss. Die analoge Klangerzeugung hat ebenfalls einen Einfluss
auf die schon erwähnten Kriterien (siehe Kriterium 1(a)iiA, 1(a)iiB und
1(a)iiC).
iv. Diversifikation unter Betrachtung der Klangerzeugung
A. Wie in Kriterium 1(a)iii beschrieben, ist lediglich der digitale Prozess
des untersuchten Musikinstruments fest vorgeschrieben. Im Ergebnis
entsteht ein digitaler Klang. Von welchem System der Klang zu einem
analogen umgewandelt wird bzw. wie mit diesem digitalen Klang
weiter vorgegangen wird, ist theoretisch unendlich erweiterbar.
B. Wie in Kriterium 1(a)iii und 1(a)ivA beschrieben, steht am Ausgang
des untersuchten Musikinstruments ein digitaler Klang zur Verfügung.
Über welchen Kanal dieser weitergegeben wird, steht dem Anwender
frei.
2. Spielbarkeit
39
a) Die Form der Interaktion unter Betrachtung der Spielbarkeit des untersuchten Musikinstruments ist eine Mensch-Maschinen-Interaktion. Dies bedeutet
konkret, es gibt eine Art der Eingabe (siehe Kriterium 2(b)i), eine Art der
Verarbeitung (siehe Kriterium 4) und eine Art der Ausgabe (siehe Kriterium
1(a)iii).
i. Die Art der Interaktion unter Betrachtung der Spielbarkeit des untersuchten Musikinstruments geschieht, wie in Kapitel 3.3 beschrieben,
gleich dem originalen Theremin. Mittels Handbewegungen können sowohl Klanglautstärke als auch Frequenz interaktiv manipuliert werden.
b) Diversifikation unter Betrachtung der Spielbarkeit
i. Wie in Kapitel 3.3 beschrieben, gibt es eine feste Zuordnungen der Ereignisse zu den resultierenden Aktionen. Somit ist, wie beim Originalinstrument, die Erweiterbarkeit unter Betrachtung der Spielbarkeit eingeschränkt. Sowohl die entstehende Bewegung (siehe Kapitel 3.3) als auch
der resultierende Klang (siehe Kriterium 1(a)iiA) ist im untersuchten
Musikinstrument fest zugeordnet.
ii. Gleich dem originalen Theremin kann sich der Akteur des untersuchten Musikinstruments durch Veränderung der Klangfrequenz und der
Klanglautstärke ausdrücken. Es ist so dem Umfang an Ausdrucksmöglichkeiten des originalen Theremins34 gleich.
3. Interaktionsmöglicheit
a) Diversifikation unter Betrachtung der Interaktionsmöglichkeit
i. Gleich dem Kriterium 2(b)i spielt die feste Zuordnung der Ereignisse zu
den resultierenden Aktionen eine Rolle. Somit ist, wie beim Originalinstrument, die Erweiterbarkeit unter Betrachtung der Interaktionsmöglichkeit eingeschränkt. Sowohl die entstehende Bewegungen (siehe Kapitel
34
vgl. Kapitel 3.3, Kriterium 2(a)i und Kriterium 2(b)i
40
3.3) als auch der resultierende Klang (siehe Kriterium 1(a)iiA) ist im
untersuchten Musikinstrument definiert.
ii. Durch die in Kapitel 3.3 ebenfalls beschriebenen Distanzierungs- und
Annäherungsbewegungen bietet das untersuchte Musikinstrument dem
Akteur eine Interaktionsmöglichkeit.
b) Der Akteur des untersuchten Musikinstruments hat gleich dem originalen
Theremin Ausdrucksmöglichkeiten, indem er mit seinen Händen die in Kapitel
3.3 und Kriterium 2(b)i beschriebenen Bewegungen und Interaktionen am
untersuchten Musikinstrument ausführen kann. Diese Interaktionsmöglichkeit
hat durch eine bewusste Einschränkung einen festen Rahmen und bietet dem
Akteur so einen genauen Spielraum35 , in welchem er sich bewegen kann.
4. Technische Realisierung
a) Softwarebasiert
i. Das untersuchte Musikinstrument arbeitet ausschließlich mit „algorithmische(m) Berech(nen) elektroakustischer Klänge”[Tro05], wie sie Georg
Trogemann (siehe Kapitel 2.1.2) beschrieben hat. Dies bedeutet, dass alle
digital ausgegebenen Frequenzen einen berechneten Ursprung haben und
somit rein synthetischer Herkunft sind.
b) Die Reaktionszeit36 des untersuchten Musikinstruments ist von mehreren Faktoren stark abhängig. Stärkster Einfluss auf die Reaktionszeit ist das System,
welches das elektronische Musikinstrument ausführt und somit die Verarbeitung der visuellen Aufnahmen bis hin zur Ausgabe einer Frequenz übernimmt.
Ebenfalls Einfluss nehmen die Versionen der verschiedenen Software; LeapMotion, MaxMSP und das Betriebssystem. Je nach Systemvoraussetzung
(siehe Kriterium 4c) hat das Musikinstrument so eine Reaktionszeit zwischen
35
36
Raum/ Bereich/ Regeln, in dem definierte Ereignisse bei definierten Ereignissen geschehen.
Zeit, in der das System eine Reaktion auf eine Interaktion zeigt.
41
2-10 ms und ist so vergleichsweise langsamer als das originale Theremin, welches aufgrund seiner analogen Bauweise praktisch keine Reaktionszeit besitzt.
2-10 ms bilden jedoch für die „normale” Interaktion keine Einschränkung.
c) Wie in Kriterium 4b beschrieben, gibt es mehrere Systeme mit mehreren
Komponenten. Aus diesen verschiedenen Komponenten setzen sich die Voraussetzungen des elektronischen Musikinstruments zusammen. So hat MaxMSP die auf der Webseite: [cycb] und LeapMotion Software die auf der
Webseite: [Lea] aufgeführten Systemvoraussetzungen. Neben diesen Hardund Software-Voraussetzungen gibt es noch weitere Vorausetzungen: So muss
sowohl eine Interaktionsmöglichkeit mittels beider Hände möglich sein als
auch eine Möglichkeit der Weiterverarbeitung digitaler Klänge.
5. Wie in Abbildung 4.1 zu erkennen ist, ist der Vergleich zum Originalinstrument in
jedem einzelnen Kriterium 1 bis 4 und somit auch in dieser Evaluation enthalten.
42
5. Interpretation der Ergebnisse und Schlussfolgerungen
43
5 Interpretation der Ergebnisse und
Schlussfolgerungen
Die Evaluation (siehe Kapitel 4.1) des exemplarischen Musikinstruments (siehe Kapitel
3.3) bietet die Interpretationsmöglichkeit in Bezug auf die Tauglichkeit des erwähnten
exemplarischen Musikinstruments der in Kapitel 1 geschilderten Fragestellungen/Thesen dieser Arbeit. Die gewonnenen Ergebnisse der Untersuchung des Kriterienkatalogs
(siehe Kapitel 4.0.2) anhand des exemplarischen Musikinstruments zeigen auf bzw. bestätigen, dass der Einsatz der LeapMotion als Musikinstrument nutzbar ist. Die
Evaluierung und das in Kapitel 3.3 beschriebene und in Anhang A aufgezeigte exemplarische Musikinstrument weisen weiters nach, dass die Realisierung eines funktionsfähigen Prototyps möglich ist und in dieser Arbeit auch realisiert werden konnte.
Die Realisierung einer Nachbildung durch elektrotechnische und softwaretechnische
Mittel eines schon existierenden Musikinstruments37 ermöglicht den direkten Vergleich
dieser beiden äquivalenten Musikinstrumente und zeigt somit den direkten Vergleich der
wesentlichen Unterschiede auf. Diese Unterschiede sind einerseits sehr gering und für
den normalen Betrieb irrelevant. Andererseits weisen sie einen großen Unterschied zum
Originalinstrument auf und können drei Gruppen zugeordnet werden: Das nachgebildete
Musikinstrument ist 1. dem Originalinstrument äquivalent, hat 2. geringe Unterschiede
und ist 3. dem originalen Theremin verschieden. Die nachstehende Auflistung zeigt
eine Zuordnung der Evaluation zu diesen drei Gruppen.
37
vgl. Kapitel 3.3
44
1. Äquivalent zum originalen Theremin
• 1(a)ii die Kriterien des Klangs, welche den Tonumfang und die Obertonstrukturen beinhalten
• 2a die Interaktionsmöglicheit unter Betrachtung der Spielbarkeit mit Unterkriterium 2(a)i der Art der Interaktion unter Betrachtung der Spielbarkeit
• 2b die Diversifikation unter Betrachtung der Spielbarkeit mit Unterkriterien
2(b)i und 2(b)ii
• 3a die Diversifikation unter Betrachtung der Interaktionsmöglichkeit mit
Unterkriterien 3(a)i und 3(a)ii
• 3b die Art der Interaktion unter Betrachtung der Interaktionsmöglichkeit
2. Geringe Unterschiede zum originalen Theremin
• 1(a)i das Klangergebnis
• 4b die Reaktionszeit
3. dem originalen Theremin verschieden
• 1(a)iiC das Einschwingverhalten
• 1(a)iii die analoge Klangerzeugung
• 1(a)iv die Diversifikation unter Betrachtung der Klangerzeugung
• 4c die Voraussetzungen
Gruppe 1 und 2 können unter Betrachtung der Ähnlichkeit zusammengeführt werden,
da sie für den Akteur im Normalfall keinen Unterschied aufzeigen. Somit ergibt sich anhand der Relation zwischen Gruppe 1 und 2 (äquivalent und geringfügiger Unterschied)
und 3 (verschieden) ein Verhältnis der Kriterien von sieben zu vier. Das untersuchte Musikinstrument zeigt eine große Ähnlichkeit auf und kann in der Benutzung als
äquivalent bezeichnet werden. Dies gilt vor allem, wenn man betrachtet, dass die dem
originalen Theremin unterscheidende Gruppe hauptsächlich technischer Natur ist und
45
somit den Akteur beim Interagieren mit dem exemplarischen Musikinstrument nicht
tangiert.
46
6. Online-Dokumentation
47
6 Online-Dokumentation
6.1 Onepager
Um eine abgerundete und umfassende Dokumentation dieser Arbeit und nicht zuletzt
eine große Reichweite der Nutzer des exemplarischen Prototyps zu erreichen, gibt es
eine Webseite: www.leaptomax.com, die diese Arbeit dokumentiert und bereitstellt.
Wesentliche Inhalte dieser Seite sind (siehe ebenfalls Abbildung 6.1):
• Ein Link zum Git Repository38 des LeaptoMax Objekts für MaxMSP. Dieses enthält
sowohl den Sourcecode des LeaptoMax Objekts (siehe Kapitel 3.2) als auch den
Sourcecode des exemplarischen Musikinstruments (siehe Kapitel 3.3).
• Ein Archiv mit MaxMSP Objekt (siehe Kapitel 3.2) und ein exemplarisches Musikinstrument für MaxMSP (siehe Kapitel 3.3).
• Die komplette Bachelor-Arbeit als pdf-Datei.
• Ein Download-Link, der eine Verbindung aus Punkt zwei und drei sowie alle
Projektdaten zur Verfügung stellt.
• Ein Download-Link, der die Standalone-Applikationen des exemplarischen Musikinstruments für Mac bereitstellt.
38
Ein Arbeitsbereich in dem Entwickler Versioniert und geteilt Arbeiten vgl:[ker]
48
Abbildung 6.1: Veranschaulichung der Online-Dokumentation
49
6.2 Git Repository
Um eine möglichst genaue, umfangreiche und zugleich versionierte Dokumentation des
Quellcodes des Prototyps zu erstellen, gibt es ein Git Repository: www.github.com/
tobiasschaeuble/leap-to-max. Dieses Repository enthält folgendes:
• „MaxObject”, in dem der komplette Quellcode des Xcode Projekts zur Erstellung
des MaxMSP Objekts vorhanden ist.
• „c74support”, das von cycling74 zur Verfügung gestellte SDK zur Erstellung von
MaxMSP Objekten.
• „sdk-bulid”, das vollständig kompilierte MaxMSP Objekt „LeapToMax.mxo” und
das Beispielinstrument „Theremin_exampel.maxpat”.
Das Git Repository ist auf Open Source Basis und ermöglicht Jedermann, daran zu
arbeiten und/oder Teile für eigene Projekte zu verwenden.
50
7. Zusammenfassung und Ausblick
51
7 Zusammenfassung und Ausblick
7.1 Zusammenfassung
Im Rahmen dieser Arbeit wird die sukzessive Entwicklung eines exemplarischen softwarebasierten Musikinstruments beschrieben, welches die LeapMotion als Bewegungssensor nutzt. Die somit berührungslose Interaktionsmöglichkeit wird an einem Prototypen
durchgeführt und detailliert erläutert. Mittels der Realisierung des funktionsfähigen
Prototyps wird aufgezeigt, dass die LeapMotion als Bewegungssensor für elektronische
Musikinstrumente verwendet werden kann. Das entwickelte Musikinstrument kann
aufgrund seiner Ähnlichkeit zum sogenannten „Theremin” (Musikinstrument, welches
bereits 1919 von Leon Theremin entwickelt wurde) mit diesem verglichen werden.
Es wird deshalb ein umfassender Kriterienkatalog zur Evaluierung der wichtigsten
Kriterien des exemplarischen Musikinstruments erstellt. Mittels der Ergebnisse der
Evaluierung werden abschließend Rückschlüsse auf den Einsatz und die Nutzung der
LeapMotion als Musikinstrument aufgezeigt. Eine umfassende, im Rahmen dieser
Thesis entwickelte Online-Dokumentation wird abschließend erläutert. Sie stellt unter www.leaptomax.com Daten sowie gewonnene Ergebnisse zur Verfügung und
ergänzt diese Arbeit um weitreichende Informationen.
52
7. Zusammenfassung und Ausblick
7.2 Kritische Würdigung des Prototyps
Der Kriterienkatalog in Kapitel 4.0.2 sowie die Evaluierung in Kapitel 4.1 lassen eine
gewisse Subjektivität erkennen. Dies ergibt sich hauptsächlich aus der Tatsache, dass
diese Arbeiten lediglich durch eine Person durchgeführt wurden. Des Weiteren werden
aus Gründen der Vereinfachung die Gestensteuerung und die Einzeltonspielweise im
Kriterienkatalog und im evaluierten Prototyp nicht betrachtet.
7.3 Ausblick
Da der Prototyp objektorientiert gestaltet wurde, bietet er sich als Basis zusammen mit
den Objekten und deren Konzepten für eine Weiterentwicklung und weiterführende
Nutzung an. Speziell das in Kapitel 3.3 beschriebene Objekt verfügt über ein großes
Potential an weiteren Einsatzmöglichkeiten, wie zum Beispiel:
• Erweiterung des exemplarischen Prototyps um die Interpretation weiterer Bewegungdatensätzen. Beispiele sind die in Anhang A Abbildung A.2 beschriebenen
Datensätze zu Geschwindigkeitsangaben oder Richtungsangaben.
• Weiterentwicklung des exemplarischen Prototyps zu einem elektronischen Musikinstrumente zweiter Formen (vgl. [HJ08] und Kapitel 2.1.2).
Darüber hinaus lassen sich in Bezug auf die aufgezeigten weiteren Einsatzmöglichkeiten auch die theoretischen Aspekte dieser Arbeit weiterentwickeln. So kann durch
hinreichende Erweiterung eine Verallgemeinerung des Kriterienkatalogs (siehe Kapitel
4.0.2) vorgenommen werden, die eine Evaluation jeglicher Art von Musikinstrumenten
ermöglicht.
A. Visueller Programmcode des exemplarischen Musikinstruments
A Visueller Programmcode des
exemplarischen Musikinstruments
Abbildung A.1: Hauptfenster des exemplarischen Musikinstruments
53
54
Das Haupfenster (siehe Abbildung A.1) beinhaltet alle weiteren Bestandteile des exemplarischen Prototyps, die sogenannten „Subpatches”, die in nachfolgenden Abbildungen
(siehe A.2 bis A.6) aufgeführt und detailliert beschrieben werden.
Im oberen linken Bereich des Haupfensters befindet sich ein Subpatch (siehe Abbildung
A.2), dessen automatische Aktivierung bei Start des exemplarischen Musikinstruments
mittels „loadbang” Objekt erfolgt.
Ebenfalls automatisch initialisiert wird die Ober- und Untergrenze des erzeugbaren
Klangs, welche durch Klaviaturen dargestellt werden (siehe Klaviatur min und max).
Diese Initialisierung und Auswahl der kontinuierlichen oder schrittweisen Klangfolge
wird an das Subpatch „scalethe freq” (siehe Abbildung A.4) weitergeleitet. Abhängig
von der gespielten Frequenz gibt das Subpatch den momentan erzeugten Klang an und
leitet ihn an die unten im Hauptfenster (siehe Abbildung A.1) befindliche Klaviatur
weiter (siehe Klavitatur „current”).
Die eigentliche Klangerzeugung findet im mittleren Bereich des Haupfensters, dem
„Single” Subpatch, statt. Das Subpatch „scalethe freq” erhält die zu spielende Frequenz
und erzeugt anhand dieser und der sogenannten „Echofunktion” mit zeitlicher Einstellung die eigentliche digitale Frequenz. Diese wird nach Lautstärkenanpassung mittels
„dac” Objekt an das Betriebssystem zur weiteren Ausgabe übermittelt.
Die Lautstärkenanpassung wird, gespeist von den Handballen-Datensätzen, im Subpatch
„scalevolume” ermittelt und an den Lautstärkeregler weitergegeben.
55
Abbildung A.2: Subpatch zur Datenaufbereitung und Visualisierung
Das Subpatch zur Datenaufbereitung verarbeitet die von der LeapMotion Software
kommenden Rohdaten zu MaxMSP verwendbaren Datensätzen und verteilt diese über
Sendeobjekte, wodurch sie MaxMSP-global abgegriffen werden können. Das ebenfalls
im Datenaufbereitungs-Subpatch enthaltene Subpatch Leap to Max (siehe Anhang A.3)
beinhaltet das in Kapitel 3.3 beschriebe Objekt, welches die LeapMotion-Daten in
MaxMSP zu Verfügung stellt (dies wird im Text unterhalb der Abbildung A.3 weiter
erläutert). Die verarbeiteten Daten stehen anschließend im Subpatch zur Datenaufbereitung (siehe Anhang A.2) zu Verfügung. Verschiedene Ausgaben visualisieren diese
Daten numerisch. Folgende Auflistung zeigt alle relevanten Daten (ausschließlich der
Fingerkoordinaten):
1. hand id: Identifikatiosnummer, die bei Detektion einer Hand erzeugt wird und der
Hand-Datensätze bis zum ihrem Verschwinden dieser Hand zugeordnet ist.
2. frame id: Fortlaufende Identifikatioszahl zur Identifikation des „Frame” (Einzelbild)
der LeapMotion.
3. Position x, y, und z: Absolute Positionsangabe des Mittelpunktes der Hand im
Abstand zur LeapMotion; gemessen in Millimeter (Entfernung zur Leapmotion)
56
[dev].
4. direction x, y und z: Relative Richtungsangabe der Hand zu den Fingern [dev].
5. velocity x, y und z: Relative Geschwindigkeitsangabe der Bewegung in Millimeter/Sekunde [dev].
6. normal x, y und z: Der Normalenvektor der Hand im Abstand zur LeapMotion.
.
Abbildung A.3: Subpatch zur Datenverteilung und Visualisierung
Das im Subpatch zur Datenaufbereitung befindliche Subpatch LeaptoMax spaltet die
von der LeapMotion kommenden Rohdaten in einzelne Datensätze auf. Diese sind im
Subpatch zur Datenaufbereitung (siehe Anhang A.2) näher erläutert und aufgeführt. Das
Aufspalten übernimmt das sogenannte „rout” Objekt. Aktiviert wird das in Kapitel 3.3
beschriebene LeaptoMax Objekt durch ein „qmetro” Objekt, welches im Hauptfenster
automatisch bei Programmstart aktiviert wird. Bei jedem Impuls des „qmetro” Objekts
gibt das „LeaptoMax” Objekt das aktuelle „Frame” an Rohdaten an das „route” Objekt
57
weiter. Um eine Überlastung des Systems durch MaxMSP zu verhindern, werden die
vom „qmetro” Objekt gesendeten Impulse reguliert. Die vom „route” Objekt aufgeteilten Rohdaten werden dann mittels „send” Objekt zur Verfügung gestellt. Um eine
Unterscheidung der verschiedenen Hand-Datensätze zu gewährleisten, zählt das „gate”
Objekt von max. 1 bis 5 (5 = 5 erkannte Hände). Wird keine Hand detektiert, gibt das
„gate” Objekt keine Daten aus. Das von [Aka] übernommene Subpatch „visualizer”
erzeugt die darunter befindliche zweidimensionale Visualisierung der Fingerspitzen.
Abbildung A.4: Subpatch zur Frequenzermittlung
Das dargestellte Subpatch in Abbildung A.4 zeigt das Erzeugen der zu spielenden
Frequenz als Gleitkommazahl. Hierzu wird aus dem Handballen-Datensatz die zKoordinate genutzt, um sie mit dem Objekt „scale” zu den Oktavfrequenzen zwischen
standardmäßig 130.813Hz (entspricht C3) und 1760Hz (entspricht A6)39 zu skalieren.
Diese Standardober- und -unterbegrenzungen der spielbaren Frequenzen können im
Bearbeitungsmodus des Hauptfensters (siehe Anhang A.1) variabel verändert werden
39
Frequenz-Ton Zuordnung beziehen sich auf die übliche gleichstufigen Stimmung
58
(Klaviatur min und max). Des Weiteren besteht im oben aufgeführten Subpatch (siehe
Abbildung A.4) die Möglichkeit, zwischen Halbtonschritten und Klang mit fließendem
Übergang zu wählen.
Abbildung A.5: Subpatch zur Ermittlung der Lautstärke
Das einfache Subpatch in Abbildung A.5 zeigt das Erzeugen eines Signals, das im
Hauptfenster (siehe Abbildung A.1) die Steuerung der Lautstärke ermöglicht. Dies
wird durch einfaches Anpassen der z-Koordinate der zweiten detektierten Hand mittels
„scale” Objekt realisiert. Das daraus resultierende Signal liegt im Bereich zwischen 0
und 70 und ist im typischen Dämpfungswert eines Klangs, in dB, angegeben.
59
Abbildung A.6: Subpatch zur Tonerzeugung
Das in Abbildung A.5 abgebildete Subpatch erzeugt den Klang der zu spielenden Frequenz anhand der zuvor in Subpatch „Scale the freq” (siehe Abbildung A.4) ermittelten
Frequenz. Hierbei erzeugt das „cycle” Objekt aus der reinen realen Zahl einen Klang
mit Frequenzwert der realen Zahl. Dabei ist ein „line” Objekt vorgeschalten, um eine
Glättung des Klangs zu realisieren (10ms Annäherung). Nach Erzeugung des Klangs
ist das Zuschalten eines Rückkopplungs- und Verzögerungsalgorithmus mittels „gate”
Objekt möglich. Ist das Zuschalten, welches im Hauptfenster (siehe Abbildung A.1)
aktiviert und deaktivert werden kann, nicht aktiv, wird lediglich der Klang als reine
Sinusfrequenz an das Hauptfenster weitergegeben.
60
B. Interview mit David Stützel
61
B Interview mit David Stützel
Persönliches Interview, geführt von Tobias C. S. Schäuble mit David Stützel, Dozent an
der Musikhochschule Trossingen:
Tobias C. S. Schäuble:
Hallo David, ich schreibe grade meine Bachelor-Arbeit mit dem
Titel „„LeapMotion als Musikinstrument” Möglichkeiten der Nutzung eines Handund Fingerbewegungssensors für die softwarebasierte Klangerzeugung. Eine Untersuchung relevanter Faktoren anhand eines Prototyps”. Jetzt meine Frage: Kannst
du mir Literatur oder ähnliches empfehlen, in der Kriterien stehen, was ein Musikinstrument ausmacht? Ich würde mich, wenn du Zeit findest, auch über eine
Definition bzw. einen Kriterienkatalog von dir sehr freuen.
David Stützel:
„Hallo Tobias, Literatur fällt mir dazu keine ein, obwohl es bestimmt
welche gibt. Aber das ist eine so grundlegende Frage. Da kann man sich sehr
interessant drin verlieren. Z.B. ein Musikinstrument macht Musik, also müsste man
definieren, was Musik ist. Musik ist unter anderem auch eine Kunst. Also müsste
man definieren was Kunst ist.
Wenn man da eine eindeutige Antwort geben will, wird man schnell merken, dass
daraus entweder weitere Definitionen ableitbar sind, die man nicht gemeint hat oder
die unvollständig sind.
Ich würde sagen, dass etwas ein Musikinstrument ist, sobald man es als solches
benutzt, eventuell auch schon, sobald man es als solches ansieht. Sobald man über
62
B. Interview mit David Stützel
Tonhöhen redet, schliesst man ja Instrumente, die vielleicht nur eine Tonhöhe oder
„nur” ein Geräusch haben, aus.
Ich glaube, man kommt sogar schon in Schwierigkeiten, wenn man definiert, dass
es (das Instrument) Klänge, Töne, Geräusche, also im weitesten Sinne Hörbares
erzeugen muss, dann muss erst nachgewiesen werden, dass John Cages 4’33 keine
Musik ist oder dass man es nur auf Instrumenten spielen kann, die Klänge produzieren könnten (abgesehen davon, dass alle physischen Gegenstände Klänge
erzeugen können, d.h., wenn es ein Musikinstrument geben sollte, dass keine Klänge produzieren kann, dann müsste es ja so etwas wie eine Idee, ein Gedanke, eine
Erinnerung, ein Gefühl sein?).
Das ist vermutlich nicht, wonach du suchst. Wenn man nicht gleich allen elektronisch erzeugten Klängen, abgespielten Samples oder Aufnahmen absprechen
will ein instrument sein zu können, ist dein Instrument ja vermutlich „nur” ein
Hilfsmittel, um ein solches Instrument zu steuern, zu spielen, so wie eine Tastatur,
die das Anschlagen von Saiten, das Blasen von Orgelpfeiffen oder ein Midi-Gerät
steuern könnte. So ein Hilfsmittel kann auch zu einem Instrument werden, bei guter
Musik könnte man sagen, wird die Trennung zwischen Musiker und Instrument
und Musik und Komponist sogar „aufgehoben”.
Du kennst bestimmt ein Theremin? Eines der frühen elektronischen Musikinstrumente, das auch schon mit Bewegungen der Hände in der Luft zu spielen ist.
Was vielleicht auch eine für dich relevante Frage sein könnte, ist, ob man ein „traditionelles” Musikinstrument spielt und übt, dass seine ganz eigenen Probleme und
Schwierigkeiten, Besonderheiten, Klänge, Geschichte, Bau, Physik, Möglichkeiten,
Tradition mit sich bringt, mit dem man sich ja oft über viele Jahre auseinandersetzt;
und z.B. einem Midi-Instrument, bei dem die Tonerzeugung, der Klang mit z.B. der
Spieltechnik nicht mehr direkt etwas zu tun haben muss.
Was mir gerade noch dazu einfällt: Ist ein Klavier nicht auch ein Instrument, das
mithilfe von mechanischem „Finger- und Handtracking” Musik macht?"[Stü13]
63
[AHK+ 98] A LBRECHT, G ; H OLDERMANN, CS ; K ERIG, T ; L ECHTERBECK, J ;
S ERANGELI, J: "Floetenäus Baerenknochen-Die fruehesten Musikinstrumente? In: Archäologisches Korrespondenzblatt 28 (1998), S. 1–19
[AJM]
A NDREW J. M ILNE, Robin Laney David B. Sharp Anthony Prechtl Simon H. Anna Xambó X. Anna Xambó: Hex Player—A Virtual Musical
Controller Hex Player—A Virtual Musical Controller Hex Player—A Virtual Musical Controller Hex Player—A Virtual Musical Controller. http:
//www.nime.org/proceedings/2011/nime2011_244.pdf. –
zugegriffen am 15.01.2011
[Aka]
A KAMATSU, Masayuki: aka.leapmotion. https://github.com/
akamatsu/aka.leapmotion. – zugegriffen am 14.09.2013
[ale]
ALEC 93:
Theremin (Whistle).
http://www.freesound.org/
people/alec93/sounds/217685/. – zugegriffen am 20.02.2014
[ars]
ARSTECHNICA . NET :
LeapMotion
Produkt
Bild.
http:
//cdn.arstechnica.net/wp-content/uploads/2013/
07/lmc-unboxed-cables.jpg. – zugegriffen am 24.01.2014
[Bad13]
BADER, Rolf: Nonlinearities and Synchronization in Musical Acoustics
and Music Psychology. Berlin, Heidelberg : Springer Berlin Heidelberg,
2013. – Online–Ressource (XII, 517 p, digital) S. http://dx.doi.
org/10.1007/978-3-642-36098-5
64
[Bai13]
BAIN, Reginald: Max/MSP Software Design for Music, Math and Computer Science Outreach. In: ATMI National Conference (2013)
[chi]
CHIP. DE :
Nintendo mit dem Wii Kontroller. http://www.chip.de/
ii/1/3/5/1/5/8/0/9/nin-wii-e24f34e9c1a2fd49.jpg. –
[Cro95]
In: C ROMBIE, David: Piano. Evolution, Design and Performance. 34.
1995. – ISBN 1–871547–99–7
[cyca]
CYCLING 74:
MaxMSP.
http://cycling74.com/products/
max/. – zugegriffen am 18.07.2013
[cycb]
CYCLING 74:
Systemvoraussetzungen MaxMSP. http://cycling74.
com/downloads/sys-reqs/. – zugegriffen am 10.02.2014
[cycc]
CYCLING 74. COM :
MAX 6 API Documentation. http://cycling74.
com/sdk/MaxSDK-6.0.4/html/index.html. – zugegriffen am
21.10.2013
[dev]
DEVELOPER . LEAPMOTION . COM :
Public
Member
Functions.
https://developer.leapmotion.com/documentation/
Languages/Java/API/classcom_1_1leapmotion_1_
1leap_1_1_hand.html. – zugegriffen am 18.01.2014
[DJ06]
D IG, Danny ; J OHNSON, Ralph: How do APIs evolve? A story of refactoring. In: Journal of software maintenance and evolution: Research and
Practice 18 (2006), Nr. 2, S. 83–107. ISBN 1532–0618
[Duda]
D UDEN:
Instrument.
http://www.duden.de/node/652220/
revisions/1166913/view. – zugegriffen am 15.01.2011
[Dudb]
D UDEN:
Musik.
http://www.duden.de/node/658460/
revisions/1116720/view. – zugegriffen am 15.01.2011
[Dvo08]
65
In: DVORAK, JosephL.: Emerging User Interfaces. Springer US, 2008,
269-307
[gur]
GURDONARK :
Faux Theremin Sample. http://www.freesound.
org/people/gurdonark/sounds/32483/. –
zugegriffen am
20.02.2014
[HJ08]
H ANS J ÖRG, Friedrich:
Tontechnik für Mediengestalter.
In:
X.media.press (2008). http://link.springer.com/book/10.
1007/978-3-540-71870-3
[JMC]
J OSEP M C OMAJUNCOSAS, John O’Connell Enric G. Alex Barrachina B. Alex Barrachina:
Nuvolet : 3D Gesture-driven Collaborative
Audio Mosaicing. http://www.nime.org/proceedings/2011/
nime2011_252.pdf. – zugegriffen am 15.01.2011
[Kae67]
K AEGI, Werner: Was ist elektronische Musik. Orell Füssli, 1967
[ker]
KERNEL . ORG :
git.wiki.kernel. https://git.wiki.kernel.org/
index.php/GitFaq#General_Questions. –
zugegriffen am
03.01.2014
[Lea]
L EAP M OTION . COM:
LeapMotion.
https://www.leapmotion.
com/product. – zugegriffen am 18.07.2013
[LY]
L EE, Jeong seob ; Y EO, Woon S.: Sonicstrument: A Musical Interface with Stereotypical Acoustic Transducers. http://www.nime.
org/proceedings/2011/nime2011_024.pdf. – zugegriffen am
15.01.2011
[mag]
MAGAZIN . DE
Controller.
linux: Freihändige Gestensteuerung mit dem Leap-Motionhttp://www.linux-magazin.de/Ausgaben/
2013/10/Leap-Motion. – zugegriffen am 24.01.2014
66
[med]
MEDIA . NPR . ORG :
Leon
Theremin.
http://media.
npr.org/assets/img/2013/02/07/thereminpic_
custom-9d554abc953090a42ef8fd9b9b7a900bc18b6dc5-s6-c30.
jpg. – zugegriffen am 18.01.2014
[MH10]
In: M ICHAEL H ARENBERG, Daniel W.:
Klang (ohne) Körper.
www.transcript-verlag, 2010, S. 229
[neu]
NEUERDINGS . COM :
LeapMotion Ankündigung. http://neuerdings.
com/2013/09/21/hp-envy-17-leap-motion-se/. – zugegriffen am 20.01.2014
[nim]
NIME . ORG :
International Conference on New Interfaces for Musical Ex-
pression. http://www.nime.org/. – zugegriffen am 07.01.2011
[PW99]
P IERCE, John R. ; W INKLER, Klaus: Klang: Musik mit dem Ohren der
Physik. Spektrum, 1999. – ISBN 3827405440
[Ram]
R AMKISSOON, Izzi:
The Bass Sleeve: A Real-time Multimedia Ge-
stural Controller for Augmented Electric Bass Performance.
http:
//www.nime.org/proceedings/2011/nime2011_224.pdf. –
[rea]
REALTHEREMIN :
scifi scare c.
http://www.freesound.org/
people/realtheremin/sounds/119013/. –
zugegriffen am
20.02.2014
[Sch06]
In: S CHRÖDER, Hermann-Dieter: Digitalisierung. VS Verlag für Sozialwissenschaften, 2006. – ISBN 978–3–531–14417–7, 95-97
[Stü13]
S TÜTZEL, David: Persönliches Interview, geführt von Tobias C. S. Schäuble.
2013 (Trossingen, 25.11.2013)
[t3n]
T 3 N . DE :
als
millimetergenaue
Kinect-Konkurrenz.
3D-Bewegungssteuerung
http://t3n.de/news/
67
leap-motion-millimetergenaue-389145/. – zugegriffen am
24.01.2014
[tec]
TECHCRUNCH . COM :
LeapMotion Launch. http://techcrunch.
com/2013/06/24/leap-motion-developer-beta/. – zugegriffen am 20.01.2014
[the]
THEAVERAGEGAMER . COM :
ler und Erfassungskamera.
Sony Playstation mit Move Kontorlhttp://www.theaveragegamer.
com/wp-content/uploads/2010/09/PlayStationMove_
AllTheKit.jpg. – zugegriffen am 05.02.2014
[Tro05]
In: T ROGEMANN, Georg: Ästhetik und Naturwissenschaften. Springer
Vienna, 2005. – ISBN 978–3–211–20438–2, 207-214
[Ull84]
U LLMANN, Dieter: Chladni und die Entwicklung der experimentellen
Akustik um 1800. In: Archive for History of Exact Sciences 31 (1984), Nr.
1, 35-52. http://dx.doi.org/10.1007/BF00330242. – DOI
10.1007/BF00330242. – ISSN 0003–9519
[Wil]
W ILLEMER, Arnold:
Aufteilung der Quelltexte.
http://www.
willemer.de/informatik/cpp/aufteil.htm. – zugegriffen
am 02.02.2014
[wor]
WORLDOFVIDEOGAMES . DE :
Microsoft Xbox mit der Kinect Kamera.
http://worldofvideogames.de/wp-content/uploads/
2010/10/xbox_360_250gb_and_kinect_20100727_
1765570292.jpg. – zugegriffen am 05.02.2014
68
69
1.1
Veranschaulichung der Struktur dieser Arbeit . . . . . . . . . . . . .
3
2.1
LeapMotiongerät inklusive USB-Verbindungskabel . . . . . . . . . .
10
2.2
Direkte Konkurrenzprodukte zur LeapMotion . . . . . . . . . . . . .
11
2.3
Zwei Künstler, deren Hände erkannt und zu einem Musikstück interpretiert werden. [JMC] . . . . . . . . . . . . . . . . . . . . . . . . .
2.4
14
A Real-time Multimedia Gestural Controller for Augmented Electric
Bass Performance [Ram] . . . . . . . . . . . . . . . . . . . . . . . .
15
2.5
In MacMSP geschriebene Software zum Bedienen [AJM] . . . . . . .
15
3.1
Veranschaulichung der Struktur des Prototyps . . . . . . . . . . . . .
18
3.2
LeapMotion-Visualisierung der Aufnahme . . . . . . . . . . . . . . .
20
3.3
Leon Theremin mit seiner Erfindung „Das Theremin” . . . . . . . . .
25
3.4
Genereller Ablauf der Daten in MaxMSP . . . . . . . . . . . . . . .
27
3.5
Exemplarisches Musikinstrument im Präsentationsmodus . . . . . . .
29
4.1
Veranschaulichung und Zusammenhänge des Kriterienkataloges . . .
34
6.1
Veranschaulichung der Online-Dokumentation . . . . . . . . . . . . .
48
A.1 Hauptfenster des exemplarischen Musikinstruments . . . . . . . . . .
53
A.2 Subpatch zur Datenaufbereitung und Visualisierung . . . . . . . . . .
55
A.3 Subpatch zur Datenverteilung und Visualisierung . . . . . . . . . . .
56
A.4 Subpatch zur Frequenzermittlung . . . . . . . . . . . . . . . . . . . .
57
70
A.5 Subpatch zur Ermittlung der Lautstärke . . . . . . . . . . . . . . . .
58
A.6 Subpatch zur Tonerzeugung . . . . . . . . . . . . . . . . . . . . . . .
59
71
Hiermit versichere ich, dass ich die vorliegende Arbeit selbständig verfasst und keine
anderen als die angegebenen Quellen und Hilfsmittel benutzt habe. Die Stellen meiner
Arbeit, die dem Wortlaut oder dem Sinn nach anderen Werken entnommen sind, habe
ich unter Angabe der Quellen als Entlehnung kenntlich gemacht. Dasselbe gilt sinngemäß für Tabellen, Karten und Abbildungen. Diese Arbeit wurde in dieser oder einer
ähnlichen Form noch nicht im Rahmen einer anderen Prüfung vorgelegt.
Karlsruhe, den 28.02.2014,
Tobias C. S. Schäuble
72
C. CD-Rom
C CD-Rom
Inhalt der CD-Rom
Hörbeispiele
exemparisches Musikinstrument
vgl.1 theremin-whistle.aiff.mov
vgl.2 gurdonark.mov
vgl.3 realtheremin.mov
with steps without echo.mov
orginal Theremin
1 theremin-whistle.aiff [ale]
2 gurdonark.aiff [gur]
3 realtheremin.aiff [rea]
Prototype
c74support
(...)
MaxObject
Info.plist
LeapToMax
Xcode
(...)
collect.xcodeproj
(...)
LeapToMax.cpp
(...)
maxmspsdk.xcconfig
README.md
sdk-build
externals
LeapToMax.maxhelp
LeapToMax.mxo
Theremin exampel.maxpat
Theremin.app
Bachelor-Thesis-Schaeuble-2014.pdf
73

Thesis-Download - Hochschule Furtwangen

Transcrição

Documentos relacionados

HUGO PINKSTERBOER Praktisch, klar und aktuell. ideale

Cambridge

als PDF downloaden

Thieme: Streitgespräche auflösen

Der Musikcomputer eine musikalische Universalmaschine

ERFAHREN: As Slow As Possible(ASLSP) “

- Planet Schule

zusammenhänge dreier rahmen von jenbe

weiterlesen

Formular Anmietung Musikinstrument