Unser Projekt besteht somit aus 2 Teilprojekten:

• Eine mechanische Steuerung von unterschiedlichen Musikinstrumenten
• Eine Benutzereingabe, um Töne bzw. Musik zu generieren und damit die mechanische Steuerung anzusprechen.

Das Interview drehte sich um die Frage „Technische Umsetzung einer Musikinstallation, die durch (mehrere) Benutzer gesteuert wird und ein Instrument maschinell ansteuert, inklusive Klangausgabe und Musikgenerierung“.  Aus datenschutzrechtlichen Gründen möchte ich das Transkript nicht veröffentlichen, einen Auszug aus der Zusammenfassung möchte ich aber nicht vorenthalten:

Die Tonaufnahme und Verarbeitung ist in Echtzeit möglich. Streich- und Schlaginstrumente sind für unser Projekt bevorzugt. Bei Blasinstrumenten eignet sich nur die Blockflöte, da alle anderen Blasinstrumente die Lippen benötigen, was bedeutet, dass die Konstruktion erheblich komplizierter wird bzw. auch in der Zeit nicht umsetzbar ist, außer wir kooperieren zum Beispiel mit dem MDW.

Für die Tonabnahme ist ein Piezo-Tonabnehmer gut geeignet. Dadurch wird das Signal direkt vom Klangkörper genommen, Umgebungsgeräusche sind somit kein Problem. Bei Gitarren kann es am Holzkörper angebracht werden, bei Trommeln sollte man es allerdings nicht direkt auf das Fell kleben. Die Verwendung von Kopfhörern im Gegensatz zu Lautsprechern eliminiert die Gefahr von Feedbackloops und Störungen (z.B. Fiepsen). Der wichtigste Punkt ist die sogenannte Signal-Noise-Ratio. Je besser und lauter das Eingabesignal ist, je besser ich es aufnehmen kann, desto weniger muss ich verstärken und desto weniger werden Störgeräusche verstärkt. Falls die Aufnahme mit Mikrofonen erfolgt, dann sollten Nieren-Mikrofone verwendet werden. Diese nehmen das Signal nur von vorne auf und ignorieren Geräusche aus allen anderen Richtungen.

Eine einfache Musikgenerierung ist durch Loops möglich und das auch in Echtzeit. Dafür sollte allerdings zumindest ein RaspberryPi, besser noch ein Rechner/Laptop verwendet werden. Ein Arduino wird wahrscheinlich an seine Grenzen stoßen. Diverse Programme würden eine komplexere Generierung (auch in Echtzeit) unterstützen (SuperCollider, PD oder Max Msp), der Aufwand ist aber auch dementsprechend hoch.

Die Steuerung der Musikinstallation kann über das OSC – Open Sound Control stattfinden. “Open Sound Control (OSC) ist ein nachrichtenbasiertes Netzwerkprotokoll, das hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird” (Quelle: Wikipedia). Als Input kann sowohl Hardware (MIDI-Keyboard) als auch Software verwendet werden.

Provokative Requisite – Setup

Eine provokative Requisite sollte uns bei der Entwicklung des User Interfaces unseres Eingabegerätes helfen. Wir haben daher ein Eingabegerät mit unterschiedlichen Funktionen (Drehregler, Schieberegler, Buttons) genommen, welches einerseits eine Gitarre, andererseits eine Holzkonstruktion mit aufgespannten Saiten „steuert „. Die Tonausgabe wird über den dazwischen hängenden Laptop imitiert. Die Requisite soll den Eindruck vermitteln, dass die Eingabe direkt das Musikinstrument steuern kann. Das DJ Control Panel ist generell fur 2 Decks gedacht. Wir haben die daher die linke Seite für die Gitarre und die rechte fur die Konstruktion verwendet. Uber die jeweils 4 Buttons können unterschiedliche Töne über das Notebook abgespielt werden.

Die finale Arbeit ist hier verfügbar: Download (PDF, 19MB)

Design Games – Spiel

Mit Hilfe eines selbstentwickelten, kollaborativen Spieles wollten wir unsere Schlüsse aus der provokativen Requisite testen und die Fähigkeiten und die Unterschiede zwischen Musikern und Nicht-Musikern in Bezug auf Rhythmus und Klang herausfinden.

Die Spieler (je 2 pro Team) versuchen unter Verwendung der beigelegten Instrumente vorgegebene Töne in einem gewissen Tempo zu spielen. Die Karten zeigen, welche Töne gespielt werden müssen. Das Spielbrett gibt die BPM und die Anzahl der Wiederholungen an. Wird die Aufgabe erledigt, darf das Team ziehen. Zusätzliche Karten erhöhen den Risk/Reward Faktor.

Eine genaue Spielbeschreibung finden Sie in diesem Dokument: Download (PDF, 17 MB)

Mockup des Benutzereingabegerätes

Im nächsten Schritt haben wir für die gesamte Konstruktion (Schaukasten, Eingabegerät und Steuerung) Skizzen und Wireframes erstellt. Der Fokus lag auf dem Eingabegerät, deshalb gibt es dafür auch noch ein Mockup (siehe Bild). Dieses besteht aus 16×6 Löchern. 16 Löchern entsprechen 16 Takten und die 6 Reihen der 6 Saiten einer Gitarre. Über der ersten Reihe befinden sich noch 16 LEDs. Diese geben den aktuellen Takt an.

Das fertige System soll selbständig jede Sekunde auf den nächsten Takt weiterschalten. Wird der letzte Takt erreicht, wird wieder der erste abgespielt und das System befindet sich somit in einer Schleife. Welcher Takt der aktuelle ist zeigt die LED an. Der Benutzer steckt Holzklötze in die Löcher und kann diese drehen. Das Stecken bedeutet, dass die Saite angespielt wird, sobald der Loop die Stelle erreicht. Durch das Drehen wird die Tonhöhe (also an welcher Stelle die Saite von der Steuerung berührt wird) bestimmt. Der Benutzer kann somit Töne „stecken und drehen“, die Maschine und das Eingabegerät übernehmen den Rest.

Eine genaue Beschreibung sowie die Skizzen, Wireframes und Mockups finden Sie hier: Download (PDF, 11 MB)

Technology Probe – Eingabetisch

In der Technology Probe lag der Fokus wieder auf der Umsetzung des Eingabegerätes. Diese wurde als Tischplatte konstruiert, im Inneren befindet sich die Logik.

Technology Probe – LEDs

Die Verkabelung der LEDs war zwar nicht schwierig, die Schaltung dafür schaut jedoch aufwendiger aus als sie in Wahrheit ist.

Technology Probe – Kamera

Eine Kamera fotografiert die Platte von der Unterseite und mittels Mustererkennung kann bestimmt werden, ob ein Holzklotz gesetzt wurde un in welchem Winkel sich dieser in einem Loch befindet.

Die genaue Beschreibung der Umsetzung ist hier verfügbar: Download (PDF, 20 MB)

Während der Umsetzung des Eingabetisches gab es auch die ersten Gehversuche der Steuerung. Was hier nach wenig aussieht war für uns ein wichtiger Schritt. Es zeigt vor allem, dass die Geschwindigkeit für unser Vorhaben ausreicht.

Das zweite Video zeigt eine Umsetzung mit Zahnriemen und Zahnriemenrädern.

Im zweiten Schritt wurde versucht, mit dieser einfachen Konstruktion die Gitarre erklingen zu lassen.

Erste Konstruktion für die Gitarre

Danach wurde das Konstrukt mit mehreren Alu Profilen erweitert, sodass diese nun für 2 Saiten der Gitarre verwendet werden kann. Die Umsetzung mit MakerBeam-Profilen vereinfacht den Aufwand, da diese nur aneinander geschraubt werden müssen. Lediglich für die Silberstahl-welle musste ein Loch gebohrt werden.

Aufbau für 2 Saiten

Das Gestell bekam danach noch Beine. Ab diesem Zeitpunkt bekam das Konstrukt den Namen „Das Raumschiff“.

Das Raumschiff mit Beinen

Ein Schrittmotortreiber machte uns allerdings Probleme. Wir haben 2 unterschiedliche Schrittmotoren und Treiber verwendet. Die Kühlung des Pololu A4988 funktionierte leider schlechter als die des Pololu A4983. Wir haben uns kurzerhand eine Platinenhalterung gedruckt und einen Intel i5 CPU-Kühler verwendet um die Platine zu kühlen.

Schrittmotortreiber Kühlung

Nach sehr viel Aufwand hatten wir den Großteil der Probleme behoben. Das finale Dokument für die Bedienung und Fehlerbeschreibung gibt es hier: Download (PDF, 6MB)