Lektion 10 - Gemischt-interaktive Szenarios
Lektion 10:
Video-Transkript
00:07 - Lektion 10 . Gemischt-interaktive Szenarios. Im letzten Tutorial dieser Serie werde ich Ihnen zeigen, wie man die vom bisher genutzten Beschleunigungs-Sensor kommenden Daten mit den Features integrieren kann, die im TouchOSC verfügbar sind. Das Ziel ist, unser Instrument zu kontrollieren, indem wir es den Daten des Bewegungs-Sensors und des TouchOSC-Layouts zuordnen. Anders als in den anderen Tutorials werde ich Sie nicht Schritt für Schritt durch die Erstellung eines Patch führen, sondern Ihnen ein Patch vorstellen, das schon fertig zur Benutzung ist, und Sie mit der Zuordnung dahinter und einigen neuen Abstraktionen vertraut machen, die ich entwickelt habe, um mit Control-Nachrichten umzugehen. Wenn Sie “lesson-10.pd” öffnen, dürfte Ihnen dieses Patch auf den ersten Blick bekannt vorkommen. Erkennen Sie es wieder? Dies ist das Patch, das wir für die „amplitude modulation“-Synthese in Tutorial Nr. 6 implementiert haben. Es gibt aber einige Überarbeitungen. Erstens habe ich neben dem „amplitude modulation“-Algorithmus die „ring modulation“ skizziert. Obwohl die Implementierung durchaus gleich aussieht, ist der Rest ziemlich anders. Nun haben Sie also ein Patch, das 2 verschiedene Arten der Synthese ausführt, sodass Lehrerinnen und Lehrer und Schülerinnen und Schüler jetzt einfach zwischen „AM“- und „RM“-Synthese hin- und herschalten können. Zudem habe ich noch eine Lautstärke-Regelung hinzugefügt. Wie Sie sehen können, ist der Patch, der dafür verantwortlich ist, die Datenpakete, die durch TouchOSC gesendet wurden, von dem Teil zu trennen, der den Sound generiert, und dem ersten auf der rechten Seite. Um dies zu tun, bin ich alle Patchcords losgeworden und habe sie durch ein neues Objekt-Paar ersetzt: „send“ und „receive“. 02:16 - Wie der Name schon sagt, nimmt „send“ eine Nachricht und sendet diese drahtlos zu einem oder mehreren „receive“-Objekt(en), die denselben Namen wie das gesendete Objekt haben. Dass diese dieselben Namen für „sende“ und „receive“ haben, ist sehr wichtig, weil ansonsten keine Kommunikation zwischen diesen beiden stattfinden könnte. Wie Sie sehen, können beide auch abgekürzt werden, indem wir „s“ für „send“ und „r“ für „receive“ verwenden. Hierdurch wird es uns erlaubt, eine saubere und einfacher zu verstehende Umgebung zu schaffen. Ich empfehle Ihnen, auch die Hilfe-Ordner zu checken. 03:06 - Da die Zuordnung dieses Patches etwas schwieriger ist als die Vorige, musste ich auch einige neue Abstraktionen entwickeln, um verschiedene Nachrichten, die vom Bewegungs-Sensor und vom TouchOSC-GUI kommen, angemessen zu routen, und zwar: „accGuiSwitch“, „switch2“, „spigot2“ and „selector (tilde)“. Ersterer ermöglicht es uns, zwischen einer Synthese, die von den Daten des Bewegungs-Sensors gesteuert wird, und einer Synthese, die von der Interaktion auf der TouchOSC-Zuordnung gesteuert wird, hin und her zuschalten. Dies wird klarer werden, wenn ich Ihnen die dahinterstehende Zuordnung zeige. „switch2“ ermöglicht es uns, auszuwählen, welcher Datenfluss von den eingehenden ausgesendet wird. „spigot2“ ist ähnlich wie das ursprüngliche „spigot“-Objekt, aber mit dieser Abstraktion können wir die Daten zu zwei verschiedenen Ausgängen routen und nicht nur ansteuern. Schauen Sie sich bitte auch die Hilfe-Ordner zu „spigot“ an. 04:24 - „selector (tilde)“ ist ähnlich wie „switch2“, bedeutet aber, Audio-Signale anstelle von Nachrichten zu routen. Ich werde nicht ins Detail gehen, wenn ich Ihnen zeige, wie diese Abstraktionen innerlich arbeiten, daher empfehle ich Ihnen, diese einfach selbst zu entdecken, wenn Sie die Logik dahinter verstehen möchten. Sie sind nämlich recht einfach zu verstehen. 04:50 - Lassen Sie uns über die Zuordnung sprechen. Was haben wir getan? Wenn sie zu TouchOSC gehen und es festlegen, wie ich Ihnen im vorigen Tutorial gezeigt habe, sollten Sie jetzt ein „simple-Layout sehen, das so aussieht. Wenn Sie das dritte Dreieck oben auswählen, sollten Sie zu diesem neuen Fenster gelangen. 05:14 - Um unser Patch zu steuern, nutzen wir diesen großen gelben Rahmen, genannt „xy“, und 3 von 4 dieser Knöpfe. Was ist nun also die Zuordnungs-Strategie dahinter? Die Idee ist, dass Sie die Synthese-Engine steuern können, indem sie die Bewegungs-Sensor-Daten und dieses GUI zur gleichen Zeit benutzen. Aber wie? Wir haben die x- und y-Werte des Geschwindigkeitssensors genutzt und z, die Tiefe, gelöscht, um die Frequenz der „modulator“-Frequenz and die Haupt-Lautstärke auf einmal zu steuern. 05:57 - Aber wir wollen auch entweder „amplitude“ oder „ring“-Modulation benutzen und dies ist der Moment, wo dieses „simple“-Layout, das wir sehen, eingreift. Der zweite Schalter, dieser, erlaubt uns, einen der 2 Synthese-Algorithmen auszuwählen. Wenn er, wie jetzt, auf 0 gesetzt ist, spielen Sie mit „AM“; wenn er so eingeschaltet ist, wie jetzt, spielen Sie mit „RM“. 06:30 - Der erste Schalter erlaubt uns, zu stoppen und die Version des Ordners zu spielen, die wir im Patch geladen haben. Dies wird offensichtlich, wenn Sie das „select“-Objekt anschauen, das mit diesem Ausgang verbunden ist. Wenn „select“ eine 0 bekommt, triggert dies die 0-Nachricht, die zu „readsf“ gesendet wurde, wenn „select“ eine 1 bekommt, wird die „open“-Nachricht, die auch den Pfad des Soundfiles enthält, getriggert. Falls Sie sich nicht an die „readsf“-Syntax erinnern, schauen Sie bitte in den dazugehörigen Hilfe-Ordner und Tutoial Nr. 6. Der letzte Schalter ist derjenige, bei dem Magie passiert! Wenn dieser eingeschaltet ist, werden die Daten des Bewegungs-Sensors überbrückt, sodass der Sound nicht mehr beeinflusst wird, wenn man die Hand bewegt, die das Smartphone hält; dies wird nun stattdessen von diesem zweidimensionalen Schieberegler ausgeführt. Lassen Sie uns einen Sound-File in unser Patch laden und den Pfad hier editieren, um einen Loop zu erstellen. 07:58 - Dies ist die einzige Operation, die sich noch auf dem Gerät vollziehen, all die anderen können mit Ihrem Smartphone kontrolliert werden. Lassen Sie es uns für einen Moment ausprobieren. Sie hören, dass die x-Achse unseres Schiebereglers ähnlich wie die Bewegungs-Sensor-Daten genutzt wird, nämlich um die „modulator“-Frequenz zu kontrollieren, und die y-Achse für die Lautstärke. 08:38 - Lassen Sie uns den Synthese-Typ ändern, den wir steuern wollen, indem wir den zweiten Schalter anwählen. Sie können sehen, dass die Zahlen sich in dieser „numberbox“ hier ändern. Wie sie hören können, ändert sich das Ergebnis erheblich. Lassen Sie uns nun den Sound mit dem ersten Schalter stoppen. Lassen Sie uns den letzten Schalter ausschalten und das Playback auf diese Weise wieder starten. 09:13 - Jetzt steuern wir wieder unser Patch, indem wir die Daten des Bewegungs-Sensors nutzen. 09:31 - Als aller letzte Handlung möchte ich Ihnen zeigen, dass sogar die „layouts“, die von TouchPSC angeboten werden, angepasst werden können, also können Sie ganz einfach Ihre eigenen Kontroll-Interfaces erstellen und laden. Auch wenn es durchaus einfach ist, ist dies kein Thema dieser Serie, daher empfehle ich Ihnen, eines der vielen Tutorials zu schauen, die online verfügbar sind. Nun sind wir am Ende dieser Serie angelangt. Mit diesen Tutorials wollte ich Ihnen zeigen, dass jeder die Grundlagen einer visuellen Programmierumgebung wie Pure Date erlernen kann und auch, was für ein enorm bildendes Potenzial eine solche Art Software hat. Ganz von Anfang an startend, sind Sie nun in der Lage, mittel-komplexe Patches dieser Art zu steuern und zu verstehen, was unzweifelhaft eine große Errungenschaft ist. Sie können die Patches, die wir zusammen entwickelt haben und das Material, das ich Ihnen anbiete, gerne auf verschiedene Arten und in verschiedenen Kontexten nutzen. Wenn Ihre Schülerinnen und Schüler fortgeschritten genug sind, können Sie Ihnen die Basics einer Programmiersprache wie dieser beibringen und den logischen Gedanken dahinter, indem Sie dem Rahmen dieser Tutorials folgen und spezifische Lernziele setzen. Außerdem könnten Sie neue Patches arrangieren oder, indem Sie diejenigen nutzen, die schon fertig zur Nutzung sind, um die Kreativität und das Verlangen nach Interaktion Ihrer jüngeren Schülerinnen und Schüler im Rahmen verschiedener Workshop-Szenarios zu fördern. Entdecken Sie Pura Data weiter und haben Sie Spaß damit!
Beispiel Patch: