Auteur: Frédéric Bevilacqua Titel: Vluchtige notities over het vangen van bewegingen



Dovnload 74.17 Kb.
Datum17.08.2016
Grootte74.17 Kb.

TLcorracc_BevilacquaFin_ver3.doc

Editor general comments: see images in: http://www.du.ahk.nl/egpcbook/FredericBevilacqua/images/; captions coming.


Comment TL: check “reference 10”


Auteur: Frédéric Bevilacqua

Titel: Vluchtige notities over het vangen van bewegingen


Aantal woorden:
Mijn huidige interesse in interactieve digitale media begon in 1999, kort nadat ik naar de Universiteit van California Irvine (UCI) vertrok. Een betrokkenheid van meer dan acht jaar bij dit onderwerp is zowel kort als lang. Kort, vergeleken met decennia van experimentatie door sommige vaklui op dit gebied.1 Lang genoeg om onderzoeksdoelen te kunnen formuleren die mij nog eens vele jaren bezig zouden kunnen houden. In dit korte essay zal ik enkele van de vragen en trajecten schetsen die verband houden met de doelen die ik mij heb gesteld.
Ik begon dit onderzoek op het gebied van interactieve media als een zijlijntje, hoofdzakelijk gemotiveerd door mijn muziekpraktijk. Uiteindelijk echter overvleugelde het mijn eerdere onderzoeksfocus aan het Beckman Laser Institute; en ik verlegde mijn werkterrein van het karakteriseren van tumoren (door het meten van de doorgiftetijd van licht door weefsels) naar het karakteriseren van menselijke beweging. Verschillende schalen van ruimte en tijd, maar verrassend genoeg soms vergelijkbare technologieën.2
Door samenwerkingsverbanden met de UCI kunstopleiding begon ik te werken met diverse systemen voor motion capture, het vangen van beweging.3 Mijn eerste doel, vastgesteld in samenwerking met Christopher Dobrian (componist en professor aan de UCI), was het volgen van de beweging van het hele lichaam om daarmee digitale geluiden te sturen. Geen nieuw idee, zelfs in die tijd, maar interessant genoeg iets dat nog steeds groeiende aantallen mensen aantrekt. Later realiseerde ik me dat wij ons op een soort keerpunt bevonden; toen, na een lange periode van pionierswerk, de ontwikkeling van gebareninterfaces voor digitale media opkwam als een kernconcept. Zo begon de internationale conferentie New Interface for Musical Expression in 2001, en maakte in de jaren daarna een belangwekkende groei door.4
Deze opkomst werd kennelijk gestimuleerd door het samenkomen van verschillende disciplines, van computerwetenschap tot neurowetenschap, die zich meer en meer toelegden op menselijke beweging. De aandacht voor gebaren op het grensgebied van de Mens-Computer Interfaces nam de afgelopen tien jaar opvallend toe (zo introduceerde Paul Dourish eind negentiger jaren het concept van embodied interaction).5 Een snelle inventarisatie toont aan dat het aantal wetenschappelijke publicaties met het sleutelwoord "gesture" (gebaar) na 1990 exponentieel is gegroeid. Het betrekkelijk recente verschijnen van videospelletjes die gebruik maken van besturing door gebaren, de klassieke controllers voorbij, vormt slechts een extra bevestiging van deze trend (neem de EyeToy of de Wii). Is dit alleen een modegril of staan we aan de vooravond van iets nieuws?
Ik had het geluk om tegelijkertijd te starten met heel verschillende bewegingssystemen: het "oude" Very Nervous System (VNS, de hardwareversie van vóór softVNS) van David Rokeby en een 3D optisch motion-capture systeem van het hele lichaam.6 Het VNS systeem gebruikte een enkele camera en gaf real-time informatie door over aanwezigheid of beweging binnen een ruimtelijk raster. Dit was een soort spoedcursus in een van de meest gebruikte modellen in de interactieve kunst: de respons hangt af van de hoeveelheid beweging of aanwezigheid op specifieke ruimtelijke locaties.
Vergeleken bij het VNS-systeem was het 3D motion-capture systeem nogal tegengesteld van aard in veel opzichten, de resolutie, de technische complexiteit en het prijskaartje. Aangezien het was ontworpen voor computeranimatie of biomechanische studie, werd het eigenlijke 3D skelet herberekend, en waren de precieze 3D coördinaten van meer dan 30 punten op het lichaam direct toegankelijk voor visuele reconstructie. In de zeventiger jaren maakte ik uit de eerste hand de welbekende experimenten van Johansson mee over de herkenning van menselijke beweging, weergegeven door bewegende punten (point-light displays).7 Het is altijd verbluffend om te zien hoe gemakkelijk we menselijke beweging kunnen verstaan, of een persoon kunnen herkennen, zelfs als de lichaamsrepresentatie extreem vereenvoudigd of abstract gemaakt is. Het lastige deel van dit onderzoek kwam toen we toepasselijke manieren probeerden te vinden om de motion-capture gegevens te interpreteren voor het aansturen van geluidsprocessen. Met meer dan dertig merktekens, aangebracht op het lichaam volgens een gestandaardiseerde procedure, en de 3D ruimtelijke coördinaten hiervan die samen tot 90 temporele curven opleveren -- is het resultaat een zeer omvangrijke verzameling gegevens voor elke seconde van bewegingsopname. Hoe haal je de relevante informatie uit zoveel gegevens, afkomstig van zoveel verschillende parameters?
De formulering van deze vraag is natuurlijk te onnauwkeurig. Iedere toepassing, van biomechanica (gang-analyse, revalidatie, sportgeneeskunde of -training) tot computeranimatie vraagt om andersoortige informatie. Bijvoorbeeld: een beperkt aantal gewrichtsstanden zou voldoende kunnen zijn voor het bestuderen van een specifiek biomechanisch probleem; de reconstructie van een basisskelet kan voldoen voor karakteranimatie. In zulke gevallen kunnen de keuzes van de bewegingsparameters rechtstreeks worden ontleend aan de motion-capture gegevens, specifiek vormgegeven voor zulke gestandaardiseerde toepassingen. Daarentegen vereist het gebruik van een 3D motion-capture systeem als gebareninterface het manipuleren van de hiervan afkomstige geformatteerde gegevens om ze toe te snijden op een interactieve opstelling, die zelf nog moet worden ontworpen. Dit is nog betrekkelijk eenvoudig als eenvoudige handelingen worden gekozen als de basiselementen voor de interactie -- bijvoorbeeld wijzen, of naar een bepaald punt in de ruimte bewegen. Zulke voorbeelden liggen in het verlengde van gangbare computerinteractie-modellen, bijv. "selecteren" en "bewegen" bij het gebruik van een computermuis of joystick. Feitelijk is het soms moeilijk om verder te kijken dan ons alledaagse gebruik van standaard manieren van computerinteractie.
Niettemin wordt het vertalen van zulke simpele interactiemodellen naar de artistieke praktijk gewoonlijk als beperkend ervaren (ook al zijn langs zulke lijnen belangwekkende interactieve kunstwerken geschapen). Onder de beoefenaars worden steeds vaker nieuwe uitdagingen gezocht (zoals bediscussieerd in workshops tijdens het Monaco Dance Forum in 2004 en 2006).8 Samenwerking en informele discussie met choreografen en dansers wijst altijd weer in de richting van concepten als "bewegingskwaliteiten", "bewegingsaanzet" en "intentie" (en bedenk dat deze woorden voor verschillende choreografen heel verschillende betekenissen kunnen hebben).
De ervaring die ik opdeed met 3D motion-capture gaf me de overtuiging dat een belangrijke beperking voor het gebruik van motion-capture in de kunsten nog altijd wordt gevormd door de matige hulpmiddelen die beschikbaar zijn om bewegingsgegevens mee te interpreteren. Op de een of andere manier zou, voor artistieke doeleinden, een eenvoudig systeem met één camera nauwelijks beperkender hoeven zijn dan de driedimensionale motion-capture. Neem bijvoorbeeld een eenvoudige webcam: "bewegingskwaliteiten" worden tenminste gedeeltelijk gevangen in het digitale beeld, zelfs bij een vrij lage resolutie. We kunnen ze met het menselijk oog waarnemen, maar de methoden om zulke informatie uit de digitale gegevensstroom te vissen staan nog in de kinderschoenen.
Dit besef leverde de grondslag voor een onderzoeksprogramma dat ik startte bij IRCAM (Institut de Recherche et Coordination Acoustique/Musique in Parijs) toen ik eind 2003 toetrad tot het Real Time Musical Interactions team.9 De algemene doelstelling betrof bewegingsanalyse en technologie voor de podiumkunsten. 10 Preciezer gezegd formuleerde ik het onderzoek oorspronkelijk als een poging om op basis van bewegingsgegevens "hogere-orde parameters van bewegingen, vergelijkbaar met die welke door choreografen worden gebruikt tijdens creatie en uitvoering" te verwerken.11 Deze hogere-orde parameters zouden bijvoorbeeld kunnen refereren aan "bewegingskwaliteiten" en zouden aldus voor kunstenaars makkelijker te begrijpen zijn. Zo'n doelstelling lag dichtbij de benaderingen van andere onderzoeksgroepen, zoals Antonio Camurri en medewerkers aan de Universiteit van Genua, of het motione project aan de Universiteit van Arizona.12
Natuurlijk bestaat er een fundamenteel probleem in het feit dat deze "hogere-orde parameters" geen helder gedefinieerde concepten zijn. Afhankelijk van de context zouden deze bijvoorbeeld kunnen verwijzen naar heterogene elementen zoals fysieke bewegingsparameters, waarnemings- of semantische aspecten. Een neiging zou kunnen zijn, te werken met bewegingseigenschappen die breed geaccepteerd zijn vanuit het oogpunt van perceptie, en zo expliciet het terrein te betreden van psychologie en neuro-wetenschappelijk onderzoek. Om te beginnen koos ik een andere weg: een hogere-orde bewegingseigenschap moet vrijelijk gedefinieerd worden door de kunstenaar; en de praktische en directe manier om zulke eigenschappen te definiëren is om daarvoor voorbeelden te gebruiken die door de kunstenaar worden aangedragen. Daarom dienen de analyse en een navolgend vocabulaire te worden ontleend aan deze voorbeelden. Natuurlijk leidt dit tot het genereren van parameters die alleen in zeer specifieke gevallen geldig zijn, zonder de belofte van generalisatie. Daarom is de analyse direct afhankelijk van de gegeven context.13
Deze aanpak mag op het eerste gezicht strijdig lijken te zijn met wetenschappelijk onderzoek, waarin naar algemeen geldende resultaten wordt gestreefd. Enkele belangrijke punten moeten hierbij echter worden aangetekend. Ten eerste vind ik dat het doel van mijn onderzoek niet ligt bij menselijke beweging, gebaren of dans op zich, maar bij het ontwerpen van bewegingsgestuurde interactie (ontwerpen moet hier worden verstaan in de brede zin waarin het tegenwoordig vaak wordt gebruikt). Mijn bijdragen aan artistieke- of onderzoeksprojecten bestaan vaak uit voorstellen van methodieken verbonden met het gebruik van motion-capture. Ten tweede geloof ik dat zorgvuldige casussen uiteindelijk algemene resultaten in dit vakgebied zullen opleveren. De ontwikkeling van al te algemene gecomputeriseerde systemen van bewegingsanalyse in de context van hedendaagse kunstpraktijken lijkt mij in deze fase contraproductief, vanwege de onmiskenbare verschillen in esthetiek.
Belangrijk is, dat deze aanpak direct uitgaat van bestaande methodes uit een deelgebied van de artificiële intelligentie, genaamd "machinaal leren". Dit onderzoeksgebied houdt zich bezig met hoe patroon, vorm en gebaar automatisch herkend kunnen worden met behulp van methodes van gegevensverwerking. Dit herkenningsschema is gebaseerd op een verzameling van geïndiceerde voorbeelden die de computer in staat stelt te "leren"; en het is op deze grondslag dat wij zijn begonnen met de ontwikkeling van de gesture follower.14
Er zijn gevestigde methodes om stem-, schrift-, of gebarenherkenning te verrichten, getuige het zich verbreidende gebruik in computer-, spel-, en telefooninterfaces. Niettemin vormt de toepassing daarvan in de kunstpraktijk nog steeds een uitdaging. De "gesture follower" beoogt een antwoord op deze situatie te bieden door de ontwikkeling van een verzameling hulpmiddelen voor gebruik in de artistieke/ onderzoekspraktijk.15 In detail, methodes van machinaal leren steunen vaak op omslachtige "leer- en oefenfases" waarbij een groot aantal voorbeelden moet worden gegeven om de garantie te bieden dat het algoritme ook werkt met een heterogene populatie. Opnieuw was hier het doel om een automatisch herkenningssysteem te ontwikkelen dat slechts in een beperkt aantal gevallen werkt, maar met als voordeel het zeer eenvoudig en vlot definiëren van deze gevallen.
Het globale idee achter de gesture follower is, een uitvoering te vergelijken met eerder opgenomen uitvoeringen. In de praktijk komt de eerste stap overeen met de keuze voor een of meer frasen die worden opgenomen en opgeslagen in het computergeheugen. De selectie van deze frasen vormt een cruciale stap; zij moeten representatief zijn voor een vocabulair van gebaren of voor de kunstenaar betekenisvolle eigenschappen bezitten. De tweede stap vindt plaats tijdens de uitvoering: het computerprogramma beoordeelt real-time of overeenkomstig vocabulair (eigenschappen) aanwezig is. De resultaten kunnen worden uitgevoerd als "gewogen scores", die de mate van overeenkomst van een gegeven uitvoering met de in de database opgeslagen uitvoeringen uitdrukken.
De eerste fase van het opnemen, selecteren en indiceren van frasen kan worden beschouwd als het annoteren van het materiaal. Deze annotatie kan ook het uitlichten van korte momenten of frasen omvatten, bijvoorbeeld het toevoegen van grafische annotaties op een tijdlijn-weergave van de gebaren (in Figuur 1, de verticale markeerstrepen of de groene aanduiding als voorbeelden van zulke annotaties). Zulke processen zijn gangbaar in de kunstpraktijk, zelfs als dit bereikt zou kunnen worden met behulp van radicaal verschillende middelen, geschreven notities, gebruik van video, enz. Deze annotaties kunnen worden gebruikt als basis voor het ontwerpen van het interactieproces dat plaats heeft tijdens de tweede fase, nl. de uitvoering. Meer voorbeelden worden later gegeven.
Figuur 1. Schermafbeelding van de interface van de gesture follower tijdens experimenten met EG | PC.
Het allerbelangrijkste punt om hierbij op te merken is, dat deze aanpak korte metten maakt met de noodzaak voor de kunstenaar om de details over de eigenlijke bewegingsopname-gegevens te kennen, hoe deze zijn vergaard en welke positionele referenties zij bevatten. Deze methodiek is onafhankelijk, in zekere mate, van de motion-capture technologie zelf. Uiteraard moet de technologie geschikt zijn voor het type beweging. Bijvoorbeeld: snelle beweging zal een hoge temporele resolutie vereisen, zeer kleine gebaren moeten worden gevangen met voldoende gevoelige sensoren. Maar, er is niet de noodzaak om direct met de ruwe gegevens te werken, wat vaak erg tegennatuurlijk kan zijn. De gesture follower is ontworpen in een poging om dit voortdurende probleem van motion-capture technologie te ondervangen: er gaapt doorgaans een kloof tussen onze gebaren-representatie en de eigenlijke, ingevangen gegevens. Hier kom ik nog op terug nadat ik enkele van de kunstprojecten heb beschreven, die belangrijk waren voor de evolutie van de gesture follower.
De eigenlijke ontwikkeling van de gesture follower begon in 2004, en het concept is geëvolueerd in vele proefnemingen, discussies en artistieke onderzoeksprojecten en scheppingen. Ik ben erkentelijkheid verschuldigd aan al mijn collega's van het Real Time Musical Interactions (IMTR) team and het Performing Arts Technology Research team voor hun bijdragen aan dit project, dat in synergie met de werken van de verschillende teams is ontwikkeld.16 In het bijzonder, dat het algoritme, ontwikkeld voor de gesture follower, direct is beïnvloed door de "Score following" technologie die binnen het IMTR-team werd ontwikkeld.17 En ook de ontwikkeling van de software FTM, onder leiding van Norbert Schnell, is instrumentaal geweest voor de praktische toepassing van de gesture follower in artistieke contexten.18
De eerste stap, ontwikkeld in samenwerking met Rémy Muller, was om automatisch correspondentie in tijd te bieden tussen een live en een opgenomen uitvoering. Met andere woorden, het doel was om vergelijkbare bewegingen, die van nature met verschillende snelheden optreden, te synchroniseren. Een dergelijke procedure zou ons vertellen waar we zijn in de frase, hetgeen helpt, bijvoorbeeld om bewegingseigenschappen op bepaalde sleutelmomenten te vergelijken. Deze eerste fase in de ontwikkeling werd bereikt met behulp van video-opnamen van korte choreografische frasen gemaakt door Hervé Robbe.19 Het eerste prototype was in staat om twee verschillende video's van een frase, uitgevoerd door twee verschillende dansers, te synchroniseren. Evenwel bleef ons werk aan de gesture follower hooguit een "bevestiging van het principe", toen nog onbruikbaar op het toneel.
De volgende samenwerking was met de in Parijs gevestigde choreograaf Myriam Gourfink aan haar werk "This is my house", een project dat de ontwikkeling van onze eerste echte werktuigen voor dans aanmerkelijk vooruitbracht. De structuur van het stuk was gebaseerd op een "open partituur". Een computerprogramma werd ontworpen om keuzes te maken over het verloop van een partituur die door de dansers werd bekeken. Deze selectie hing af van de real-time analyse van gegevens, verkregen van sensoren die op het kostuum waren aangebracht. "De technologie (...) maakt het mogelijk om progressief tijdens de voortgang van het stuk, structuur te bieden aan situaties, nieuwe contexten die de dansers interpreteren". 20 Na verscheidene experimenten werden vier typen hulpmiddelen voor analyse geselecteerd: Frase-herkenning (gebaseerd op een vooraf opgenomen frase), synchroniciteit tussen dansers (bijvoorbeeld gelijktijdig ademen), en cycliciteit (beoordeling van frase-herhaling) en activiteit. Rémy Muller paste deze hulpmiddelen toe en stelde ze nader af tijdens de repetities. De frase-herkenning gebruikte een vooraf opgenomen frase, terwijl de analyse van de synchroniciteit en de cycliciteit waren gebaseerd op het vergelijken van gebaren die werden opgenomen tijdens de uitvoering zelf. Deze herkenningsprocedures bleken effectief te zijn voor het stuk (zie ook verwijzing 10).
Deze samenwerking met Gourfink benadrukte het belang van de opvatting van een frase als een temporeel proces. Al de hulpmiddelen voor de bewegingsanalyse waren direct gebaseerd op tijdkenmerken. In het bijzonder was het frase-herkenningsschema er niet op gericht, poses te herkennen (wat gebruikelijk is in andere projecten, zoals motione), maar juist de overgangen tussen poses.
De ontwikkeling van de gesture follower werd verder gesterkt door de samenwerking met kunstenaar en onderzoeker Alice Daquet. Tijdens een residency bij ons team aan het IRCAM, gebruikte zij de gesture follower om het geluid te sturen in twee performances, getiteld I.D.O. en I.D.L.21 Diverse gebaren werden geselecteerd en gelinkt aan bepaalde geluidsbestanden. De frase-herkenning en -synchronisatie boden haar de mogelijkheid om de gelijktijdige mix van verschillende audiokanalen te sturen. Sids dit project is de gesture follower in toenemende mate gebruikt bij IRCAM in de muziekpraktijk, zowel in pedagogiek als in muziekcreatie.22 Zo is het concept bijvoorbeeld geïntegreerd in een lopend werk in samenwerking met componist Florence Baschet voor versterkt strijkkwartet. 23
Ik sluit af met een kort overzicht van het notatie-/documentatieproject van EG | PC, dat een unieke kans bood om mijn reflectie op het gebruik van bewegingsopname in dans in een multidisciplinaire werkgroep te vervolgen. Een eerste set experimenten had in het najaar van 2006 plaats. Diverse frasen uit de workshop Double Skin/Double Mind werden opgenomen met een gemengd opnamesysteem dat zowel op het lichaam bevestigde sensoren als videoanalyse (EyesWeb) gebruikte.24 In het bijzonder richtten we ons op twee gechoreografeerde frasen, gedanst door Bertha Bermudez en Emio Greco (ongeveer 30 seconden lang), die wij verschillende keren opnamen. Deze keuze werd ingegeven door de noodzaak om frasen met precies voorgeschreven bewegingen te gebruiken, hetgeen het herkenningsmechanisme van de gesture follower een flinke steun in de rug biedt.
Verschillende tests werden uitgeprobeerd. Eerst knipten we een van de opgenomen frasen in subsecties; dit is een voorbeeld van de eerder beschreven "annotatiefase". Tijdens het opnieuw uitvoeren van de frase, werd de gesture follower ingesteld op het herkennen van deze subsecties, en het uitvoeren van een geluidssignaal (een "klik"). Volgens zowel de danser (Bertha Bermudez) als de toeschouwers werd het geluid op het juiste moment gehoord, wat aangaf dat het systeem in staat was de frase correct te ontleden.25
Niettemin kan de aanname dat men een frase op precieze en unieke momenten kan segmenteren problematisch zijn in dans (zie bijv. de interessante studie door Scott deLahunta en Philip Barnard).26 Deze beperking kan worden aangepakt door meer algemene gebeurtenissen in de tijd die tijdens variabele segmenten optreden in beschouwing te nemen. Om met zo'n idee te experimenteren, namen we een bepaald stukje van de Double Skin/Double Mind workshop op, waar de ademhalings-fasen inademen/uitademen -- kunnen worden gedefinieerd als contouren/vormen (maar niet gemeten door onze sensoren). Na opname van deze beweging, werd een "ideale" ademhalingscurve met de hand aangebracht op de tijdlijn die de frase representeerde. Dit vormt wederom een voorbeeld van mogelijke annotatie. De follower maakt een precieze synchronisatie met onze getekende curve mogelijk, zodat een ademhalingsgeluid wordt gegenereerd bij de bewegingen van het lichaam. De danser wordt dan "gevolgd" door een ademhalingsgeluid, hetzij uitgerekt of ingekort, afhankelijk van hoe snel of langzaam de frase wordt uitgevoerd.
Deze experimenten leidden ons tot het incorporeren van zulke interactiemodellen in de installatie die was opgezet in het kader van het notatie/documentatieproject van EG | PC dat in 2007 verder werd ontwikkeld (zie Figuur 2). In de aard van de zaak krijgen de deelnemers in de installatieruimte een scala aan akoestische feedback terwijl zij bewegen volgens de instructies en het op een scherm getoonde voorbeeld. Een belangrijke vraag blijft bestaan ten aanzien van de mogelijkheid om informatie te geven die gerelateerd is aan "hoe" de beweging wordt uitgevoerd. Voorbereidende tests werden uitgevoerd waarbij meervoudige optredens van dezelfde frasen werden gebruikt. Dit toonde aan dat het systeem kan bepalen welke vergelijkbaar zijn. Het vinden van overeenkomsten tussen de uitvoering en opgeslagen voorbeelden in een database kan een mechanisme zijn om bewegingseigenschappen te karakteriseren, als elke frase in de database is geïndiceerd. Het feit dat het gebruik van onze software hulpmiddelen het mogelijk maakt om te experimenteren met zulke vragen en punten met het oog op toekomstige ontwikkelingen en debatten is opwindend.
Figuur 2 Afbeelding van de voorvertoning van de installatie in juni 2007.
Ik sluit dit essay af door het herformuleren van enkele uitspraken die ik eerder heb toegelicht. Ten eerste wil ik helder zijn ten aanzien van een bepaald methodologisch punt. Als ik mijn onderzoek omschrijf als het winnen van hogere-orde parameters van beweging: dit is noch een bottom-up, noch een top-down benadering. Het is in zekere zin een gemengde benadering, die een brug probeert te slaan tussen onze representatie van gebaren en de gegevens die ons door de technologie worden aangereikt. Met gebaren-representatie verwijs ik naar abstracte vormen (mentale of lichamelijke kennis) van gebaren/beweging, die bijna altijd beschikbaar zijn in kunstvormen. Deze abstracte vormen zijn onafhankelijk van enig bewegingsopname systeem.
Het leggen van verbanden tussen onze abstracte representatie van gebaren en de bewegingsgegevens is problematisch. Ik vind het altijd moeilijk om dit uit te leggen aan mensen die weinig ervaring hebben met motion-capture systemen: zij begrijpen vaak niet deze frustrerende kloof tussen hoe zij denken over beweging en hoe de feitelijke opnamesystemen zich gedragen. In feite corresponderen de gegevens vaak met een schamele en contra-intuïtieve representatie van wat lichaamsbeweging is. Dit leidt tot praktische moeilijkheden tijdens het werken met motion-capture systemen, wat dan soms de indruk wekt dat het probleem bij de technologie zelf ligt, terwijl het vaak meer een kwestie is van de methodes voor het gebruik van de hulpmiddelen.
De benadering waar ik voor koos is gebaseerd op de erkenning dat zowel onze abstracte representatie van gebaren en feitelijke gebarengegevens gemeenschappelijke tijdsaspecten delen, en dat de verbanden tussen beide kunnen worden uitgedrukt als tijd-relaties. Zo kunnen bijvoorbeeld bijzonderheden die tegelijkertijd in beide representaties optreden expliciet gemaakt worden. Dit kan corresponderen met het toevoegen van merktekens en profielen op een tijdlijn, als eerder beschreven. De gesture follower belichaamt een dergelijke benadering, omdat het deze frasen als temporele objecten beschouwt die wij kunnen waarnemen -- wij kunnen "binnenin de frase kijken" om relevante momenten te vinden of proberen te voorspellen wat er gaat gebeuren. Deze temporele objecten kunnen ook een interactie hebben met andere objecten, zoals bijvoorbeeld geluiden. Dit behelst een andere kijk op het gebruikelijke interactiemodel dat beelden/poses als basiselementen beschouwt. Kenmerkend is, dat de relatie tussen gebarengegevens en geluid of beelden wordt aangeduid als "mapping", "afbeelden", een duidelijke verwijzing naar de gerichtheid op voornamelijk ruimtelijke relaties. Ik hoop hier een andere richting te hebben aangegeven, een ander soort interactie waarin tijd centraal staat.27 Deze aanpak lijkt veelbelovende resultaten af te leveren, alsmede verdere vragen voor onderzoekers om te blijven najagen. Waarschijnlijk nog voor lange tijd...
Dankwoord:

Ik wil mijn vele collega's en vrienden bedanken, die op verschillende niveaus betrokken zijn (geweest) bij het hier beschreven onderzoek: Florence Baschet, Marion Bastien, Bertha Bermudez, Julien Bloit, Riccardo Borghesi, Arshia Cont, Andrea Cera, David Cuccia, Alice Daquet, Aymeric Devergie, Christopher Dobrian, Scott deLahunta, Emmanuel Fléty, Donald Glowinski, Myriam Gourfink, Emio Greco, Fabrice Guédy, Corinne Jola, Frédéric Leau, Serge Lemouton, Nicolas Leroy, Eliane Mirzabekiantz, Rémy Müller, Nicolas Rasamimanana, Hervé Robbe, Norbert Schnell, Pieter Scholten, Diemo Schwarz, Anthony Sypniewski, Chris Ziegler.




1(alle internetlinks zijn op 07/07/2007 benaderd)

 Zie bijvoorbeeld:

- Dixon S. 2007. Digital Performance: A History of New Media in Theater, Dance, Performance Art, and Installation. Cambridge, Mass./London: MIT Press

- Wilson S. 2002, Information Arts. Intersections of Art, Science, and Technology, Cambridge, Mass./London: MIT Press.


2 Sommige van de gebruikte methodes en algoritmes zijn vergelijkbaar (bijv. gebaseerd op statistische kansberekening) en sommige technologieën profiteren van vergelijkbare vorderingen in fotonica (camera's bijv.).

3 - Bevilacqua, F., Ridenour, J., Cuccia, D.J. 2002. Mapping Music to Gesture: A study using 3D motion capture data. Proceeding of the Workshop/Symposium on Sensing and Input for Media-centric Systems, Santa Barbara.

- Zie ook: Christopher Dobrian. Website: http://music.arts.uci.edu/dobrian/motioncapture/ .



4 http://www.nime.org .

5 Dourish, P. 2001. Where the Action Is: The Foundations of Embodied Interaction. Cambridge: MIT Press.

6 http://homepage.mac.com/davidrokeby/home.html Zie ook bijv. http://www.vicon.com

7 Johansson, G. Visual Perception of Biological Motion and a Model For Its Analysis. Perception and Psychophysics 14, 201-211 (1973).

8 Zie:

- deLahunta, S. 2003. The Dimensions of Data Space”. Anomalie digital_arts #3: Interfaces:Theories & Applications. ed. Emanuele Quinz. Paris: Anomos., 72-79.



- Scientifiquement danse. Quand la danse puise aux sciences et réciproquement. 2006. Nouvelles de Danse n° 53 "", éditions Contredanse, Bruxelles,

9 Real-time Musical Interactions team (http://imtr.ircam.fr/)

10 Dit onderzoek was ook onderdeel van het Performing Arts Technology Research (http://www.ircam.fr/301.html?L=1) waarin verschillende IRCAM teams samenwerkten.

11 deLahunta S., Bevilacqua F. 2007. Sharing Descriptions of Movement. International Journal of Performance and Digital Media. 3(1).

12 http://www.infomus.dist.unige.it/eywindex.html en http://ame.asu.edu/motione/

13 Het formaliseren wat een context is, kan onderwerp van discussie zijn, zie bijv.: Dourish, P. 2004. What We Talk About When We Talk About Context. Personal and Ubiquitous Computing, 8(1), 19-30.

14 Bevilacqua F., Muller R. 2005. A Gesture follower for performing arts, Proceeding of the The 6th International Workshop on Gesture in Human-Computer Interaction and Simulation, Berder Island France; Muller R. 2004. Human Motion Following system using Hidden Markov Models and application to dance performance”, Master thesis, IRCAM; Bevilacqua F., Guédy F., Schnell N., Fléty E., Leroy N. 2007. Wireless sensor interface and gesture-follower for music pedagogy, Proceedings of the International Conference of New Interfaces for Musical Expression (NIME 07), 124-129 NY.

15 Bevilacqua F., Muller R., Schnell N. 2005. MnM: a Max/MSP mapping toolbox. Proceedings of the International Conference of New Interfaces for Musical Expression (NIME 05), 85-88, Vancouver

16 http://imtr.ircam.fr/index.php/People

17 Schwarz D., Cont A., Schnell N. 2005. From Boulez to Ballads: Training Ircam's Score Follower. Proceedings of the International Computer Music Conference (ICMC). Barcelona.

18 Schnell N., Borghesi R., Schwarz D., Bevilacqua, F., Muller. R. 2005. FTM - Complex Data Structures for Max, Proceedings of the International Computer Music Conference (ICMC), Barcelona.

19 Twee verschillende dansers vertolkten verschillende korte frasen twee keer achtereen (kenmerkende lengte minder dan 1 minuut). Deze database is opgenomen als onderdeel van een samenwerking tussen IRCAM, Hervé Robbe en de componist Andrea Cera, die deze bij zijn componeerproces gebruikte. Zie http://www.ircam.fr/671.html?&L=1#2651

20 http://www.myriam-gourfink.com/Projects/Projects.htm

21 I.D.L. werd uitgevoerd bij Point Ephemere tijdens de International Conference van New Interfaces for Musical Expression (NIME 06) in Parijs en I.D.O. bij LE CUBE (Frankrijk).

22 Een deel van de technologische ontwikkeling van de gesture follower valt onder het I-MAESTRO project, deels met steun van de Europese Gemeenschap ihkv de prioriteit Information Society Technologies (IST) van het 6th Framework Programme for R&D (IST-026883, www.i-maestro.org).

23 Elke strijkstok van de strijkinstrumenten is uitgerust met sensoren (versnellingsmeter, gyroscoop en druksensoren) die toegang geven tot strijkparameters. De strijkbeweging wordt uiteindelijk gebruikt om real-time elektronische geluidsprocessen te sturen. Een onderzoeksfase startte eind 2007 waarbij de gesture follower werd gebruikt als een middel om het strijken te karakteriseren. Wederom worden hierbij vergelijkbare modellen gebruikt: het opnemen van voorbeeldgebaren en vergelijken. Huidige werkzaamheden proberen parameters vast te stellen die gekoppeld zijn aan variaties in interpretatie. De première is gepland voor 2008.

24 http://www.emiogrecopc.nl/public/index_en.php?thisarticle=216; EyesWeb URL: http://www.eyesweb.org/

25 Dit vormt uiteraard geen hard bewijs. Systematische kwantitatieve studies van de nauwkeurigheid van de gesture follower worden nu uitgevoerd.

26 deLahunta, S. Barnard, P. 2005. What’s in a phrase? Tanz im Kopf: Jahrbuch 15 der Gesellschaft für Tanzforschung. J. Birringer & J. Fenger (Eds). Hamburg LIT Verlag.

27 Zouden we moeten spreken van time-based interaction? Enkele van de hier besproken elementen zijn ook te vinden in:

- Lee E., Designing Time-Based Interactions With Multimedia. ACM Multimedia Doctoral Symposium, 1037 - 1038, Orchard, Singapore, ACM Press.



- Lee E. and Borchers J.. 2005. The Role of Time in Engineering Computer Music Systems. Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2005), Vancouver, pp 204-207.









De database wordt beschermd door het auteursrecht ©opleid.info 2019
stuur bericht

    Hoofdpagina