Motion Tracking and persons with disabilities                                   

 

 

 

 

 

Contact Info:

Robert Wechsler, director
robert (at) motioncomposer.org
+49 (0)179 511 0400

Josepha Dietz, general manager
josepha.dietz@googlemail.com

"The MotionComposer"
Karl-haussknechstr 11
99423 Weimar
Germany

 

English

-- therapeutic application for severly movement-restricted persons

 

Palindrome is a dance company, but

in 2010, we began developing tools for physical/musical expression by handicapped persons.  The idea is simple:  If you can move, you can dance and make music.  These are fundamental human needs and pleasures and they do not depend on how MUCH a person can move or with which body parts!  Using motion tracking technology it is possible to generate sounds, music, poetry, etc. with any part of the body.  The smallest eye movements are enough.

Together with our partners, we have begun conducting trials with handicapped people and with the therapists and facilitators with whom they work.

Turning movement into sound is not difficult. There are a number of sensor + software systems available today which do this. Our challenge is somewhat different: to turn expressive movement into music in a way that gives the user the sense of hearing one's body. I am a choreographer by trade and have used motion tracking as an artist since the early 80's. This background has made me sensitive to issues of mapping -- to the correlations of movement and sound and how they affect the experience. Done in one way, it is a slight of hand, a magic trick and nothing more. But done in another way, it can be a stimulating, intuitive and even synesthetic coupling of sound and kinesthesia. This distinction is important, and it has as much to do with art and psychology as sensors and software.

With the help of Bauhaus University in Weimar, we are building a box called "The MotionComposer" -- a device that anyone can use to convert their movements into music.  It will integrate MT and DSP technologies and contain an extendable library of compelling aural environments.

 

What is Motion Tracking?

Most people think of motion tracking as a tool used by animators and media artists to generate characters with life-like movements. This technology, which is also referred to as "motion capture", involves complex and expensive hardware and software and is generally not real time.

Another, less known use of the same basic technology is used in live performances of dance and music where human movement is used to generate and control sounds, music or other media in real time.  This is what Palindrome does.

Although much simpler than motion capture, these real time systems allow even very small movements -- such as finger or eye movements -- to be put to artistic, expressive purpose.   We want to give people who have very limited expressive use of their bodies the ability to generate music, control audio texts and so on.

 

 

Deutsch

-- therapeutische Anwendung für schwer bewegungsbehinderter Menschen

 

Wir bieten ein innovatives Projekt für die Anwendung und Weiterentwicklung von Motion Tracking Systemen im Kreative/Therapeutische Dienste schwer bewegungsbehinderter Menschen.

Die Idee ist einfach: 

Mit Hilfe einer Videokamera (u. andere Sensoren) und Computer mit spezielle Software, kann man durch Bewegungen -- auch sehr kleine Bewegungen wie etwa Augen- und Finger-Bewegungen -- Töne, Musik, aufgenommene Texte, Licht und Projektionen steuern. Diese verfahren nennt man "Motion Tracking" (s. unten) und unsere Performance Gruppe, Palindrome, hat es seit 15 Jahre entwickelt und erfolgreich auf der Bühne eingesetzt.

Nun arbeiten wir mit Komponisten, Choreographen und Ingenieuren um diese Technologie einzusetzen in attraktiver, praktischer und künsterlischer Art und Weise für ein breites Spektrum von behinderte und nicht-behinderte Menschen (s. unsere work-in-progress Antrag: Der MotionComposer:
ein künstlerischer Ausdrucksvermittler
für Menschen mit Behinderung.
)

 

Was ist Motion Tracking?

Motion Tracking ist in der Filmindustrie als digitales Werkzeug bekannt (auch "motion capture" genannt). Es wird verwendet, um digital erzeugten Wesen lebensechte Bewegungen zu verleihen. Diese Technologie braucht hoch-entwickelte und teuere Geräte, spezielle Computer und propietary Software. Die Systeme sind in der Regel nicht Echtzeit. Vicon® ist z.B. Marktführer.

Ein weniger bekannte Form von Motion Tracking mit der wir arbeiten, beruht auf der selben Grundtechnologien, ist aber wesentlich einfacher zu Handhaben. Man benötigt nur eine Videokamera, einen marktüblichen Computer und ist wesentlich leichter zu lernen und zu bedienen. Die Menschen vor der Kamera müssen keine Markierungen am Körper tragen und die Datenübermittlung ist Echtzeit. Dieses System ist durchaus fähig auch die kleinsten Finger- und Augenbewegung in Musik, Audiotexte, etc. zu konvertieren.  Beispiele sind EyeCon® und EyesWeb®.