「Yadori: Transformed Human Presence for Puppetry」

河原圭佑, 小池栄美, 坂下申世, 鈴木健太, 鈴木一平, 落合陽一

2015.11.8~

ACM UIST 2015 Student Innovation Contestに向け、制作

POST PIXEL & MEDIA at うめきたフェスティバル2016, Ars Electronica Festival 2016: Artist Lab Yoichi Ochiai, Image and Matter by Yoichi Ochiai Cyber Arts and Science towards Digital Natureにて展示

ACM SOGGRAPH 2016 Emerging Technologies, ACE 2016 Creative Showcaseにて展示発表

Yadoriは、人間の身体と顔の動きを人形に伝達し、人間に視聴覚フィードバックを与えるシステムです。このシステムは、人形の視点から録画した映像を再生するヘッドマウントディスプレイ（HMD）、ボイスキャプチャのためのマイクと、人間の口の動きを検出するためのフォトリフレクタから構成されます。従来の人形劇では、人形を操作する練習が必要でした。しかしこのテレプレゼンスシステムにより、人間が自分の体と顔の動きを通して人形を操作できるようになり、人形劇の新たな応用の発展に寄与し、人形劇の対話性とエンターテイメントの範囲を拡大することが期待されます。

プログラム（Arduino）、ハードウェア（センサー, 無線伝送）開発を担当。

「Yadori: Transformed Human Presence for Puppetry」

Keisuke Kawahara, Mose Sakashita*, Amy Koike, Ippei Suzuki, Kenta Suzuki, Yoichi Ochiai

2015.11.8~

Produce for ACM UIST 2015 Student Innovation Contest

Exhibited at POST PIXEL & MEDIA at Umekita Festival 2016, Ars Electronica Festival 2016: Artist Lab Yoichi Ochiai and Image and Matter by Yoichi Ochiai Cyber Arts and Science towards Digital Nature

Presented at ACM SOGGRAPH 2016 Emerging Technologies, ACE 2016 Creative Showcase

We propose a system for transmitting a human performer’s body and facial movements to a puppet with audiovisual feedback to the performer. The system consists of a head-mounted display (HMD) that shows the performer the video recording of the puppet’s view, a microphone for voice capture, and photoreflectors for detecting the mouth movements of the human performer. In conventional puppetry, there is also the need for practice in the manipulation of the puppets to achieve good performance. The proposed telepresence system addresses these issues by enabling the human performer to manipulate the puppet through their own body and facial movements. The proposed system is expected to contribute to the development of new applications of puppetry and expand the interactivity of puppetry and the scope of entertainment.

I am in charge of program (Arduino) and hardware (sensor, radio transmission) development.