Accumu 舞台芸術IT

エンターテインメントとIT（舞台芸術 IT）

京都情報大学院大学 教授 植田 浩司

艶やかな声で観客を魅了したニッツァ・メラス教授（カナダのシルク・ドゥ・ソレイユのメインボーカリスト）

2016年1月22日にカナダのシルク・ドゥ・ソレイユのメインボーカリストニッツァ・メラス先生によるMUΣA（ムーサ）ショーが行われた。これは京都コンピュータ学院の創立50周年を記念して販売されたニッツァ先生創作の音楽アルバムMUΣAの音楽世界をビジュアルで表現するショーである。

音楽はいまやコンピュータの力なしで製作することは考えられないようになってきている。もちろんアーティストの音楽の才能は言うまでもないが，ICTをいかに使いこなせるかどうかも，アーティストとして成功するか否かに関して，とても大切な要素ではないかと感じる。以下，このショーがどのようにして作られたか，技術的な要素やステージ裏での苦労など順を追って記述していきたい。

2015年春に最初のコンセプトメーキングと技術的な検討，および関連技術の教授のために，ニッツァ・メラス先生とキリル・コシック先生が来日された。MUΣAというのはギリシャ語で芸術を司る女神のことで，英語でのミューズのこと。音楽を表すミュージックや，博物館・美術館を表すミュージアムもこの言葉から派生した。MUΣAのアルバムに収められている音楽も，どこか神秘的で，聴くものに安心感と心にインスピレーションを与えてくれる。このインスピレーションこそ，女神たちが芸術家に与える恩恵だそうだ。それをこのショーでは表現したかった。このプロジェクトには学生も参加している。教員と学生がみなアイデアを出し合い，お互いインスパイアーされながら，良い作品を創ろうという意識を共有することから始まった。ショーを構成するにはタブローを考えることから始める。これは背景ビジュアル，小道具，ステージ衣装，ライティングなどをどのようにするのか，どのようなコンセプトで，伝えたいメッセージは何かをシーンごとに決めたストーリーボードのようなものである。タブローは曲ごとに決めていくが，アルバムに録音されている順番でなくとも良い。一般にショーは1時間〜1時間30分の上演時間であり，各タブローをどのような順番で構成するかをショーにあわせて考える。上演時間が短いショーであれば，タブローの数も少なくなる。今回は，学生にアンケートを取って，まず最初に取り組みたい曲を決め，そのタブローを考えることから始めた。

初めに取り組んだ曲は，「エセリアル・フライト」であった。この曲のコンセプトは海の中。深海にたたずむ女神を表現し，神秘的で幻想的な雰囲気にすることに決めた。CG合成によりニッツァ先生を人魚のように表すことを考え，グリーンバックの前で演技をしてもらい，それを4Kカメラで撮影した。4Kカメラとそのアクセサリーの選定にはキリル先生が行い，カメラを手持ちで撮影しても手振れが起きないよう，センサーでカメラの揺れやレンズの向きを検知し，常にぶれ無く，レンズを一定方向に向けて撮影ができるジンバルと呼ばれる装置も導入した。キリル先生は特殊撮影の方法や機器の導入に関するアドバイスを監督に提言するスペシャルエフェクツ・スーパーバイザーとして長らくアメリカ・ハリウッドで多くの映画に貢献している。今回もキリル先生のアドバイスの元，4Kカメラを操作し，ライティングを行い，海の中で髪が揺らぐように送風機で風を送る操作を学生たちが行った。背景はグリーンなので，後にCGで作成された映像と合成することができる。カメラと背景の動きを検出するために，グリーンバックにはマーカーと呼ばれる参照点を貼り付けておく。これによって，カメラが被写体を周り込みながら撮影した際に，合成された背景も不自然な感じなく見えるように動かすことができる。異なるカメラアングルから何度も撮影をし，春のプロジェクトは一旦終了し，続きは秋に二人の先生がこられるまで持ち越しとなった。

CG合成のためのグリーンバックでの撮影と合成された画面

秋には春に撮影した映像に合うように，海の中を泳ぐクリーチャーを主に鴨川校のデザイン系の学生が製作をする。上述のクリーチャー製作，CGによる深海の風景ビジュアル製作という，ポストプロダクションという工程にとりかかる。キリル先生の提案で，クリーチャーはインタラクティブに動かせるように考えることにした。本番で舞台袖に待機する学生の手や顔にマーカーを付けて，それをカメラで撮影し，マーカーの移動を検知するモーショントラッキングという技術を用いる。クリーチャーの手や顔が，学生の顔や手と同期して動くようにしようという試みだ。通常，モーショントラッキングには早い動きにも対応できるよう，データの転送速度が速い，高価なカメラが用いられる。しかし，キリル先生によると，家庭用ゲーム機のカメラで代用できることがわかった。これだと安価で手に入る。モーションキャプチャのプログラムは，最近3DCGを用いたゲームでよく利用されているゲームエンジン，Unityを用いることにした。たたき台のプログラムはキリル先生が作り，プログラマの学生がそれを応用する。モーションキャプチャとあわせて今回のショーの特殊効果として，炎を表現することを考えた。古の女神を讃え迎える神託所，オラクルに焚かれる炎を表す。実際にステージで火を扱うことはできないので，CGで作成した炎をプロジェクションマッピングする方法を考えることにした。ビルの壁などにプロジェクターを数台も用いて大掛かりに映像を投影するプロジェクションマッピングは近年様々なイベントで目にすることも多いが，たいていは，固定された物，固形物に投影するものである。われわれは炎のように，ゆらゆらとゆらぐ表現を見せたかったので，当初はミストスクリーンといわれる，霧を幕状に発生させ，その霧に投影することを考え，試作してみた。しかしながら，自作では十分な霧の量が得られず，またステージが水浸しになることを避けるため，半透明の布に投影することを考えた。何種類かの布を購入し，夜になって実習室の電気を消してプロジェクターで投影する実験を行い，効果を確かめた。半透明の布だと，布の後ろに人物を立たせて，人物の手前に炎がゆらめくシーンを再現できると考えた。

炎のプロジェクションマッピングの実験と本番での映像

MUΣAは女神の象徴として円，球体をモチーフとしていくつかのタブローに表現させたかった。後述する月の女神と月もそうである。あるタブローでは女神を表す球体のオブジェがそれまでスランプで絵が描けなかった画家にインスピレーションを与えるという構成にした。球体をどのように表現するかが大きな問題であった。アイデアのひとつとして，ドローンを用いて，バルーンを持ち上げる実験を行った。実際に学生がドローンを操縦したのだが，客席に落下させずにコントロールすることが難しく，採用はされなかった。このタブローでは，画家が絵を描くシーンがあり，何も無い空中に絵が現れるようにしたいというアイデアがあった。そのためには前述の半透明の布の上に，CGで絵を投影し，画家の腕の動きに合わせて線画が現れる表現を実現しようと考えた。演者が手に着けた赤外線LEDをカメラが追尾し，半透明の布にLEDの動きに合わせてCGを投影するという技術だ。秋のプロジェクトはこれら技術的な要素について実験を行い，1月のショー前の準備期間に継続して製作・実験することとなった。

舞台および舞台小物の製作作業

年が開け，ショーの準備に本格的に取り組みはじめ，ホールでの作業が多くなった。当初考えていた様々なアイデアは，技術的な面と，時間的な面，そして期待した効果が得られないという面で，いくつかは不採用となった。反面，学生たちの努力と貢献で，別のアイデアが採用されることとなった。当初「エセリアル・フライト」は海の中を泳ぐCGクリーチャーをインタラクティブに動かすことを考えていたが，半径6メートルのサーキュラースカートを作り，スカートにCG映像をプロジェクションマッピングし，海を表現することにした。スカートは波が押し寄せるようにステージ上で空気をはらませるようにした。また，会場である京都コンピュータ学院京都駅前校6階ホールの前面スクリーンだけでなく，ホールの壁面も含めて360度ほぼ全ての壁に映像を投影するアイデアを採用した。ホール壁面には柱があるが，この柱と柱の間を白い布で覆い，スクリーンにする作業が始まった。100メートル以上の布を調達し，裁断し，壁面上部から垂らす。長さ6メートルの布を縫い合わせスカートを作る。これらの作業は学生と教職員が協力し，開演の日ぎりぎりに間に合わせることができた。壁面には三つのプロジェクターを後方から投影した。中央のスクリーンは中央のプロジェクターからまっすぐ投影されるので問題はないが，左右の壁に投影される映像は斜め後方に位置するプロジェクターから投影されることになる。従って，投影される物の形が歪んでしまう。この問題を解決するには，あらかじめCG映像を反対の歪となるよう作成しておく。壁に投影した際に歪が相殺されて，自然に見えるように修正しておく。さらに，ホールには前述したように，柱の凹凸がある。柱の面には投影されないように，CG映像は柱の形状と柱の間隔に合わせてマスク処理され作られており，柱にはプロジェクターの光があたらないようになっている。こうすることで，柱の後ろ側に映像が回り込んで映っているような錯覚を感じさせ，ホールの柱がまるでギリシャ・パルテノン神殿の柱のように表現できるのではないかという狙いであった。神殿の柱の間から覗く，空や森や，海といったものを表現し，ホールにいる観客とともに異世界へ転送された感覚を共有したかった。

「月の女神」の舞台設定

1月22日の公演はあまり十分とは言えないリハーサルのみで本番を迎えることになった。CG映像の製作や，スカートの縫製などといった作業のほかに，学生には様々な役割が与えられている。ショーにはニッツァ先生だけでなく，学生も出演する。シャーマンとその弟子に扮した学生や，コーラスの学生たちがステージ裏で控えている。ステージにはステージマネージャーと呼ばれる役割があり，上手・下手それぞれのステージマネージャーそして，舞台裏控え室のバックステージマネージャーなどがいる。これらの役割は，出演者がタブローに合った正しい衣装を身に着けているか，正しい演出小物を持っているか。マイクを使う場合は，マイクの電池は大丈夫か，使い終わったマイクは次の出演者が探さなくてもいいように所定の場所に戻すなど，ショーが円滑かつ間違いのないように進行するよう，常にいろいろなところに目を配っていなければならない重要なポジションである。これら役割も学生が担った。

最後には出演した学生とともに合唱

MUΣAショーは大きな失敗もなく無事に終わることができた。見に来てくださった来賓の方々ならびに諸先生方，学生諸君からは，多くの賛辞をいただいた。特にホール壁面すべてを使った映像表現に驚いたようだった。これは狙い通りであった。ショーの成功のみならず，プロジェクトとして，学生は様々なことを学んだようだ。自分にこのような才能や力があったことを初めて自覚させてくれた。チームワークの大切さを実感できたなど，感想は様々であったが，プロジェクトを通して，問題を見つけ，その解決方法を模索し，実験で確認し，本番用に製作し，そして実行する，といったプロジェクトベースラーニングを実践し，効果を得られて良かった。MUΣAを音楽のショーと侮る無かれ，昨今の音楽にはコンピュータがかかせないことは冒頭に述べたとおり。京都で作業している我々以外にも，ロサンゼルスで活動中の音楽家にも編曲を依頼し，クラウドストレージでデータ共有を行い，ニッツァ先生が帰国し，京都に不在の時にはメッセンジャーサービスでリアルタイムにチャットして打ち合わせするなど，ICTを自在に活用しグローバルに活動をするのが昨今のアーティストであると感じた。ニッツァ・メラス先生，キリル・コシック先生，そして学生たちの協力がなければ成し得なかったショーである。しかし今回は実現できなかった技術もある。MUΣAショーは毎年少しずつ新たな技術を開発し，より感動を与えられる表現を模索し，また新しい学生をスタッフに加えながらアップグレードしていきたい。最先端の技術はState-of-the-Artというように，芸術は技術の最先端を行く。