こんにちは。海行です。

以前からtwitterでこれからはバーチャル女装の時代だ！って騒ぎ立ててたのに何もやってない事に気付いたので進捗を出そうと思いました。
kinectV2を使って女の子になりきるwindowsソフトを作りました。

成果物

↓できたのはこちらになります。

↓こちらからＤＬできます。
https://docs.google.com/uc?id=0B7uH85nrtbOFZkZyaGVSV1lpRVU

プレイするにはPCにkinectV2が接続されている事が必要です。
マイクが接続されているとボイスチェンジャーが使えます。

遊び方

１．人体を検知するまでは左上に「WAIT FOR USER」と表示されていますので、kinectに検知できる位置に移動してください。検知されると表示が消えて、自分に連動してキャラが動くようになります。

２．腕や足は誤動作が大きいために固定されています。今回動かせるのは胴体をよじるのと首を動かすことだけです。

３．フェイストラッキングが使えます。まばたきと眉の上下、口の開閉に反応するはずですが、私の顔で調整してるので他の人だと上手く動作しない可能性もあります。

４．ボイスチェンジャーも付いてます。今回はテストで固定で男→女声に設定してあります。kinectのマイクだと上手く音が取れないので別途ヘッドセットなどを用意すると良いと思います。ＰＣの１番目のマイクデバイスが使用されます。

５．プレイ動画を録る場合は最大化で起動してShadowPlayでキャプチャするのが低負荷でお手軽なのでオススメです。上のtwitter動画もそれで録りました。

経緯

話すと長くなりますが…

１．仮面ライダーナレルンダーとの出会い

2015年のグローバルゲームジャムで私たちのチームが作ったのは、Tobii eye Xを利用して視線で狙いを付けて敵を撃つゾンビシューティング、DEAD EYE LANDでした。

参考リンク：視線でゾンビを倒す新感覚FPSを体験するも、キワドイ美女に視線を奪われる

このゲームは好評を頂けてG-Tune: Garageのお店で展示していただいたりしたんですが、5月に行われるengadget例大祭内でのゲーム大会にこのDEAD EYE LANDを使ってもらう話になりました。

参考リンク：例大祭にライダーなりきり体験『ナレルンダー！』。視線でゾンビを撃つDead Eye Landも遊べます

大変ありがたいお話ではありますが、アテンドは私達が自分たちでやってくださいという事らしく、まあせっかくなので行ってアテンドしてきました。
その時に私たちの隣に展示されてたのが、「ナレルンダー！ 仮面ライダードライブ」です。

子供向けのゲームみたいでしたが私もやらせてもらいました。
姿見のような大型ディスプレイに写ったのは仮面ライダーと化した自分！
私がパンチすると仮面ライダーも私と同じようにパンチして画面内の敵を粉砕します！
ハッキリ言ってこれにはかなりの衝撃を受けました。
筐体の右側に普通にkinectV2が突っ込まれてあるのも見逃しませんでした。

当時すでにアイアムさやかを作っていた私でしたが、このナレルンダーが新時代のなりきりだと確信しました。

２．魔法少女ナレルンダーへの挑戦

帰ってさっそく私もさやかさんになりきれる魔法少女ナレルンダーを作ろうと思い、kinectV2をポチりました。

しかし、windowsとkinectV2を接続するには変換アダプタが必要で、何故かこのアダプタが品切れ！
入荷を一ヵ月以上待つハメになりました。

変換アダプタが届いてさっそく魔法少女ナレルンダーの制作に着手しました。

↓当時の記録がこちらです。

しかしこの開発はこのあと何となくフェードアウトしていきました。

当時、思ったより思い通りには動かないな。あと開発中にイチイチkinectに向かって自分でポーズを取るのがしんどいなと思ったような気がします。
そんな事実はすっかり忘れ去って後でまた苦労するハメになります。

３．バーチャル女装の時代

２０１５年後半ごろから、世の中で女装関係の盛り上がりが高まってきているのを感じ始めました。
pixivでも商業誌でも女装漫画がじわじわと目立ち始めてきました。

私は男性が女の子（または女の子キャラ）を体験したがってるというニーズに着目しました。
（女性に性転換したいという事では無くて、男性が絶対死ぬまで体験する事のできない女性としての暮らしへの憧れがあって、ちょっとだけ非日常を体験してみたい方が多い？）

そんな中FaceRigがLive2Dに対応したり、はたまたNEURONを使ってリアルタイムに女の子になりきったりする方が現れ、おっさん達が二次元キャラになりきるのが局所的に流行し始めました。

私はこれからはこのバーチャル女装のトレンドが来ると睨み、自分でもキャラになりきれるコンテンツを制作しようと決めました。

４．バーチャル性転換エロへの挑戦

単純にキャラを演じるところから一歩踏み込んで、自分が女の子になったうえでエッチな事をするという着想を抱いていました。

そのための手法としては、鏡に映った自分は女の子！？という感じのナレルンダー方式がベストだろうと思い、眠っていたkinectV2を引っ張り出してきました。

この時にかなり悩んだのは、自分が女の子に変身してしまったという体で行くべきか、それとも自分は女の子に憑依して操っているという体で行くべきかという事です。
見た目は同じような感じになるでしょうが、プレイヤーとしてはまったく別の感じ方をする事になるでしょう。
どうせ自分で悩んだところでちゃんと他の人達にリサーチしない事には答えは出ないのでとりあえず自分が女の子になっちゃった体で実装をしてみる事にしました。

さっそく全裸の女の子の３Ｄモデルを用意してkinectを操作してみました。
しかし、やってみると画面の中の手が痙攣して全然おっぱいとか掴めない！これは一体…

ここに来てようやく気付きましたが、kinectは腕を振ったりキックしたりの大げさな動作は取れますが、おっぱいを揉むとかそういう繊細な動きは苦手なのです！
愕然としました…

今思えば仮面ライダーナレルンダーもkinectのこの性質を熟知していたからこそ逆算して派手な身振りのゲーム性にしていたのだと気付かされました。

kinectによるバーチャル性転換エロは、この技術的制約から解放されるまで一旦保留にせざるを得ないと判断しました。
しかしこれは一時的戦術的撤退というだけであり、諦めた訳ではありません。
バーチャル女装のトレンドは確実に迫っています。
我々がＶＲの中で完全に女の子として振る舞える日が来るのはそう遠い日ではないでしょう。

５．今回の成果物へ

とはいえ今回作りかけてた物をただ放棄するのはもったいないので、とりあえず成果物を作ってみる事にしました。

発想の転換として、腕や足が上手く動かせないなら逆にミロのヴィーナスみたいに取っ払ってしまえばいいのではないかと考えました。
これはなかなか冴えたアイデアでしたが、試してみるとちょっとブログにもtwitterにも掲載できない猟奇的な感じのブツになってしまいました。
公表できない物作ってもしょうがないのでボツです。

手や足を動かせなくするというアイデアだけ残して、中途半端になるくらいならエロ要素は取っ払って、部分的に体を動かせてフェイストラッキングも付けて、固定ポーズで女の子になりきれるコンテンツを目指しました。

そうしてできたのが今回の成果物です。

技術的な話

今回のキャラ、とりあえずリナさんとでも名付けましょうか。

リナさんは手足をMecanimのアニメーションで固定した上で、胴体と首をkinectでモーションキャプチャした動きで上書きしています。
Unityからkinectを扱うのはこちらのアセットを使用しました。

さらに顔のモーフをkinectのフェイストラッキングで上書きしてます。
kinectアセットからは目をどれくらい閉じてるか、眉をどれくらい上げてるか、ほっぺをどれくらい膨らませてるかなどのパラメータがそれぞれ取れるので、それに合わせてキャラの顔モーフで対応してそうなものを動かします。

さらにさらにその上からいつものボイスチェンジャーをかけた音声でリップシンクさせてます。
リップシンクには例によって凹さんのプラグインを使わせていただきました。

それぞれのアセットはこんなごちゃ混ぜにして使われることを想定されてないのでそのままコンポーネントをアタッチしていっても当然上手い事モーション上書きできなかったりしましたので、強引にスクリプトを改造して何とかしました。

フェイストラッキングのパラメータに関して、真顔なのに目がちょっと閉じてるみたいな判定をされたりして、結構個人差がありそうなのでちゃんとプレイヤー毎にキャリブレーションする必要があるかもしれないなと感じましたが、今回の成果物では私の顔で調整してあります。
かなりノイズによるパラメータ上下が大きいので、表情の反映はかなりバッファを持たせる必要がありそうです。
フェイストラッキングの調整はちゃんとやるならもっとリサーチと作り込みが必要になりそうだと感じました。

それとこれはkinectを使った開発全般に言えると思うのですが、部屋が狭いと窮屈で身動き取れなくてうんざりしてきます。
広い部屋での開発が望ましいです。
あと、動作チェックのたびにイチイチ自分でkinectの前に立ってポーズを取ってると物理的に体が疲れます。
何がしかダミーのモーションデータを入力できるような作りにしておいた方がいいと思います。
フェイストラッキングもチェックしてると顔が疲れてきます。そうなると疲れた顔のせいでパラメータがズレてよく分からなくなってきそうなので注意が必要です。

今後の展望

kinectだと結局仮面ライダーナレルンダーみたいなコンテンツに収束しそうだなと感じました。
もっと発展させた物を作るには何かしら発想の転換が必要になってきそうです。
というかXBoxのゲームではどんな風にkinectが使われているのかも一度調べてみた方がよさそうです。

エロコンテンツをやるならNEURONのようなもっと本格的なリアルタイムモーションキャプチャ環境が必要になりそうですが、全身にキャプチャデバイスを付けてもエロい気分になれるのでしょうか。

今あるアイデアとしてはおっさん同士がHMDを被ってお互い相手が女の子に見えて物理的にセクハラし合うみたいなのを作ったら色々面白いと思うので、kinectにこだわらずともＶＲエロには今後もアプローチしていきたいですね。