こんにちは。海行です。

１月２４日に渋谷で開催されたUnity VR EXPO Shibuyaでさやカメラというアプリを展示しました。

関連リンク：大盛況だったUnity VR EXPO Shibuyaレポート　最優秀コンテンツは「BLAST×BLAST」

 

さやカメラについて

まず「さやカメラ」というアプリの紹介記事をまだ書いてないのでアレですが、
↓これです。

無題c

無題

つまりアイアムさやかのAndroidアプリ版とでも言うべき物で、端末のカメラに写る人物の顔がさやかさんに置き換わるという物です。
今回はMMDモデルのさやかさんではなく、自分で描いたLive2Dのさやかさんを表示しました。
スクリーンショットを撮影して保存できる機能が付いてるので、顔を隠して自撮りしたい時などに便利です。

今回のVR EXPOはVR展示のイベントであるため、HMDで楽しめるVR版のさやカメラを用意しました。
これで理論上は目に見える全ての人間がさやかさんに置き換わるはずでしたが、実際には正面顔しか認識できないのと小さい顔も認識精度がイマイチなので目の前にいる人以外には反応しづらいです。

↓Androidアプリ版のさやカメラはこちらからダウンロードできます。
http://soysoftware.sakura.ne.jp/upload/sayacamera/sayacamera.apk

↓今回のVR EXPOで展示したGearVR版のさやカメラはこちらからダウンロードできます。撮影機能は外してます。
(GearVR用野良アプリを自分のGearVRでプレイする方法はこちらを参考にしてください)
http://soysoftware.sakura.ne.jp/upload/sayacamera/sayacamera_for_gearvr.apk

↓今回の展示では使用しませんでしたが、一応用意していたスマホＶＲ（ハコスコ、Cardboardなど）用のさやカメラはこちらからダウンロードできます。こちらも撮影機能は外してます。
（バックキーを押すたびに1眼、２眼が切り替わります）
http://soysoftware.sakura.ne.jp/upload/sayacamera/sayacamera_for_cardboard.apk

展示について

結論

結論から言うとさやカメラの展示は大成功しました。
理由はとくにトラブル無く展示できたからです。

発端

twitterで伊藤周さんがこのイベントの告知をされているのを見て、とりあえず私も参加しようと思いました。
展示の募集もあったので、どうせ参加するなら展示した方が面白そうだと思いました。

しかし、展示できる実弾をロクに持ってない事に気付きました…最近作った物と言えば「さやカメラ」ですが、これを展示させてもらうのは難しそうですし、そもそもＶＲじゃなくてＡＲアプリですからね。
で、ありましょうが、とは言えアリかナシかは私の判断する所ではないので、とりあえず堂々と応募してみてUnityの人に審査を委ねる事にしました。
「人生で重要なのは応募する事だ」と「夢を叶えるゾウ」に書いてた気がします。
さもありなん。

そして結局展示の許可を頂くことになりました。
ＬＴも先頭バッターで発表する事になりました。
まさかさやカメラを堂々と展示する日が来るとは実際思ってもみませんでした。
Unity社さんの寛大な心に感謝です。

展示は当初Androidスマホ端末２台でさやカメラ２つを並べて置く形式で考えてましたが、せっかくのＶＲイベントなのでＨＭＤで体験できた方がお客様の期待に応えられるのではないかという話になり、GearVR版とハコスコ版のさやカメラを用意する事になりました。

GearVRでの展示となると色々と懸念点が出てきます。
①いちいちHMDを被ってもらうのでアテンドの負担が大きくなりそう（ぼっち参加なのでアテンドするのは当然私ひとり）
→GearVRのヘッドバンド部分を取っ払ってハコスコのように手に持って体験してもらうことで手間を減らしました。ＶＲの中に没入する系のアプリでは無いのでこれで構わないと判断しました。

②次々と体験者にGearVRを装着してもらう場合、顔面に接触する部分の衛生管理をどうするのか（HMD体験でものもらいになったという話を聞いたことがあります）
→接触部にカバーをしている人もいるみたいですが、今回はとりあえず一人体験するごとに接触部を除菌ウエットティッシュで拭きまくりました

③GearVRは連続使用ですぐオーバーヒートしてプレイできなくなるがその場合どうするのか（GearVRもGalaxyS6端末も１台ずつしか持ってない）
→一番大きな懸念点ですが正直どうしようもないので、GearVRが使えなくなったらもう一台のハコスコ版で体験してもらおうと考えてました。しかしやはりGearVRに比べるとハコスコはチープな印象があるのでできればGearVRで通したいと思ってました。

④端末の電池が切れたらどうするのか
→③と同様

⑤レンズが曇ったらどうするのか
→GearVRに付属していたレンズ拭きを持って行って拭くしかない。

当日

展示側は１０時から準備開始で、実際のイベント展示は11時から17時半くらいまでありました。
私は同人誌即売会と同じようなノリで２～３時間だろうと考えていたので、長丁場と知ってますますGearVRの電池切れなどのトラブルが心配になりました。
とは言えさやカメラの展示は５秒もあれば全てわかる物ですので、来客数も300人だけですし、１時間くらいで体験したい人には一通り体験してもらえるだろうとたかをくくってました。

準備については、まず会場で用意されてるコンセントに持ってきた延長タップを繋いで端末を充電できるようにして、GearVRとハコスコを１台ずつセットアップするだけです。
一瞬で展示の準備が済みました。DK2と比べてGearVRの最大のメリットはこのお手軽さだと思っています。
今回その長所を発揮してくれた形になりました。
他のチームではかなり大掛かりな機材を持ち込んだりしてて、準備が大変そうな所もありました。
ちなみに、歩いて持ってこれないような機材については事前搬入、搬出の手続きもアナウンスされていました。
今回は必要ありませんでしたが、今後CV1の展示をするのにデスクトップＰＣを持って行くのがツラい…というような場合は活用したいシステムです。

何か展示の案内を出していた方がいいと思い、紙に説明を印刷しようかとも思いましたが、あまりスペースが無さそうなので８インチのwindowsタブレットを立てかけてさやカメラの説明スライドをスライドショーでループ表示しておきました。

実際の展示ですが、沢山の人に訪れていただきました。ありがとうございます。
GearVRを被っていただき、「私の顔を見てください。ホラ、さやかさんになってるでしょ。以上です」と説明して５秒で終了なのですが、体験された方は当然「えっこれだけ？」という反応になりますので、間を繋ぐためにでっち上げのロードマップについて延々話すことになりました。
以下のような事を言った覚えがあります。

・任意のLive2Dキャラの読み込み機能の実装
・人の顔の向き、表情をキャラに反映。
・スマホ版のFaceRig+Live2Dみたいな物にしていく
・相手の顔が誰かまで識別できるようになれば顔の代わりにtwitterアイコンを表示させたり

いや～～～～大言壮語だ（汗
まあ、たしかに面白いと思うのでやっていきたいですね。

ＬＴ

LTは当初は「バーチャル女装の未来」についてお話ししたいと考えてたんですが、さやかさんについてみんなの前で語る機会はさやカメラを展示してる今回以降もう無いだろうと考えたので、今までUnityとかで作ったさやかさん関係のゲーム、アプリについてお話させていただきました。
何故かLTがトップバッターだったので最初なら好き勝手な事話しても大丈夫だと思いました。

↓LTのスライド一応公開しておきます。

ＬＴの内容については、もはやここでは触れない事にさせていただきますが、LTの準備については言及しておきたいです。

去年のOcufes開発者会でLTした際に、スライドが開けないトラブルがありました。
スマホからテザリングでMacBookからwi-fiで繋いでいたのですが、回線状況が悪くスマホがLTEに繋がらなくなり、Googleドキュメントにアップしていたスライドがオフラインでは見れないという状況でした。
幸いにすぐ回線が回復したので事なきを得ましたが…

スライドは絶対ローカルに持っておくべきです。

この時はMacBookからパワポのファイルを閲覧する手段が無かったためGoogleドキュメントにアップしたのですが、これ以来はパワポからPDF書き出し＆連番JPG書き出ししてPDFでプレゼンする事にしています。

ネット回線問題と同様に恐ろしい問題は、プロジェクタのコネクタとＰＣのコネクタが一致しない問題です。

用意周到な会場ですと色々な変換コネクタを用意してくれていてこちらが気にせずに済む場合もあるのですが、実際VGAコネクタしか無いという会場もありました。
どのコネクタが標準なのかというのも一概には言えません。
MiniDisplayポートだった時もありますし、VGAコネクタだった時もありますし、HDMIだった時もあります。

今回のVR EXPOではMiniDisplayポートが差せるMacBookとVGAコネクタが差せるWindowsノートPCの両方を持って行きましたが、結局今回の会場ではHDMIがデフォルトでした。
今回は変換コネクタが潤沢に用意されたのでやはり事なきを得ましたが、万全を期すなら何が来ても対応できるようにこちらで一通りの変換コネクタを用意しておくことが望ましいと感じました。

回線問題とコネクタ問題を回避しても、何らかのトラブルでノートＰＣが動かない時もあるかもしれません。

私はそれに備えてスライドが完成したらSlideShareにもアップロードするようにしてます。
いざという時は他の誰かからＰＣをお借りして、アップしておいたSlideShareのスライドを開いてプレゼンするつもりです。

さらにお借りしたＰＣに回線が繋がってない可能性もありますね。
それに備えてダメ押しでスライド（ＰＤＦ化および連番画像化したスライドも）をUSBメモリにも入れて持って行くのがベターです。

ここまで用意しておけば憂いなしだと思います！

展示で得られた知見

さて、今回の展示会ですが、結果的に特にトラブルもなく終わらせることができました。

懸念点だったGearVRですが、意外にもオーバーヒートでアプリが停止してしまう事態には見舞われませんでした。
さやカメラはガチ３ＤＶＲのアプリでは無いのであまり負荷がかからなかったのが功を奏したのだと思われます。
オーバーヒートはしなかったものの、端末を触るとかなり熱を持ってるヒヤヒヤな状況ではありました。

レンズの曇りも起きてませんでした。
レンズ曇りは湿度などの関係で起きるのだと思いますが、今回は会場の環境が良かったです。

電池切れについては、なんと、丁度展示が終了する17時30分に端末の電池が切れてしまいました。
ギリギリセーフです。
今回は多分40人くらいの方々がさやカメラの体験に訪れてくれて、私は暇でもなく忙しいでもないくらいの状況でしたが、あと少しでも人が来ていたら途中で電池切れしてしまっていましたね。
昼過ぎに展示を休止して会場そばの中華料理屋さんでお昼ご飯を食べに行って端末の充電時間を稼いだりもしましたが、そういうのも込み込みでギリギリでした。

以上の点を鑑みてみますと、もっと本格的なＶＲアプリの展示となるとGearVRではキビしいと言えると思います。
GearVRのスペックをフル活用して作ったアプリだと展示の途中でオーバーヒートや電池切れになってしまう可能性は高そうです。
少なくともGalaxyS6の端末をもう一台用意して交代で冷まし＆充電できるようにするべきかと思います。
他の現実的な案としてはやはり例えGearVR向けのアプリであってもDK2向けに書き出して展示するのが無難ではないでしょうか。
GearVRはあくまでパーソナルユース向けであって展示に使うような作りをしていないという事だと思います。

さて、展示に訪れてくださった方々から様々な意見を頂きました。
こういった生の意見を聞けるだけでも展示した価値はあったなと手応えを感じています。

今思い出せる意見を列挙してみます。

・これでSkype英会話教室をやりたい
→二次元キャラ相手だとリラックスできそうでいいですね
・GearVRでのARはFPSが低めになってしまうのがやはりつらい
→ごもっともです。GearVR2に期待…！Unity使わずにネイティブコードで完結させればもう少し改善できるかもしれません。
・VRHMDでやる意味があるのか
→かなり鋭い意見でしたが苦し紛れに例えばARから特定の相手を認識する事でそのままVR世界にワープするみたいな事もできると返した気がします。
・相手が誰かを認識する事はiPhotoなんかでもできてるから技術的には可能だと思う
・GoogleのAPIで人物識別できる物があった気がするのでそちらを使ってみては
→ぜひ試してみたいです
・私もさやかさん大好きです
→展示しに来た甲斐がありました
・笑い男でやって欲しい
→同意見多数でした

みなさま貴重なご意見、ご指摘ありがとうございました。
今思うとコンテンツの内容が薄い分私もベラベラ喋りまくってフォローしてた気がします。
メチャクチャ喋りました。

感想

ＶＲの展示会で自分のアプリを展示するのは初めてでしたが、多くの人に訪れて頂いて嬉しかったです。
ダメ元で応募してよかったです。

例えば同人誌即売会で40人に本を買ってもらうというのは割とハードルが高いのですが、VRの展示だとそれだけ来てもらえるので満足感があると思いました。
やはりVR自体の注目度の高さという物も実感します。

今回キャラ物での展示でしたが、むしろキャラ物だったおかげで版権を利用したお仕事をされている方から注目されて声をかけてもらえたりする面もありました。

イベントの最後に伊藤さんからアンケートを集計した展示の満足度ランキングなどが発表されていましたが、私のいた位置からは発表が全然見えませんでした。
しかしまあ、ハッキリ言って見ないで正解でしょうね（笑
とにかく誰が何と言おうと私の中では展示は大成功でした。

今回の展示の意義についてですが、そうそうたるＶＲコンテンツの中で何食わぬ顔をしてさやカメラを展示しているという状況自体が私的には相当ヒットしているのでそれだけでもやってよかったと思ってます。

みなさんそういう物だと流してたかもしれませんが、冷静に考えるとどうかしてると思いませんか？
見た目よりもアバンギャルドでラジカルな展示ができたと思います。

私とさやかさんの歩みもここまで来たかと感慨深くもなりました。

しかし当然ここで終わりではありません。
ハッキリ言って次はもっとスゴい物を作りますよ。

乞うご期待！！

最後に

今回はUnity社さんのご厚意によりさやカメラを展示させていただきました。
素晴らしい会場準備、運営のおかげでたのしく展示させていただく事ができました。懇親会で頂いたUnityビールも美味しかったです。

Unity社さん、主催者のみなさま、スタッフのみなさまにこの場を借りて感謝申し上げます！

展示されていたみなさま、ご来場者のみなさまもありがとうございました。

最後の最後に、ここまでこの記事を読んでくださってありがとうございました。
お疲れ様でした。

技術的な話

おまけでアプリの技術話をします。

オリジナルのさやカメラはUnityとUGUIとLive2Dで実装していました。
これをVRHMDで見れるようにするにはどうするのか？

今回は手っ取り早く、元々のメインカメラの描画先を画面からレンダーテクスチャに変更。
レンダーテクスチャをプレーンに貼り付けてCardboard用カメラの前に置きました。

ハコスコ用にCardboardSDKで作ったバージョンとGearVR向けバージョンの２つも個別に用意するとややこしいので、CardboardSDK版をGearVRでも流用しようと当初は考えていました。

しかし実際Cardboard版アプリをGearVRから覗いてみると、像が二重に見えてピントが合わないような状態でした。
私は二眼ならどれも同じように見えるだろうと思っていたのでスマホＶＲでも個別に最適化しないとまともに見えない場合があるのは意外でした。

仕方がないので今回は普通にGearVR向けのバージョンも用意しました。

他に工夫した事と言えば、オリジナルのさやカメラはカメラアプリとしての性質上、カメラから取得するwebCamTextureの解像度を端末画面と同じ（1920×1080など）にしてますが、VR版ではFPSを稼ぐために640×480にしています。
それでもかなりカクカクですが…