Article:

概要

去年のJMoFで実施していた「TFPortal」は、JMoFの中でも「一般参加者向け」のコンテンツでした。というのも、JMoFには人間の姿でイベントに参加する「一般参加者」と、ケモノの姿でイベントに参加する「きぐるみ参加者」の2パターンの人がおり1、その片方にしかフォーカスしていなかったということですね。

今年はぜひ一般参加ではなく、きぐるみ参加の人も楽しめるイベントを作りたい！VR参加の人にも、会場にいるきぐるみと触れ合える機会を作りたい！ということであむちゃんと2人で新しい企画を作り始めました。これがきぐるMixedRealityです。

きぐるMixedRealityは、AzureKinect3台から得られる深度つきのカメラ映像をリアルタイム配信することで、VRの世界に立体的なきぐるみの姿を表示する、3Dビデオ通話の企画です。

これで、VRの世界からもきぐるみを鑑賞したり、あいさつをしたり、エアで無であったり、一緒にVRアバターと写真を撮ったりすることができます！

仕組みと工夫

きぐるMixedRealityは、以前からWeaverseLabと協力して開発していたSpatial Clipという技術をベースに制作しています。

近年Generative AIなどの成長もうけ、より高精細なボリューメトリックビデオを撮影・再生する技術が開発されていますが、その閲覧にはどうしても専用のソフトウェアが必要になってしまいます。 Spatial Clipの良いところは、品質はそこまで高くないながらも、Resoniteという多くの人がすでにPCにインストールをして利用しているソフトウェアですぐに体験できるというところですね。

Spatial Clipは、動画の撮影にTFPortalでも使っているAzure Kinectを使っています。これは、かなり精度の高いデプスカメラで深度つきの動画を得ることができます。

しかし、カメラ1台だけだときぐるみのごく一部しか映せません。そこで、きぐるMixedRealityではKinectカメラ3台を用いて、それぞれの映像を組み合わせる方法を取りました。

また、細かい話をすると1台のAzureKinectだけでも色を取得するカメラと深度を取得するカメラの位置は微妙にズレているため、”深度カメラから見えている場所∧カラーカメラから見えている場所”というのは意外と限られているんですよね。そういった意味でも、複数台のカメラを組み合わせて使う必要があります。

きぐるMixedRealityではこのカメラ間の位置あわせにAvatarMeetsでおなじみのArUCOマーカーを使いました。精度はそこそこといった感じなのですが、とにかくマーカーを印刷した紙1枚で位置をあわせられるのがお手軽ですね。

会場ではあろっく君が手伝ってくれました！

(photo taken by i5さん)

また、深度情報を正確な3D座標に変換するのは結構大変で、というのも同じAzureKinectでも製造時のレンズの位置というのは結構個体差があり、映像の歪み方がそれぞれで微妙に違ったりします。

AzureKinectの場合はそういったキャリブレーションデータがファームウェアとして書き込まれているため自分でチェッカーボードなどを持ち出して怪しいキャリブレーションを行わなくて良いため楽ですね。

それぞれのカメラのパラメーターを考慮して調整してあげると、それぞれのカメラからの映像がバチ！っと合います。

ただ、マーカーを使う方法も完璧ではなく、例えばすべてのカメラから同時にマーカーが見えるようにしないといけないので、カメラの置き方のバリエーションが制限されてしまうなどの問題があります。 今後はより簡単に、精度を高く位置合わせが行える方法を模索しています。

また、ResoniteだけなくVRChatからも観れるように、そして現在足元まで映せていないのでより広い範囲が映せるように、どんどん改良していく予定です。

謝辞

天さん(あろっく君)

天さんには事前リハーサルに付き合っていただいた上、当日もキャリブレーションのお手伝いをはじめ企画を気にかけてくださって、本当に頭が上がりません🙇

しかもモフまで提供していただいて… 今度お酒贈らせてください🙏🙏🙏

VR_JMoFスタッフの方々

VR_JMoFスタッフのGentouさん、いなぷさんには本部との調整含め、大変お世話になりました。

また、いなぷさんには当日現実側の配信もしていただき、Twitchでの配信がとてもわかりやすいものになってて感動しました！ありがとうございました！！

Resonite会場チームの皆様

当日いっしょに企画をもりあげてくださったResoniteチームの皆様ほんとうにありがとうございました！ Resonite内のギミックに至らぬ点があり、説明等も不足している中見に来てくださった方を案内していただけて非常に助かりました。

また、特にごんたさんには当日いきなり「写真撮影おねがいします！」など無茶ぶりだったにもかかわらずスムーズに対応していただけて神でした！ありがとうございました！

  1. これは公式的な枠組みではなく、一般的に簡単のためにそう呼ばれがちな言い方です。 ↩︎