KinectによるUIの可能性

Kinectを使ったUIのアイデアを幾つか書いておきます。ざっと考えたところ、大きく分けて以下の3つに分類できると思っています。

1. 体の部位の座標を直接マッピング
2. AR
3. 一般的なアプリケーション

1番目は多分ゲームに最も近く、ミクミクダンスの様に3次元のグラフィックスモデルを動かしたり、ロボットの手足を動かすUIです。マッピングの対象がKinectの人体モデルに近ければ近いほど、マップするのは簡単です。このあたりは例えば遠隔医療とか、人間が近づけない危険な場所でのロボット操作への応用が考えられます。Kinectで何を操作するか、そこが最もアイデアの発揮どころ。

2番目は、AR（Argumented Reality）への応用です。Kinectは深度情報、体の部位座標と共に、ビデオ画像も取れるので、ビデオ画像と部位座標から位置を計算して張り付けたグラフィックスの組合せで簡単にARが実現できます。既になりきりウルトラセブンや、超人ハルク、ライトセーバーなどがWeb上で公開されています。画像さえあれば作るのは非常に簡単です。筆者も試しに仮面ライダーを作ってみました。仮面ライダーのイメージ作成時間を除くとほんの2～3分で出来上がりです。ただ気をつける必要がある点は、Kinectが送ってくる体の部位座標は、底辺が4×4の四角錘で括られた実世界の座標である点です。通常のビデオ画像は、遠いものは相対的に小さく、近いものは相対的に大きく写ります。上手く自然に画像を合成するには、この遠近をきちんと計算する必要があります。ARの活用としては、PCのエンターテイメント系アプリ、デジタルサイネージやKIOSK端末での客の呼び込みやクーポン発行、受付業務やセキュリティ監視などが挙げられます。

3番目は、従来のオフィスやエンタープライズ、コンシューマ向けの様々なPCアプリをKinectで操作しようというものです。つまりは従来のマウスやキーボード、タッチを、Kinectのジェスチャーで置き換えます。多分この領域がこれから一番面白いのかなと思ったりしているのですが、活用としては、画面を複数人が同時に見ているケース（プレゼンテーション、ブリーフィング、ガテンな現場）や、調理中、手術中などある理由で手で特定のもの以外触れない場合が有効です。

以上、ざっとアイデアを挙げてみました。なんだか従来のPCアプリより、組込み系のデバイス向けUIのほうがあってそうだなと思えなくもありません。皆さんもいろいろと考えてみてください。

補足ですが、実は、マウスやキーボードの代替として考えている時点で、次世代のUIではないなと思っていて、そういう既成概念に囚われない面白くて有効な使い方がほかにあるのではないかと思っている今日この頃。こちらの方も、皆さんの面白くて有効なアイデア、非常に楽しみです。

 ･･･あっと、実はもう一つあるんです。KinectセンサーはPCに数台つなげるのですが、んまぁ、いろいろ制約があるんですね。複数のKinect活用という点では、KinectをつないだPCを複数台ネットでつなぐというのもありだし、WCFを使えばかなり簡単につなげます。Webサービスによる複数Kinect連携なんてステキじゃないですか。元々Kinectは人の動き、人の画像をPCに取り込む為のセンサーなので、ソーシャルネット絡みのアプリケーションでは、そりゃ沢山活用方法あるさぁ…の一文で筆をおくことにします。