HoloLens によるテレビ操作と未来のUI
こんにちは、たるこすです。
HoloLens でテレビを操作してみました。
まずは動画をごらんください。
高い声が操作する人の声（動画デモ用に合成音声を使っています）、低い声が画面に映っているロボットの声です。
HoloLens によるテレビ操作の仕組み
テレビの操作は以下のような仕組みで行っています。
- HoloLens で音声コマンドを認識
- テレビの上に表示されているロボットに視線カーソルが当たっている場合、以下を実行
- HoloLens から Raspberry Pi の Web サーバにアクセス
- Raspberry Pi から赤外線を出してテレビを操作
未来の UI とは
HoloLens はバーチャルなオブジェクトを現実空間に表示することのできるデバイスです。
これを実現するために、HoloLens は空間内のどの場所にいてどの方向を向いているのかを認識しています。
どの場所にいてどの方向を向いているか、何を見ているかということ自体が重要な UI となりえます。
例えば、テレビ操作のデモでは、テレビの上に設置したロボットを見ている場合のみ音声コマンドによる操作が行えるようにしました。
こうすることで、テレビが複数台ある場合やテレビ以外の家電（洗濯機、エアコンなど）も同様に操作できるようにした場合にも、操作する対象物を「見る」だけで指定することができます。
ただし、見るだけですべての操作を行うのは大変そうです。
見ることで対象物を指定し、さらに音声・ジェスチャ・キーボードなどで操作を行うというのが未来の UI の形になるのではないでしょうか。
現状での問題点
現状では、 HoloLens で 3D の常駐アプリ（ホーム画面でも表示できるアプリ）を作成することはできません。
3D アプリはそのアプリを起動している際にしか利用することができず、同時に複数のアプリを起動することができません。
そのため、今回作ったテレビ操作アプリも利用するためにはいちいちアプリを起動する必要があるため実用的ではありません。
ただ、将来的には何らかの形で実現できるようになるでしょう。
今後の HoloLens の発展に期待したいと思います。
