Tokyo HoloLens Meetup vol.5 参加報告
こんにちは、たるこすです。 2017/9/17（日）に開催された Tokyo HoloLens Meetup vol.5 にスタッフとして参加しました。
youtube で動画が公開されているので、ぜひご覧ください。 www.youtube.com
前半のセッションについて、簡単に振り返ってみます。
「Azureで音声画像検索を一晩で実装した話」野生の男 (@yasei_no_otoko) さん
例のハッカソンで作られた Artgram という HoloLens アプリの機能として、音声認識による画像検索を作られた話です。
音声認識
HoloLens の標準音声入力は英語のみなので、日本語の認識ができません。そこで、クラウド音声認識サービスを利用したとのことです。
主な音声認識サービスとして Google のものと Microsoft のものがあったが、UWP(HoloLens) からストリーミング音声認識サービスを使うなら、実装の都合上 Bing Speech API のほうが楽だとのことです。
ハッカソンでは実装しなかったが、WebRTC を使って API に常時接続すれば、リアルタイム音声認識もできるようになるはずとのことです。
画像検索
短期間の実装のため、音声認識に合わせて Microsoft Bing Image Search を利用。
ハッカソンのため、時間を短縮したい
Unity と Microsoft API の連携であれば、実装例があるはず…
ただし、HoloLens 上で動かすには Castle Windsor というライブラリに依存しているところを削除する必要がある。
ライブデモ
ライブデモで、「とある魔術の禁書目録」という言葉を認識し、検索した画像の表示が行えていました。
これからの UI として音声入力は非常に重要になって来そうなので、自分でも音声認識を試してみたいと思います。
IMEERSIVE ヘッドセット感想
悪い点
- 焦点調節、瞳孔間距離、前後調節がない
- フロントカメラパススルー機能がない
良い点
- ワイヤレス化
- 高解像度
- 軽い
- 跳ね上げ機構
- 6DoFモーションコントローラ
- 安い
- 要求スペックが低い
「カッコよくHoloLensを使いたい。その他いろいろ。」VoxelKei (@VoxelKei) さん
かっこよくHoloLens を使いたい
ちびっこにかっこよく見られたい！ ということで、指パッチンエアタップの講習がありました。
HoloLens を初めて試す人にエアタップを教えるときは「親指と人さし指をくっつけて離す」というのがわかりやすいとのこと。それを進化させ、中指で音を鳴らしつつエアタップするのが指パッチンエアタップです。
また、以前澤さんもおっしゃっていましたが、ゲイズ（視線カーソル）を合わせてから腕を上げてタップするのがかっこいいとのことです。
高機動 MRマン
PCを背負って WinMR を装着し、Insta 360 one(全天球カメラ)を自撮り棒にとりつけて自身を撮影します。Insta 360 one の映像と WinMR の映像を組み合わせると一人でデモ動画を撮影できます。
GoPro などでも自撮りはできますが、Insta 360 one を使うと撮影時に画角やフレーミングを気にしなくてよく、後から編集できるので楽だそうです。
日本列島VRのWinMRへの移植について
下記の2つのアセットが DLL を使っており、 UWP に対応していない
- TrueSky
- Amplify Texture
「MSのImmersive deviceをつかってみた」武樋恒 (@watarun111) さん
残念ながらスタッフの作業で講演を聞くことができませんでした。後で動画で見ようと思います。
全体の感想
後半の LT のコーナーで、Meetup vol.2 以来となる LT 発表をしました。時間の都合上、ほとんどデモ動画を見せるだけになってしまったのですが、実装の詳細は過去のブログ記事に書いているので良ければご覧ください。
HoloLens Meetup 初参加という方も多く、公演の合間の休憩時間の HoloLens デモは非常に盛り上がっていました。今後は Immersive Device から Windows Mixed Reality を始めるという方が増えてくると思うので、そういった方を巻き込んでコミュニティがどんどん盛り上がってくると嬉しいです。
