たるこすの日記

たるこすの日記

リアルからバーチャルへ、バーチャルからリアルへ

Tokyo HoloLens ミートアップ vol.9 で HoloLens とロボットアームと RealSense を使ったアプリを展示した話

HoloLens Meetup でのデモ展示

こんにちは、たるこすです。
2018/6/23 に開催された HoloLens Meetup で HoloLens, ロボットアーム(uArm Swift Pro), RealSense D415 を使ったデモを展示しました。

もともとは HoloLens でトランプをタップすると、その位置にアームが動いてトランプを吸い上げ、箱の中に入れるというデモをしようと思っていました。
しかし、プログラム自体は動作したのですが、ロボットアームの調子が悪くアームを持ち上げるときに関節の角度が指令値とずれるという現象が発生してしまいました。

そのため仕方なく、ロボットアームを手で動かすと HoloLens 上で表示しているロボットも現実のアームと同期して動作するというデモに切り替えました。

また、このデモでは RealSense で取得した点群データを表示するという機能もあります。
点群データをそのまま送ると転送データ量が多くなる上 HoloLens 側での描画がつらいめ、ダウンサンプリングしたデータを HoloLens に送って表示しています。

ちょっとわかりづらいですが、中央の綾鷹のペットボトルに点群が重畳表示されているのがお分かりいただけると思います。

アプリの仕組みについて

仕組みについて、ものすごく簡易的に説明します。

ロボットアーム、RealSense は PC (Ubuntu) に接続されており、この PC がロボットアームの間接角や RealSense のセンサーデータを取得します。 PC から HoloLens へは WebSocket を使ってデータを送っています。

HoloLens アプリ内は取得した間接角を元にロボットアームのモデルを変形させて描画しています。

詳しい話は別途ブログ記事を書きたいと思います。

皆さんからいただいたコメント

アプリを体験していただいた方からコメントをいただきました!

宮浦さん
「RealSense はデバッグがしやすくなって便利そう。なにが見えている見えていないというのがわかってよい。 ロボットアームの仕組みは操作手順の説明、危険予測、作業支援などに活用できそう。」

井出さん
「ロボット、ROS、HoloLens は熱い! 早くロボットを HoloLens で動かしたい!」

匿名
「ロボティクスxHoloLensは面白い!」

ごんちゃん
「工場の生産ラインとかでHololensが活用できる日も近い!(かも!)」

シンさん
「センサーとMRすごい未来感あって楽しみ!」

PE 江畑さん
「SF感あって半端ないって!」

サミィさん
「なんかスゴイのはちょっと被っただけでわかりました。
センサーと合体すごい!」

woops39 さん
「これが初HoloLensでした笑
未来感ですね!!」

るこてこさん
「ロボットとしっかり動きがリンクされてて感動しました!
現実のロボットがよりかっこよく見えるようになったらいいですね!」

pown さん
「危険作業の確認とかに使えそうと思いました。」

mitsuru さん
「IoTとMRはすごく親和性が高いと思っていて、真骨頂をみた感じがしました。」

Jack さん
「点群のデータがすごい!IoT最高!!!」

YusukeSaito さん
デバッグ用にモーターの状態などの数値情報が可視化できると最強だと思います。」

デモを体験していただいた皆さん、コメントをいただいた皆さん、本当にありがとうございました!