Contenu connexe
Plus de NHN テコラス株式会社 (20)
RaspberryPi・AWSIoT・AmazonSumerianを使ってセンサーの状態をVRで可視化してみた
- 2. 自己紹介
名前
持田 直輝 (モチダ ナオキ)
所属
NHNテコラス 事業戦略室 データサイエンスチーム(17新卒入社)
普段の業務
AWSを使ったビッグデータ分析サービスの設計・開発など
最近ハマっていること
VRリズムゲーム「Beat Saber」を左手でプレイすること
- 11. まとめ
IoT + VR = 「現実世界」の状態に連動する「バーチャル世界」
ラズパイのセンサーの状態に応じて、(IoT要素)
VR空間のオブジェクトが連動して変化し、(VR要素)
今の状態を喋るエージェントが教えてくれる、(VUI要素)
スマートなVR空間の家 (スマートホーム要素?)
AWSのサービスを組み合わせることで、簡単に実現できる。
IoTとVRを組み合わせることで、新しい可視化の可能性が拓ける(かも)
Notes de l'éditeur
- それでは、LTを始めさせていただきます。
テコラスの持田です。どうぞ、よろしくお願いします。
今回のテーマは、「ラズベリーパイ、AWSIoT、AmazonSumerianを使って、センサーの状態をVRで可視化してみた」というものです。
- まず簡単に、自己紹介をさせて頂きます。
NHNテコラスの持田直輝です。去年、テコラスに新卒で入社して、今年で二年目になります。
所属はデータサイエンスチームというところで、普段はAWSを使って、ビッグデータ分析サービスを設計したり、開発したりしています。
マイブームは、「BeatSaber」というVRリズムゲームです。最近、左手でプレイするともっと楽しめることを発見しました。実は、左利きにあこがれています。
- というわけで、本題です。
今回は、IoTとVRを組み合わせると、どんなことが出来るのか、というテーマで、デモアプリを作ってみました。
- それでは早速、アプリのデモ動画をお見せしたいと思います。
これは、AmazonSumerianで作成、公開したアプリに、ブラウザからアクセスした際の動画になります。
VR機器を使ってアクセスすれば、右下のヘッドマウントディスプレイのボタンを押すことで、このVR空間の中に入ってみることが出来ます。
右側のキャラクターが、アプリの内容をしゃべって教えてくれるので、ぜひ耳を傾けてみてください。
1:30
ここで、少し捕捉したいと思います
この気温と湿度は、デスクに設置したラズパイのセンサーによって、5秒に一回、計測されてAWSIoTに送信されています。
このアプリの中では、AWSIoTで保持されている気温データを取得し、オブジェクトの状態に反映しています。
5秒に一回、センサーデータが送信され続けている状態なのですが、
本当にドローンの高さやライトの色が、気温に連動して変わるのかを見てみるため、AWSIoTに直接テストデータを送信してみたいと思います。
AWSIoTには、マネジメントコンソールから直接データを送信できます。今回、気温30度として、テスト用データを送信してみます。
ドローンとライトが変わりました。
いかがだったでしょうか?
- こちらが、今回のデモアプリのAWS構成図になります。アイコンを沢山並べると、なんとなくそれっぽい感じが出せる、というのが、個人的なAWSの好きなポイントだったりします。
- 気温と湿度の計測には、ラズベリーパイと、DHT11というセンサーを使っています。
ご覧の通り、今回のテックナイトのために、ラズパイに入門した初心者なのですが、
センサーの配線例やPythonのコードが、センサーの公式サイトで公開されていたので、とても簡単にデータの取得ができました。
- センサーのデータや、デバイスの状態データの収集には、AWSIoTというサービスを使っています。
AWSIoTのルールエンジンを使うことで、ご覧のように、様々なAWSサービスと、簡単に連携させることが出来ます。
- センサーの死活監視もAWSで行っています。
デバイスのデータ送信頻度が閾値を下回った場合、CloudWatchMetricsが検知し、AmazonSNSのトピックが呼ばれ、Lambdaがトリガーされて、Slackに通知が飛ぶようになっています。
このように、AWSのサービスを組み合わせると、様々な機能が実現できます。
- AWSIoTで収集したデータは、Elasticsearchに格納し、Kibanaでグラフを作成しています。
AWSのElasticsearch Serviceを使えば、これらの環境の構築がとても簡単に、自動で行えます。
先程ご覧頂いたVRアプリでは、Kibanaで生成されたリアルタイムのダッシュボードが読み込まれて、表示されていました。
- AmazonSumerianは、ブラウザ上でVR・ARアプリが簡単に作れるサービスです。
先程登場したSumerianホストと呼ばれるキャラクターも、このSumerianのサービスで提供されたものです。
音声生成サービスである、AmazonPollyとの連携も簡単です。
様々な魅力があるSumerian、ぜひ試してみてください。
- それでは、内容のまとめに入ります。
IoTとVRを組み合わせることで、「現実世界」の状態に連動する「バーチャル世界」を作ることが出来ます。
今回のデモアプリでは、ラズパイの温湿度センサーの状態に応じて、VR空間のドローンの高さやライトの色が連動して変化したり、その状態をエージェントが声で教えてくれるVR空間の家を作りました
これらは、AWSのサービスを組み合わせることで、実現します。
IoTとVRを組み合わせることで、新しい可視化の可能性が拓けるかもしれません。
ぜひみなさんも試してみてください。
以上で、発表を終わります。ありがとうございました。