Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

VRで日本語音声認識の作り方 201811

2 464 vues

Publié le

・Unity と SteamVR を使ったVRコンテンツの作り方
・IBM Watson SDK for Unity を使った日本語音声認識の使い方
を説明した資料です。みなさん、やってみてね。

Publié dans : Technologie
  • If we are speaking about saving time and money this site ⇒ www.WritePaper.info ⇐ is going to be the best option!! I personally used lots of times and remain highly satisfied.
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • Don't forget another good way of simplifying your writing is using external resources (such as ⇒ HelpWriting.net ⇐ ). This will definitely make your life more easier
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • Unity Asset Storeからは消えましたが、GitHubにありますので、こちらをお使いください。 https://github.com/watson-developer-cloud/unity-sdk
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • 残念ながらこの資料は古くなってしまいました。
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • 2019/6/24 時点では、アセット「IBM Watson SDK for Unity」がDEPRECATED(廃止)されています。
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

VRで日本語音声認識の作り方 201811

  1. 1. VRで 日本語音声認識 の作り方 2018/11 大熊 元気
  2. 2. 必要なもの 1. PC ⚫SteamVRが動作するGPU搭載のゲームマシン ⚫GTX1060以上推奨 ⚫参考→ https://qiita.com/GenkiOkuma/items/62d1c7f20f8e75d0662e3D 2. Head Mounted Display(HMD) ⚫HTC VIVE, Windows Mixed Reality → SteamVR対応なのでやりやすい ⚫OculusGo → ALVR でSteamVR対応できる ⚫ALVRとは → https://github.com/polygraphene/ALVR/blob/master/README-ja.md ⚫HMDが無くてもモニターとキーボードで動かすことはできる
  3. 3. Index 1. VRコンテンツの作り方 1. Unityセットアップ 2. SteamVRセットアップ 3. Steamのサンプルプロジェクトを起動 4. 3D AssetをVR化 2. 日本語音声認識の作り方 1. IBM cloudのセットアップ 2. Watson Asset のインポート 3. サンプルプロジェクトを起動 4. VR空間で使う 5. 音声認識からイベント起動
  4. 4. 1.VRコンテンツの作り方 2.日本語音声認識の作り方
  5. 5. 1-1 Unityセットアップ ⚫ UnityのVersionはすぐに上がるので、 管理しやすくするためのツール「Unity Hub」(公式)がある。 ⚫ Unity Hub で検索 ⚫ ダウンロード&インストール
  6. 6. 1-1 Unityセットアップ ⚫ Unity Hubを起動 ⚫ Installs ⚫ Official Releases ⚫ 最新版(今回は 2018.2.14f1) をダウンロード、インストール ⚫ 魅力的なBeta Releasesもあるが、 SteamVR Plugin を使うときに、dllが無 い、BuildMethodsがエラーなど安定しな いのでオススメしない(やってみて断念した) Unityロードマップ
  7. 7. 1-1 Unityセットアップ ⚫ 新規 ⚫ Project name → 好きなように ⚫ Unity Version → Official 最新版 ⚫ Location → 好きな場所へ ⚫ Template → 3D(VRは3Dで) ⚫ Create project
  8. 8. 1-1 Unityセットアップ ⚫ 画面のレイアウトは自由に変えられる。 ⚫ 無料版は背景が白、有料版は黒 ⚫ Asset Storeへ行く (ブラウザの方が見やすい。アカウン トでリンクしている。)
  9. 9. 1-2 SteamVRセットアップ ⚫ SteamVR で検索 ⚫ このAssetをインポートする ⚫ Current ver.2.0.1
  10. 10. 1-2 SteamVRセットアップ ⚫ 全部インポートする ⚫ 変更しちゃって戻したい時など、差分だけ探し てくれるので、そこだけインポートしてもOK ⚫ 推奨設定にしますか?とポップアップが来るの で、「Accept All」にする ⚫ するとVR用の設定にしてくれる
  11. 11. 1-3 Steamのサンプルプロジェクトを起動 ⚫ Projectタブの Asset → SteamVR → InteractionSystem → Samples と辿って、 シーンInteraction_Example を開く
  12. 12. 1-3 Steamのサンプルプロジェクトを起動 ⚫ Gizmos → 3D Icons でアイコンの表 示を小さくする ⚫ ▶のデバッグ実行で動かしてみる ⚫ SteamVR input がありませんよ? と来るのでYesでWindowを開いて、 default のまま Save and generate
  13. 13. 1-3 Steamのサンプルプロジェクトを起動 ⚫ ▶を押してデバッグ実行 ⚫ HMDがあればVRモードで実行可能。なくても2D Debugモードで実行可能。 ⚫ Scene下部のボタンで切換 https://twitter.com/JNTEST23/status/1057812513071362048 VRモード 2Dモード 動画
  14. 14. 1-4 3D AssetをVR化 ⚫ Asset Storeから適当に3D Assetを選んでVR化 ⚫ 最近無料化した「Citizen Of The Forest – Avangard House」を 選んでみた ⚫ Download, Import
  15. 15. 1-4 3D AssetをVR化 ⚫ Citizen_of_The_Forest という サンプルシーンがあった ⚫ 名前を変えてシーンのコピーを保存。 これをVR化の舞台とする
  16. 16. 1-4 3D AssetをVR化 ⚫ SteamVRのサンプルシーン Interactions_Exampleから下記の3 個をコピーする ⚫Player ⚫Teleporting ⚫TeleportArea ⚫ VR化したいシーンにペースト ⚫ もとのシーンにプレイヤーやカメラがある場 合は重複してしまうため、もとのやつを削除 か無効化する 無効化
  17. 17. 1-4 3D AssetをVR化 ⚫ TeleportArea を敷く。Mesh Rendererのチェックを外して見えなくする
  18. 18. 1-4 3D AssetをVR化 ⚫ 素通りしたいものはColliderのチェックを外す (今回はterrain、建物、ドア を外した) ⚫ プレイヤーの初期位置を調整する ⚫ 実行してみる ⚫ 動画はツイート見てください →→ https://twitter.com/JNTEST23/status/1060155064738705408
  19. 19. 1.VRコンテンツの作り方 2.日本語音声認識の作り方
  20. 20. 2-1 IBM cloudのセットアップ ⚫ IBM クラウド(bluemix)のアカウント作成 ⚫ https://console.bluemix.net/ ⚫ ちょっとだけ使えるフリーアカウントはメールア ドレスだけで作れる ⚫ クレジットカードを登録するとフリーミアムのス タンダードプランが使える
  21. 21. 2-1 IBM cloudのセットアップ ⚫ IBM Cloud にログインしたら、左上の 三本線からメニューを開き、Watsonを 選択 ⚫ すべてのWatsonサービスを参照
  22. 22. 2-1 IBM cloudのセットアップ ⚫ いろいろあるけど、Speech to Text が使いやすい ⚫ Speech to Text を選択する ⚫ プランと料金を確認する ⚫ メールアドレスだけの「ライト」だと1か月100分まで無料。 ※ デモあるあるで急に使えなくなって焦る ⚫ 標準だと累計1,000分無料でその後2円/分 ※とても安いと感じる ⚫ 説明だと分かりにくいけど、英語でも日本語でも料金は同じ ⚫ (インスタンスの)「作成」ボタンをおす
  23. 23. 2-1 IBM cloudのセットアップ ⚫ めでたくインスタンスが生成されたので、 下記が発行される。 ⚫Url ⚫Username ⚫Password ⚫ 後でUnityで使います。
  24. 24. 2-2 Watson Asset のインポート ⚫ IBM Watson SDK for Unity をインポート ⚫ Watsonと検索してトップに出てくるの はこれ ↓ なので注意www
  25. 25. 2-3 サンプルプロジェクトを起動 ⚫ シーンExampleStreamingの ExampleStreamingに Url,Username,Password を入れる。 ⚫ 実行すると、英語でしゃべったことをテキスト化してくれる。(高速、高精度) ⚫ Recognize Model に 「ja-JP_BroadbandModel」と入れると日本語対応になる。((重要))
  26. 26. 2-4 VR空間で使う ⚫ オブジェクト ExampleStreaming をVR化したシーンにコピペする ⚫ VRCameraの下にテキストをつくる。常に視界に入るようにするなら設定値はこれくらい
  27. 27. 2-4 VR空間で使う ⚫ 用意したテキストを ExampleStreaming の Result Field にドラッグ&ドロップ
  28. 28. 2-4 VR空間で使う ⚫ 実行してみる ⚫ 字幕みたいになった ⚫ 動画はツイート見てください →→ https://twitter.com/JNTEST23/status/1060168367208718336
  29. 29. 2-5 音声認識からイベント起動 ⚫ 特定のキーワードを拾っていろいろできます! ⚫アニメーションの再生、物理空間でのLチカ、Prefab召喚 などなど https://youtu.be/3xZCO1je8FM

×