azure-recipe-user こんにちは。ナレコム前川です。
今回はMicrosoft公式にあるチュートリアル Holograms 212 Voice 4章 Grammar Recognizer を進めていきたいと思います。
前回からの続きになるのでHolograms 212 Voice 1章から始めてください。
第4章 Grammar Recognizer
まずUnityに戻ります。Build Settingsが開いている場合は閉じましょう。
[Hierarchy] パネルから “Jetpack_Center” を検索して選択します。
[Inspector] パネルの [Interactible Action] スクリプトに移動し、[Object To Tag Along] の右側にある小さな円をクリックしてください。
そして、”SRGSToolbox” を検索し、選択します。
次に、[Project] パネルの [StreamingAssets] フォルダーにある “SRGSColor.xml” ファイルを確認してください。
SRGSファイルでは、 12種類の色の一覧からユーザが1 つの色と3 つの図形を設定します。
色と図形を発話すると発話した内容の組み合わせを識別し、表示します。
色と図形の組み合わせや発話する図形の順序は自由であり、
１つの組み合わせだけを発話することもできますし、３つ発話することもできます。
SRGSの設計仕様については、コチラを参照してください。
配置とビルド
次に、ビルドと配置を行います。
上部ツールバーから[File] -> [Build Setting] を選択します。
※[Scene Build]の中に[Scenes/ModelExplorer]がない場合は、[Add Open Scenes]をクリックして追加してください。
1. [Windows Store]を選択。
2.[Switch Platform]をクリック。
3.[SDK]を[Universal 10]に変更。
4.[UWP Build Type]を[D3D]に変更。
5.[Unity C# Projects]にチェックを入れる。
6.[Build]をクリック。
Buildクリック後、フォルダが開くので”App”というフォルダを作成します。
作成したら[App]フォルダを選択します。
その後、[App]フォルダを開き、[ModelExplorer.sln]をVisual Stadioで開きます。
1. [Debug] -> [Release]に変更し、[ARM] -> [x86]に変更します。
2. [デバイス]ボタンを[リモート コンピューター]に変更します。
デバイスのIPアドレスを入力し、[認証モード]を[ユニバーサル]に設定します。
メニューで [デバッグ]、[デバッグなしで開始] の順に選択するか、Ctrl + F5で実行します。
宇宙飛行士のジェットパックに視線を送り、タップします。
その後、話し始めるとGrammar Recognizerが発話内容を認識して、その内容に基づいて図形の色が変化します。
今回私は、「Red square, blue triangle, yellow circle」と発話させました。
しっかり発話した内容を認識して、色が変わりました！
以下が実行動画です。
Holograms212では、HoloLensを使用した音声認識で行えることを学びました。
第一章 – 設定したキーワードを発話し、それを認知して動作を行うことを確認しました。
第二章 – メッセージを録音・再生できることを確認しました。
第三章 – Keyword Recognizer と Dictation Recognizer を切り替え方法と
これらの機能が音声を理解や解釈するしくみを学びました。
第四章 – SRGS ファイルと Grammar Recognizer を用いて、アプリで音声認識を使用する方法を学びました。
これで、Holograms212全て終了です。
お疲れ様でした。
