HoloLens2 QRコード読み取りのやり方

by azure-recipe-user

【MRTK】 HoloLens2 Azure 音声認識サービス チュートリアル やりました

HoloLens2 Azure 音声認識サービス チュートリアル をやりました。

開発環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1
• MRTK ver2.5.3

出来たもの

音声認識 & 文字起こし

音声コマンド

音声認識 & 翻訳

自然言語理解

Unityの音声認識は内部でWindowsの音声認識を使用するのでOSで設定された言語で認識します。(Macでは動作しません)

なので今回は日本語でこの部分を行いました。

やり方

1. LUISアプリの作成時のカルチャーを"Japanese"にする。

2. 学習データを日本語にする。

3. LunarcomIntentRecognizer.ProcessResults を書き換える。

これで日本語で進めることができます。

by azure-recipe-user

【MRTK】PC Holographic Remoting をやりました

HoloLens 2 PC Holographic Remoting のチュートリアル をやりました。

開発環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1

やり方

HoloLens 2 PC Holographic Remoting のチュートリアルの通りにやればできました。
引っかかる部分も特になかったです。

完成

3DモデルをPCで描画してHoloLens2に送っています。
PCで描画するので重いモデルでも描画することができます。
他にはビルドせずにUIやモデルをHoloLensで確かめられるのが便利ですね。

Holographic Remoting と 実機ビルドの違い

カメラとマイクはHoloLensではなくPCのものを使う。
PC上で動作させるため、ビルド時と動作が異なることがある。

by azure-recipe-user

【MRTK】MRTKInputFieldが使いづらい 解決案

はじめに

開発中のHoloLens2アプリのログイン周りの入力がやりづらかったので解決策を探りました。

環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1

仕様

アプリの仕様
E-mailとパスワードを半角英数字で入力してログインする仕様です。
HoloLens2標準キーボード+MRTK標準InputFieldを使用していました。

MRTK標準InputFieldの仕様
InputField ContentType は指定した形式以外の入力が確定したときにブロックします。
ContentType Email を指定したときも全角文字を入力することができてEnterを押したときに消えます。

問題点

Email、パスワードの半角英数字が入力しづらい状態です。
理由は下の問題があるためです。

• 全角入力から始まる。
• 全角の文字を入力すると二重に表示される。
• 全角の文字を入力すると1文字ずつしか表示されないことがある。
• HoloLens2を慣れていないユーザーから見ると半角文字と全角文字の区別が難しい。

対処法

対処法として以下の方法を考えました。

• 入力文字を無理やり半角に変える。
• 全角文字が入力されたときにユーザーに知らせる。
• 半角英数字しか入力できないキーボードを使用する。
• ログイン方法を変更する。

入力文字を無理やり半角に変える

やり方

上のコードをプロジェクトに追加して Validation を MRTKInputField にアタッチする。

デメリット

入力中の文字が二重に表示される、一文字しか表示されないなどの問題は解決できない。
全角のaなどの入力はひらがなに変換されてしまう。

全角文字が入力されたときにユーザーに知らせる

やり方

上のスクリプトをプロジェクトに追加して適当なオブジェクトにアタッチする。
Inspectorから表示先のテキストを ValidationMessage.Textプロパティに設定。
バリデーション対象の MRTKInputField の OnValueChanged に ValidationMessage.CheckTextを追加。

デメリット

扱いづらさを軽減することはできるが、解決はできない。

半角英数字しか入力できないキーボードを使用する

やり方

NonNativeKeyboardを使用する。

デメリット

変換機能を使用することができない。
キーボードを表示する場所等の調整が大変。

ログイン方法を変更する

PINやQRコード等を使用し、文字入力を使用せずにログインできるようにする。

デメリット

HoloLens2単体でのログインが困難。
バックエンドにも変更が必要。
セキュリティ面に注意する必要がある。

結論

現在開発中のアプリでは NonNativeKeyboardを使用したログインと PIN認証を選択できるようにすることにしました。
理由はHoloLens2単体でのログインとストレスのないログインを両方サポートしたかったからです。
まだログイン周りの入力方法は検討を続ける予定です。
他の方法ご存じの方いらっしゃいましたらご教授いただけると幸いです。

by azure-recipe-user

【MRTK】NonNativeKeyboard の使い方

環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1
• Mixed Reality Toolkit ver2.5.3

NonNativeKeyboard を使う上での注意点

日本語入力はできません。
InputFieldを使用すると標準のキーボードと二重に表示されてしまうのでInputFieldっぽいものを自作する必要があります。

ソースコード

使い方

1. Hierarchy に NonNativekeyboard を追加する。
   (project > Mixed Reality Toolkit Foundation > SDK > Experimental > NonNativeKeyboard > prefabs)
2. NonNativeKeyboard に "NonNativeKeyboard" タグをつける。
3. NonNativeKeyboard子要素の InputField の Interactable をオフにする。
   (Hierarchy > NonNativeKeyboard > keyboard_Background > search > InputField)
4. InputField の Disabled Color を 255,255,255,255 に設定
5. Hierarchy に UI > image を追加する。
6. Source Image を InputFieldBackground に設定
7. Imageの子要素として UI >Text-TextMeshPro を追加する。
8. Image に上のスクリプト(NanNativeInputField)をアタッチ。
9. Inspector から Text 及び NoNnativeKeyboard プロパティを設定。

説明

ポインターで操作できるように IPointerDownHandler インターフェイスを実装しています。

各種イベント
keyboard.OnClosed 閉じるボタンを押したときに呼び出される。
keyboard.OnTextSubmitted Enterey を押したときに呼び出される。
keyboard.OnTextUpdated テキストが更新されたときに呼び出される。

公式ドキュメント : NonNativeKeybaord

by azure-recipe-user

Azure Spatial Anchors クイックスタート をやった

Azure Sptial Anchors クイックスタートをやりました。
※ 描画がうまくいきませんでした。
対処法ご存知の方いらっしゃればご共有いただけると助かります。

開発環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1

クイックスタート

Azureポータルにアクセス

リソースの作成をクリック
Spatial Anchors で検索 > クリック

作成

各項目を埋めて作成をクリック

作成が完了すると下の画面になるのでリソースに移動をクリック

アカウントドメインとアカウントIDをコピーしてメモ

アクセスキーに移動し主キーをコピーしてメモ

azure-spatial-anchors-sampleを開いてver2.8.1をダウンロード

ダウンロードが完了したら解凍して Unity Hubを起動
リストに追加をクリック azure-spatial-anchors-samples-2.8.1 > Unity を選択

azure-spatial-anchors-samples-2.8.1 を起動
File > BuildSettings を開く

Universal Windows Platform を選択
TargetDevice を HoloLens に変更
SwitchPlatform をクリック
完了したら BuildSettings を閉じる

Project > Assets > Resources > spatialAnchorConfig
Inspector から先ほどメモした AzureSpatialAnchors アカウント情報を入力

動作確認

File > BuildSettings を開いて
Buildをクリック > 適切なフォルダーを選択してビルド

Configure Azure Spatial Anchors Session
Start Azure Spatial Anchors Session
Tap a surface to add the Local Anchor.
Save Local Anchor to cloud
Saving local Anchor to cloud...
Stop Azure Spatial Anchors Session
Create Azure Spatial Anchors Session for query
Start Azure Spatial Anchors Session for query
Look for Anchor
Looking for Anchor...
Delete Anchor
Stop Azure Spatial Anchors Session for query
Restart demo

上の順番にデモが進んでいきます。

by azure-recipe-user

【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その4

全部で4記事です。
【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その1
【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その2
【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その3
【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その4

前回
【MRTK】HoloLens2 空間オーディオのチュートリアルのやり方 その3

サウンドにリバーブ効果を追加

AudioMixerウィンドウを開く
Groups > Master の上で右クリック Add child group を選択

追加したグループの Addをクリック > SFX Reverb を選択


Inspector から SFX Reverb の設定を変更
DryLevel を最小
Room を 最大

Quad に RoomEffectSendLevelコンポーネントを追加
Hierarchy > Quad > AddComponent("RoomEffectSendLevel")

RoomEffectsendLevelプロパティを 約-30Dbに変更

Project からSpatializeOnOff を開いてコメントアウトを解除

Hierarchy > Quad を選択して Inspector > SpatializeOnOff を開く
RoomEffectGroup ､ MasterGroupプロパティに AudioMixer をセット

動作確認

File > Build Settings > Build
適切なフォルダを選択してビルド

音にリバーブ効果が追加されているか確認しましょう。
お疲れさまでした。

by azure-recipe-user