azure-recipe-user こんにちは、ナレコム前川です！
今回は、Microsoft公式にあるチュートリアル Holograms 220 Spatial Sound 4章 を進めていきたいと思います。
前回からの続きになるので、Holograms 220 Spatial Sound 1章から始めてください。
第4章 音響設計
第4章では、特に操作や設定などはありませんが、
効果的に音響を設計するために考慮すべき点についてご紹介していきます。
音と体験の設計
・全ての音を標準化する
これは、それぞれの音ごとに音量を調節するための特別なコードが必要になることを避けます。
特別なコードが必要になると、時間がかかり、簡単なサウンドファイルの更新も制限されてしまうためです。
・空間などに制限されない体験のために設計する
HoloLensは、完全組み込み型で制約のないホログラフィックコンピュータです。
ユーザーは動きながら、その組み込んだ仮想体験を行います。
オーディオミックスをテストする場合には、必ず動きながら確かめるようにしてください。
・ホログラムの音が適切な場所から発するようにする
現実世界では、犬の吠え声はしっぽからは聞こえませんし、人の声も足からは聞こえません。
そのように、ホログラムの予想外の場所から音が出る事態は避けましょう。
小さなホログラムの場合には、その形状の中心から音を発するようにするのが良いとされています。
・聞き慣れている音は最も認知しやすい
人の声や音楽は、認知するのがとても簡単なものです。
名前を呼ばれたとしたら、その声がどこから、どのくらいの距離から聞こえたかほぼ正確にわかります。
逆に言うと、聞き慣れない音を認知するのは難しいのです。
・ユーザーの期待に応える
人生経験というものは、音の位置を特定する能力に関わっています。
これは、人の声を認知することが特に容易であるからです。
そのため、音を配置する際には、ユーザーの体験からなる期待に応えることが大切です。
・見えない物体は音を発さないようにする
現実世界では、音が聞こえた場合、一般的にどの物体から音が発したのか見分けることができます。
このことは、私達の体験からもわかることだと思います。
音が聞こえて、どこから聞こえたのかわかっているのに、そこに何も物体がなければ、私たちは困惑するはずです。
そのため、見えない物体は音がしないようにしましょう。
しかし、この考慮事項には、例外も存在します。
例えば、野外での環境音（風の音など）は目に見えなくても音を発して構いません。
音のミキシング
・HoloLens のターゲットの音量は 70% にしてmixする
MR体験では、現実世界でホログラムを表示するようになっています。つまり、現実世界の音も聞こえてくるわけです。
そのため、現実世界の音とMR体験での音が聞き分けられるように、HoloLensのターゲットの音量は 70% にしましょう。
・HoloLensの音を 100% にすると外部音が消える
音量レベル 100% のときは、VR体験と同じ状況です。
ユーザーを現実世界でなく、別の世界に誘うのであれば、
耳にするものも別の世界に誘うために現実世界の音が消えるように設定しましょう。
・Unity の AudioMixer を使って音のカテゴリを調整する
mixを設計する場合には、音のカテゴリを作成し、
各カテゴリの音量を 1 つとして増減する機能を用意しておくとよく役に立ちます。
これにより、mix全体への変更を速く簡単に行えるだけでなく、それぞれの音の相対レベルを維持することができます。
一般的なカテゴリには、音響効果、環境音、ナレーション、バックグラウンド ミュージックなどがあります。
・ユーザーの視線を基に音のmixを行う
ユーザーの視線を基に、体感する音響のmixを変化させると役立つことがたびたびあります。
一般的なテクニックの一つとして、ホログラフィックのフレーム外にあるホログラムの音量レベルを下げる方法があります。
これにより、ユーザーの視線が目の前の情報に集中しやすくなります。
・mixの組み立て
mix の組み立てを行う際には、まずバックグラウンドオーディオから始めて、
重要度の低いものから順に層を重ねていくことをおすすめします。
基本的には、層を重ねるごとに、前の層よりも音量を大きく設定しましょう。
また、マイクロソフトが公開している以下の 2 つのホログラム体験は、
ご紹介したそれぞれのシナリオを理解する上で有効な例となるものです。
– HoloTour –
ステレオのナレーションを使っているVRアプリです。
表示されている観光地についてナレーターが説明するときは、音が一貫して聞こえるため、ユーザーはどこにいても変化しません。
360度カメラで撮影したものを使用しているので、実際に観光地に立っているような体験ができます。
また、その観光地の歴史などを知ることも出来て、音で現実感を出しているような感じがしました。
まるで自分もその地に立って、観光をしているような気分になれました！
– Fragments –
MRを使用したアドベンチャーゲームです。
出現するキャラクターのヒントや事件の証拠をもとに事件を解決していきます。
現実世界にゲーム内のキャラクターが現れるような感覚を味わえるので、
現実世界がゲームの世界になっているような体験ができます。VRよりもリアルです！
ストーリーもしっかりしているので、ゲームをする時間が自然と長くなってしまって目が疲れました。。
パフォーマンス
・CPU 使用率
空間音響を使っている場合には、10 ～ 12 個のエミッターで CPU の約 12% が消費されます。
・長いオーディオファイルはストリーミングする
特に標準サンプルレート が 44.1 kHz や 48 kHz である場合は、オーディオデータが大きくなることがあります。
全般的な規則として、5 ～ 10 秒を超えるオーディオファイルはストリーミングすることをおすすめします。
それによって、アプリのメモリ使用量を減らすことができます。
考慮するべき事項は以上です。これで第四章は終わりです。
お疲れ様でした。
