音声のアクティブ化

[アーティクル]
04/01/2024

Note

このトピックでは、主に、現在 Windows 10 (バージョン 1909 以前) で提供されているコンシューマーエクスペリエンスについて説明します詳細については、Windows と Teams での Cortana のサポート終了を参照してください。

パーソナルアシスタントテクノロジである Cortana は、2013 年の Microsoft BUILD Developer Conference で初めてデモンストレーションされました。 Windows 音声認識プラットフォームは、Cortana やディクテーションなど、Windows 10 のすべての音声エクスペリエンスを強化するために使用されます。音声アクティベーションは、ユーザーが「コルタナさん」という特定のフレーズを言うことによって、さまざまなデバイスの電源状態から音声認識エンジンを呼び出すことができる機能です。音声アクティブ化テクノロジをサポートするハードウェアを作成するには、このトピックの情報を確認してください。

Note

音声アクティベーションの実装は重要なプロジェクトであり、SoCベンダーが行うタスクです。 OEM は、SoC の音声アクティベーションの実装に関する情報を SoC ベンダーに問い合わせることができます。

Cortana エンドユーザーエクスペリエンス

Windows で使用できる音声操作エクスペリエンスを理解するには、次のトピックを確認してください。

トピック	説明
コルタナとは何ですか？	コルタナの概要と使用方法を提供します

"コルタナさん"の音声アクティベーションと"自分の声を学ぶ"の概要

"コルタナさん"の音声アクティベーション

"コルタナさん" 音声アクティブ化 (VA) 機能を使用すると、ユーザーは音声を使用して、アクティブなコンテキスト (つまり、現在画面に表示されているもの) の外部でコルタナエクスペリエンスをすばやく操作できます。ユーザーは、多くの場合、デバイスを物理的に操作したり、タッチしたりすることなく、エクスペリエンスに即座にアクセスできることを望んでいます。電話ユーザーの場合、これは車を運転し、車両の操作に注意と手を向けていることが原因である可能性があります。 Xboxユーザーの場合、これはコントローラーを見つけて接続したくないことが原因である可能性があります。 PCユーザーの場合、これは、キッチンのコンピューターなど、複数のマウス、タッチ、キーボード操作を実行することなく、エクスペリエンスにすばやくアクセスできることが原因である可能性があります。

音声アクティブ化は、定義済みのキーフレーズまたは "アクティブ化フレーズ" を介して常にリスニング音声入力を提供します。キーフレーズは、ステージングされたコマンドとして単独で発声される ("コルタナさん" )、または連鎖コマンドである "コルタナさん、次の会議はどこですか？" などの音声操作が続く場合があります。

キーワード検出という用語は、ハードウェアまたはソフトウェアによるキーワードの検出を表します。

キーワードのみのアクティブ化は、コルタナキーワードのみが発声された場合に発生し、コルタナが起動して EarCon サウンドを再生し、リスニングモードに入ったことを示します。

連鎖コマンドとは、キーワードの直後にコマンドを発行し (「コルタナさん、ジョンに電話して」など)、Cortana に開始させ (まだ開始していない場合)、コマンドをフォローさせる (John との通話を開始する) 機能を表します。

この図は、連鎖およびキーワードのみのアクティブ化を示しています。

オーディオバッファーと時間シーケンスを使用して、連鎖アクティブ化とキーワードのみのアクティブ化の違いを示す図。

Microsoft は、ハードウェアキーワード検出の品質を保証し、ハードウェアキーワード検出が存在しない、または使用できない場合に Hey Cortana エクスペリエンスを提供するために使用される OS の既定のキーワードスポッター (ソフトウェアキーワードスポッター) を提供しています。

"自分の声を学習"機能

"自分の声を学習"機能を使用すると、ユーザーはコルタナが自分の固有の声を認識できるようにトレーニングできます。これは、ユーザーがコルタナの設定画面で "コルタナ" さんの言い方を確認する を選択することで実現されます。次に、ユーザーは、ユーザーの音声の一意の属性を識別するのに十分なさまざまな音声パターンを提供する、慎重に選択された 6 つのフレーズを繰り返します。

ハードウェアキーワードスポッターとウェイクオンボイス機能の Cortana デスクトップ設定のスクリーンショット。

音声アクティベーションを "自分の声を学ぶ "と組み合わせると、2つのアルゴリズムが連携して、誤ったアクティベーションを減らします。これは、デバイスでいっぱいの部屋で 1 人のユーザーが "コルタナさん" と言う会議室のシナリオで特に役立ちます。この機能は、Windows 10 バージョン 1903 以前でのみ使用できます。

音声アクティベーションは、キーフレーズが検出された場合に反応するキーワードスポッター(KWS)によって強化されます。 KWS がデバイスを低電力状態からウェイクアップする場合、このソリューションは Wake on Voice (WoV) と呼ばれます。詳細については、ウェイクオンボイスを参照してください。

用語集

この用語集は、音声アクティベーションに関連する用語をまとめたものです。

用語	例/定義
ステージングされたコマンド	例：コルタナさん、<一時停止して、イヤコンを待って>ください天気は? これは、"2 ショットコマンド" または "キーワードのみ" と呼ばれることもあります
連鎖コマンド	例：コルタナさん、天気はどうですか？これは “ワンショットコマンド”と呼ばれることもあります
音声のアクティブ化	事前定義されたアクティベーションキーフレーズのキーワード検出を提供するシナリオ。たとえば、"コルタナさん"は Microsoft 音声アクティベーションのシナリオです。
WoV	Wake-on-Voice – 画面がオフの低電力状態からフルパワー状態の画面まで、音声によるアクティベーションを可能にするテクノロジー。
モダンスタンバイからの WoV	モダンスタンバイ (S0ix) 画面オフ状態からフルパワー (S0) 状態への Wake-on-Voice 。
モダンスタンバイ	Windows 低電力アイドルインフラストラクチャ - Windows 10 のコネクトスタンバイ (CS) の後継。モダンスタンバイの最初の状態は、画面がオフのときです。最も深いスリープ状態は、DRIPS/回復性にあるときです。詳細については、「モダンスタンバイ」を参照してください。
KWS	キーワードスポッター – “コルタナさん”の検出を提供するアルゴリズム
SW KWS	ソフトウェアキーワードスポッター – ホスト (CPU) 上で実行される KWS の実装。 "コルタナさん" の場合、SW KWS は Windows の一部として含まれています。
HW KWS	ハードウェアオフロードキーワードスポッター – ハードウェア上でオフロードされる KWS の実装。
バーストバッファ	KWS 検出をトリガーしたすべてのオーディオが含まれるように、KWS 検出イベントで "バースト" できる PCM データを格納するために使用される循環バッファー。
キーワード検出器 OEM アダプター	WoV 対応ハードウェアが Windows および Cortana スタックと通信できるようにするドライバーレベルのシム。
モデル	KWS アルゴリズムで使用される音響モデルデータファイル。データファイルは静的です。モデルはローカライズされ、ロケールごとに 1 つずつ表示されます。

ハードウェアキーワードスポッターの統合

ハードウェアキーワードスポッター (HW KWS) を実装するには、SoC ベンダーは次のタスクを完了する必要があります。

このトピックで後述する SYSVAD サンプルに基づいて、カスタムキーワード検出項目を作成します。これらのメソッドは、キーワード検出機能 OEM アダプターインターフェイスで説明されている COM DLL に実装します。
WAVERT の機能強化で説明されている WAVE RT の機能強化を実装します。
キーワード検出に使用されるカスタム APO を記述する INF ファイルエントリを指定します。
オーディオデバイスの推奨事項でハードウェアの推奨事項とテストガイダンスを確認します。このトピックでは、Microsoft の Speech プラットフォームで使用することを目的としたオーディオ入力デバイスの設計と開発に関するガイダンスと推奨事項について説明します。
ステージングされたコマンドと連鎖されたコマンドの両方をサポートします。
サポートされている各コルタナロケールの "コルタナさん" をサポートします。
APO (オーディオ処理オブジェクト) は、次の効果を提供する必要があります：
- AEC
- AGC
- NS
音声処理モードの効果は、MFX APO によって報告される必要があります。
APO は、MFX として形式変換を実行できます。
APO は次のフォーマットを出力する必要があります：
- 16kHz、モノラル、フロート。
必要に応じて、カスタム APOを設計して、オーディオキャプチャプロセスを強化します。詳細については、Windows オーディオ処理オブジェクトを参照してください。

ハードウェアオフロードキーワードスポッター (HW KWS) WoV の要件

HW KWS WoV は、S0 動作状態と S0 スリープ状態 (モダンスタンバイとも呼ばれます) でサポートされます。
HW KWS WoV は S3 からはサポートされていません。

HW KWS の AEC 要件

Windows バージョン 1709 の場合
- S0 スリープ状態 (モダンスタンバイ) の HW KWS WoV をサポートする場合、AEC は必要ありません。
- S0 動作状態の HW KWS WoV は、Windows バージョン 1709 ではサポートされていません。
Windows バージョン 1803 の場合
- S0 動作状態の HW KWS WoV がサポートされています。
- S0 動作状態の HW KWS WoV を有効にするには、APO が AEC をサポートしている必要があります。

サンプルコードの概要

音声アクティブ化を実装するオーディオドライバーのサンプルコードは、SYSVAD 仮想オーディオアダプターサンプルの一部として GitHub にあります。このコードを出発点として使用することをお勧めします。コードは、この場所で入手できます。

https://github.com/Microsoft/Windows-driver-samples/tree/main/audio/sysvad/

SYSVAD サンプルオーディオドライバーの詳細については、サンプルオーディオドライバーを参照してください。

キーワード認識システム情報

音声アクティベーションオーディオスタックのサポート

音声アクティブ化を有効にするためのオーディオスタック外部インターフェイスは、音声プラットフォームとオーディオドライバーの通信パイプラインとして機能します。外部インターフェイスは 3 つの部分に分かれています。

キーワード検出器デバイスドライバーインターフェイス (DDI)。キーワード検出器デバイスドライバーインターフェイスは、HW キーワードスポッター (KWS) の構成と準備を担当します。また、ドライバーが検出イベントをシステムに通知するためにも使用されます。
キーワード検出器 OEM アダプター DLL。この DLL は、キーワードの検出を支援するために OS で使用するドライバー固有の不透明なデータを適応させる COM インターフェイスを実装します。
WaveRT ストリーミングの機能強化。この機能強化により、オーディオドライバーは、キーワード検出からバッファーに格納されたオーディオデータをバーストストリーミングできます。

オーディオエンドポイントのプロパティ

オーディオエンドポイントグラフの構築は正常に行われます。グラフは、リアルタイムキャプチャよりも高速に処理できるように準備されています。キャプチャされたバッファーのタイムスタンプは真実のままです。具体的には、タイムスタンプは、過去にキャプチャされてバッファリングされ、現在バーストしているデータを正しく反映します。

Bluetoothバイパスオーディオストリーミングの理論

ドライバーは、通常どおり、キャプチャデバイスの KS フィルターを公開します。このフィルターは、検出イベントを構成、有効化、および通知するためのいくつかの KS プロパティと KS イベントをサポートします。このフィルターには、キーワードスポッター (KWS) ピンとして識別される追加のピンファクトリも含まれています。このピンは、キーワードスポッターからオーディオをストリーミングするために使用されます。

次のプロパティです。

サポートされているキーワードの種類 - KSPROPERTY_SOUNDDETECTOR_PATTERNS。このプロパティは、検出されるキーワードを構成するためにオペレーティングシステムによって設定されます。
キーワードパターン GUID の一覧 - KSPROPERTY_SOUNDDETECTOR_SUPPORTEDPATTERNS。このプロパティは、サポートされているパターンの種類を識別する GUID の一覧を取得するために使用されます。
武装 - KSPROPERTY_SOUNDDETECTOR_ARMED。この読み取り/書き込みプロパティは、ディテクターが準備されているかどうかを示す単純なブール状態です。 OS は、キーワード検出機能を有効にするようにこれを設定します。 OS はこれをクリアして解除できます。ドライバーは、キーワードパターンが設定されたとき、およびキーワードが検出された後に、これを自動的にクリアします。 (OS はリアームする必要があります。
試合結果 - KSPROPERTY_SOUNDDETECTOR_MATCHRESULT。この読み取りプロパティは、検出が発生した後の結果データを保持します。

キーワードが検出されたときに発生するイベントは、KSEVENT_SOUNDDETECTOR_MATCHDETECTED イベントです。

操作のシーケンス

システムの起動

OS は、サポートされているキーワードの種類を読み取り、その形式のキーワードがあることを確認します。
OS は、ディテクタのステータス変更イベントに登録します。
OS によってキーワードパターンが設定されます。
OS は検出器を作動させます。

KSイベント受信時

ドライバーは検出器を解除します。
OS は、キーワード検出機能の状態を読み取り、返されたデータを解析して、検出されたパターンを判断します。
OS は検出器を再武装します。

内部ドライバとハードウェアの動作

検出器が武装している間、ハードウェアはオーディオデータを連続的にキャプチャし、小さなFIFOバッファにバッファリングすることができます。 (この FIFO バッファーのサイズは、このドキュメント以外の要件によって決まりますが、通常は数百ミリ秒から数秒になる場合があります。)検出アルゴリズムは、このバッファを通過するデータストリーミングに対して動作します。ドライバとハードウェアの設計は、武装している間は、キーワードが検出されるまで、ドライバとハードウェアの間に相互作用がなく、"アプリケーション" プロセッサへの割り込みも行われないようなものです。これにより、他のアクティビティがない場合に、システムはより低い電力状態に到達できます。

ハードウェアがキーワードを検出すると、割り込みが生成されます。ドライバーが割り込みを処理するのを待っている間、ハードウェアはオーディオをバッファーにキャプチャし続け、キーワードが失われた後のデータがバッファリング制限内で行われないようにします。

キーワードのタイムスタンプ

キーワードを検出した後、すべての音声アクティベーションソリューションは、キーワードの開始の 250ms前を含め、すべての音声キーワードをバッファリングする必要があります。オーディオドライバーは、ストリーム内のキーフレーズの開始と終了を識別するタイムスタンプを提供する必要があります。

キーワードの開始/終了タイムスタンプをサポートするために、DSPソフトウェアはDSPクロックに基づいて内部的にイベントのタイムスタンプを取得する必要があります。キーワードが検出されると、DSP ソフトウェアはドライバーと対話して KS イベントを準備します。ドライバーと DSP ソフトウェアは、DSP タイムスタンプを Windows パフォーマンスカウンター値にマップする必要があります。これを行う方法は、ハードウェア設計に固有です。考えられる解決策の 1 つは、ドライバーが現在のパフォーマンスカウンターを読み取り、現在の DSP タイムスタンプを照会し、現在のパフォーマンスカウンターを再度読み取り、パフォーマンスカウンターと DSP 時間の相関関係を推定することです。その後、相関関係が与えられると、ドライバーはキーワード DSP タイムスタンプを Windows パフォーマンスカウンターのタイムスタンプにマップできます。

キーワードディテクタ OEM アダプタインターフェイス

OEM は、OS とドライバーの間の仲介役として機能する COM オブジェクトの実装を提供し、KSPROPERTY_SOUNDDETECTOR_PATTERNSとKSPROPERTY_SOUNDDETECTOR_MATCHRESULTを介してオーディオドライバーに書き込まれ読み取られる不透明なデータの計算または解析を支援します。

COM オブジェクトの CLSID は、KSPROPERTY_SOUNDDETECTOR_SUPPORTEDPATTERNSによって返されるディテクターパターンタイプの GUID です。 OS は、パターンの種類 GUID を渡して CoCreateInstance を呼び出し、キーワードパターンの種類と互換性のある適切な COM オブジェクトをインスタンス化し、オブジェクトの IKeywordDetectorOemAdapter インターフェイスのメソッドを呼び出します。

COM スレッドモデルの要件

OEM の実装では、任意の COM スレッドモデルを選択できます。

IKeywordDetectorOemAdapter

インターフェイスの設計では、オブジェクトの実装をステートレスに保とうとします。言い換えれば、実装では、メソッド呼び出し間に状態を格納する必要はありません。実際、内部 C++ クラスでは、一般的な COM オブジェクトの実装に必要なメンバー変数以外のメンバー変数は必要ない可能性があります。

メソッド

次のメソッドを実装します。

KEYWORDID

KEYWORDID 列挙体は、キーワードの語句テキスト/関数を識別し、Windows 生体認証サービスアダプターでも使用されます。詳細については、生体認証フレームワークの概要 - コアプラットフォームコンポーネントを参照してください

typedef enum  {
  KwInvalid              = 0,
  KwHeyCortana           = 1,
  KwSelect               = 2
} KEYWORDID;

キーワードセレクター

KEYWORDSELECTOR 構造体は、特定のキーワードと言語を一意に選択する ID のセットです。

typedef struct
{
    KEYWORDID KeywordId;
    LANGID LangId;
} KEYWORDSELECTOR;

モデルデータの処理

静的なユーザーに依存しないモデル - OEM DLL には、通常、DLL に組み込まれている、または DLL に含まれる別のデータファイルに、静的なユーザーに依存しないモデルデータが含まれます。 GetCapabilities ルーチンによって返される、サポートされているキーワード ID のセットは、このデータによって異なります。たとえば、GetCapabilities によって返されるサポートされているキーワード ID の一覧に KwHeyCortana が含まれている場合、静的なユーザーに依存しないモデルデータには、サポートされているすべての言語の "コルタナさん" (またはその翻訳) のデータが含まれます。

動的ユーザー依存モデル - IStream は、ランダムアクセスストレージモデルを提供します。 OS は、 IKeywordDetectorOemAdapter インターフェイスの多くのメソッドに IStream インターフェイスポインターを渡します。 OS は、最大 1 MB のデータ用の適切なストレージを使用して IStream 実装をバックアップします。

このストレージ内のデータの内容と構造は、OEM によって定義されます。目的は、OEM DLL によって計算または取得されたユーザー依存モデルデータの永続的なストレージです。

OS は、特にユーザーがキーワードをトレーニングしたことがない場合に、空の IStream を使用してインターフェイスメソッドを呼び出すことができます。 OS は、ユーザーごとに個別の IStream ストレージを作成します。つまり、特定の IStream は、1 人のユーザーのみのモデルデータを格納します。

OEM DLL 開発者は、ユーザーに依存しないデータとユーザーに依存するデータの管理方法を決定します。ただし、ユーザーデータは IStream の外部に格納されません。考えられる OEM DLL 設計の 1 つは、現在のメソッドのパラメーターに応じて、IStream と静的ユーザーに依存しないデータへのアクセスを内部的に切り替えることです。別の設計では、各メソッド呼び出しの開始時に IStream をチェックし、静的なユーザーに依存しないデータが IStream にまだ存在しない場合は追加し、メソッドの残りの部分がすべてのモデルデータの IStream のみにアクセスできるようにすることができます。

トレーニングと操作のオーディオ処理

前述したように、トレーニング UI フローでは、音声が豊富な完全な文がオーディオストリームで使用できるようになります。各文は個別に IKeywordDetectorOemAdapter::VerifyUserKeyword に渡され、想定されるキーワードが含まれ、許容できる品質であることを確認します。すべての文が収集され、UI によって検証された後、それらはすべて IKeywordDetectorOemAdapter::ComputeAndAddUserModelData への 1 回の呼び出しで渡されます。

音声は、音声アクティベーショントレーニング用に独自の方法で処理されます。次の表は、音声アクティベーショントレーニングと通常の音声認識の使用法の違いをまとめたものです。

	音声トレーニング	音声認識
Mode	直接	生または音声
固定	正常	KWS
オーディオフォーマット	32 ビット浮動小数点 (タイプ = オーディオ、サブタイプ = IEEE_FLOAT、サンプリングレート = 16 kHz、ビット = 32)	OS オーディオスタックによって管理される
マイク	マイク0	すべてのマイクをアレイまたはモノラルで

キーワード認識システムの概要

この図は、キーワード認識システムの概要を示しています。

Cortana、音声ランタイム、音声アクティブ化マネージャーコンポーネントを含むキーワード認識システムの図。

キーワード認識シーケンス図

これらの図では、音声ランタイムモジュールが "音声プラットフォーム" として示されています。前述のように、Windows 音声プラットフォームは、Cortana やディクテーションなど、Windows 10 のすべての音声エクスペリエンスを強化するために使用されます。

起動時に、IKeywordDetectorOemAdapter::GetCapabilities を使用して機能が収集されます。

起動時のキーワード認識のシーケンス図。トレーニング UX、音声プラットフォーム、OEM キーワード検出機能が示されています。

その後、ユーザーが「自分の声を学習する」を選択すると、トレーニングフローが呼び出されます。

この図は、キーワード検出のための準備のプロセスを示しています。

キーワード検出の準備中のキーワード認識のシーケンス図。音声プラットフォーム、OEM キーワード検出機能、オーディオドライブ検出機能が示されています。

WAVERTの機能強化

ミニポートインターフェイスは、WaveRT ミニポートドライバーによって実装されるように定義されています。これらのインターフェイスは、オーディオドライバーを簡略化したり、OS オーディオパイプラインのパフォーマンスと信頼性を向上させたり、新しいシナリオをサポートしたりするための方法を提供します。新しい PnP デバイスインターフェイスプロパティが定義され、ドライバーはバッファーサイズ制約の静的な式を OS に提供できます。

バッファサイズ

ドライバーは、OS、ドライバー、ハードウェア間でオーディオデータを移動するときに、さまざまな制約の下で動作します。これらの制約は、メモリとハードウェア間でデータを移動する物理的なハードウェアトランスポート、および/またはハードウェアまたは関連する DSP 内の信号処理モジュールが原因である可能性があります。

HW-KWS ソリューションは、少なくとも 100msから最大 200msのオーディオキャプチャサイズをサポートする必要があります。

ドライバーは、KS ストリーミングピンを持つ KS フィルターの KSCATEGORY_AUDIO PnP デバイスインターフェイスで DEVPKEY_KsAudio_PacketSize_Constraints デバイスプロパティを設定することで、バッファーサイズの制約を表します。このプロパティは、KS フィルターインターフェイスが有効になっている間、有効で安定した状態を維持する必要があります。 OS は、ドライバーへのハンドルを開いてドライバーを呼び出すことなく、いつでもこの値を読み取ることができます。

DEVPKEY_KsAudio_PacketSize_Constraints

DEVPKEY_KsAudio_PacketSize_Constraints プロパティ値には、物理的なハードウェアの制約 (つまり、WaveRT バッファーからオーディオハードウェアにデータを転送するメカニズムによる) を記述するKSAUDIO_PACKETSIZE_CONSTRAINTS構造が含まれています。構造体には、任意の信号処理モードに固有の制約を記述する 0 個以上のKSAUDIO_PACKETSIZE_PROCESSINGMODE_CONSTRAINT構造体の配列が含まれます。ドライバーは、 PcRegisterSubdevice を呼び出す前に、またはストリーミングピンの KS フィルターインターフェイスを有効にする前に、このプロパティを設定します。

IMiniportWaveRTInputStream

ドライバーは、ドライバーから OS へのオーディオデータフローをより適切に調整するために、このインターフェイスを実装します。このインターフェイスがキャプチャストリームで使用できる場合、OS はこのインターフェイスのメソッドを使用して WaveRT バッファー内のデータにアクセスします。詳細については、IMiniportWaveRTInputStream::GetReadPacketを参照してください

IMiniportWaveRTOutputStream

WaveRT ミニポートは、必要に応じてこのインターフェイスを実装して、OS からの書き込みの進行状況を通知し、正確なストリーム位置を返します。詳細については、IMiniportWaveRTOutputStream::SetWritePacket、IMiniportWaveRTOutputStream::GetOutputStreamPresentationPositionとIMiniportWaveRTOutputStream::GetPacketCountを参照してください。

パフォーマンスカウンターのタイムスタンプ

いくつかのドライバールーチンは、サンプルがデバイスによってキャプチャまたは提示された時刻を反映した Windows パフォーマンスカウンターのタイムスタンプを返します。

複雑なDSPパイプラインと信号処理を備えたデバイスでは、正確なタイムスタンプを計算することが困難な場合があるため、慎重に行う必要があります。タイムスタンプは、サンプルが OS との間で DSP に転送された時刻を単純に反映するべきではありません。

DSP内では、DSPの内部ウォールクロックを使用してサンプルのタイムスタンプを追跡します。
ドライバーと DSP の間で、Windows パフォーマンスカウンターと DSP ウォールクロックの間の相関関係を計算します。この手順は、非常に単純なもの(ただし、精度は低い)から、かなり複雑なものや斬新なもの(ただし、より正確)までさまざまです。
信号処理アルゴリズム、パイプライン、またはハードウェアの転送による一定の遅延は、特に考慮されていない限り、考慮に入れます。

バースト読み取り動作

このセクションでは、バースト読み取りの OS とドライバーの相互作用について説明します。バースト読み取りは、ドライバーが IMiniportWaveRTInputStream::GetReadPacket 関数を含むパケットベースのストリーミング WaveRT モデルをサポートしている限り、音声アクティブ化シナリオの外部で発生する可能性があります。

バースト読み取りシナリオの 2 つの例について説明します。 1 つのシナリオでは、ミニポートがピンカテゴリ KSNODETYPE_AUDIO_KEYWORDDETECTORを持つピンをサポートしている場合、ドライバーはキーワードが検出されたときにデータのキャプチャと内部バッファリングを開始します。別のシナリオでは、OS が IMiniportWaveRTInputStream::GetReadPacket を呼び出すことによって十分な速度でデータを読み取っていない場合、ドライバーは必要に応じて WaveRT バッファーの外部にデータを内部的にバッファーできます。

KSSTATE_RUN に移行する前にキャプチャされたデータをバーストするには、ドライバーは、バッファーされたキャプチャデータと共に正確なサンプルタイムスタンプ情報を保持する必要があります。タイムスタンプは、キャプチャされたサンプルのサンプリング瞬間を識別します。

ストリームが KSSTATE_RUN に切り替わると、ドライバーは既に使用可能なデータがあるため、バッファー通知イベントをすぐに設定します。
このイベントで、OS は GetReadPacket() を呼び出して、使用可能なデータに関する情報を取得します。

a. ドライバーは、有効なキャプチャデータのパケット番号 (KSSTATE_STOP から KSSTATE_RUN への移行後の最初のパケットの場合は 0) を返し、そこから OS は WaveRT バッファー内のパケット位置と、ストリームの開始を基準としたパケット位置を派生させることができます。

b. また、ドライバーは、パケット内の最初のサンプルのサンプリング瞬間に対応するパフォーマンスカウンター値を返します。このパフォーマンスカウンター値は、ハードウェアまたはドライバー内 (WaveRT バッファーの外部) でバッファーされているキャプチャデータの量に応じて、比較的古い場合があることに注意してください。

c. 使用可能な未読バッファリングデータがさらにある場合、ドライバは次のいずれかを行います。そのデータを WaveRT バッファーの使用可能な領域 (つまり、GetReadPacket から返されたパケットで使用されていない領域) にすぐに転送し、MoreData に対して真実を返し、このルーチンから戻る前にバッファー通知イベントを設定します。または、ii. 次のパケットを WaveRT バッファーの使用可能な領域にバーストするようにハードウェアをプログラムし、MoreData に対して間違いを返し、後で転送の完了時にバッファーイベントを設定します。
OS は、GetReadPacket() によって返される情報を使用して、WaveRT バッファーからデータを読み取ります。
OS は、次のバッファー通知イベントを待機します。ドライバーが手順 (2c) でバッファー通知を設定した場合、待機はすぐに終了する可能性があります。
ドライバーが手順 (2c) でイベントをすぐに設定しなかった場合、ドライバーは、キャプチャされたデータを WaveRT バッファーに転送し、OS が読み取れるようにした後にイベントを設定します
(2)に進みます。 KSNODETYPE_AUDIO_KEYWORDDETECTORキーワード検出器ピンの場合、ドライバーは少なくとも5000msのオーディオデータに十分な内部バーストバッファリングを割り当てる必要があります。バッファーがオーバーフローする前に OS がピンにストリームを作成できない場合、ドライバーは内部バッファリングアクティビティを終了し、関連付けられているリソースを解放する可能性があります。

ウェイクオンボイス

Wake On Voice (WoV) を使用すると、ユーザーは "コルタナさん" などの特定のキーワードを発声することで、画面オフの低電力状態から画面オンのフルパワー状態まで、音声認識エンジンをアクティブ化して照会できます。

この機能により、画面がオフでデバイスがアイドル状態の場合など、デバイスが低電力状態にある間、デバイスは常にユーザーの音声をリッスンできます。これは、通常のマイク録音中に見られるはるかに高い電力使用量と比較すると、低電力であるリスニングモードを使用することによって行われます。低電力の音声認識により、ユーザーは "コルタナさん" などの定義済みのキーフレーズを発声するだけで、その後に "次の予定はいつですか" などの連鎖した音声フレーズを発声して、ハンズフリーで音声を呼び出すことができます。これは、デバイスが使用中であるか、画面をオフにしてアイドル状態であるかに関係なく機能します。

オーディオスタックは、ウェイクデータ (話者 ID、キーワードトリガー、信頼度) を通信し、キーワードが検出されたことを関心のあるクライアントに通知する役割を担います。

モダンスタンバイシステムでの検証

システムアイドル状態からの WoV は、HLK の AC 電源のモダンスタンバイウェイクオンボイスの基本テストおよび DC 電源のモダンスタンバイウェイクオンボイスの基本テストを使用したモダンスタンバイシステムで検証できます。これらのテストでは、システムにハードウェアキーワードスポッター (HW-KWS) があり、最も深いランタイムアイドルプラットフォーム状態 (DRIPS) に入ることができ、システム再開待機時間が 1 秒以下の音声コマンドでモダンスタンバイからスリープ解除できることを確認します。

次の方法で共有

音声のアクティブ化

Cortana エンドユーザーエクスペリエンス