音声機能を構成する
この記事では、インタラクティブ音声 応答 とDynamics 365顧客サービス. で利用できる機能について説明します。 Copilot Studio
エージェント を音声サービスに対応させるには、「 音声対応の エージェント をDynamics 365顧客サービス と統合する」を参照してください。
音声サービスの概要については、「 エージェントで対話型音声 応答 を使用する」を参照してください。
音声 & DTMF モダリティ
音声対応の エージェント は、チャットベースの エージェント とは異なります。 音声対応の エージェント には、音声シナリオを処理するための特定の音声システムトピックが含まれています。 チャットベースの エージェント は、テキスト モダリティをデフォルトとして使用します。 音声対応の エージェント は、音声とDTMFモダリティを使用します。 2 つのモダリティは互いに互換性がありません。
音声向けに最適化 により、さまざまなモダリティにわたって音声対応エージェントを 著者 し、音声関連機能が正しく作成されるようにすることができます。
音声に合わせて最適化する
エージェント を 音声テンプレートを使用して開始しなかった場合は、エージェント の 設定 で 音声用に最適化オプションを有効にする必要があります。
エージェント を開いた状態で、 [設定]>[音声] に移動します。
音声用に最適化するを選択します。 音声を主要な作成モードとして使用する オプションも既定で設定されています。
音声用に最適化 および 音声をプライマリ 作成モード として使用 オプションを有効にすると、エージェント は次の更新を受け取ります。
- テキスト から 音声と DTMF に切り替えたときに音声機能を作成する機能。
- 音声システム トピック 無音検出 、 音声認識不能 、 不明なダイヤルパッドの押下 は、音声関連のシナリオを処理するために自動的に追加されます。
- エージェント データ (デフォルトでオン) を使用して精度を高め、音声認識の精度を向上させます。
- マップされたDTMFトリガーを使用して会話を開始するための メイン メニュー トピック など、既存の エージェント フローに変更はありません。
重要
- 音声の最適化 設定では、音声作成機能のみが変更され、チャンネル設定は変更されません。 完全に音声対応の エージェント を使用するには、 テレフォニー チャネルをオンにします。
- さらに、音声機能用に元々構成されていなかった エージェント で 音声用に最適化 を設定すると、エージェント に メイン メニュー (プレビュー) トピック が表示されなくなります。 必要に応じて、トピック を再作成する必要があります。
音声の最適化を無効にする
テレフォニー チャネルを有効にしない場合は、エージェント オーサリングで 音声の最適化 を無効にすることができます。 音声の最適化を無効にすると、次の変更が行われます:
- DTMFやバージインなどの音声機能用の エージェント オーサリングはありません。
- 既定では テキスト モダリティに設定されています。
- 音声認識機能がないため、音声認識は改善されません。
- 音声システムトピックまたはグローバル DTMF トピックはありません。
注意Note
無効化された DTMF トピック が他のトピックで参照されている場合、一部のトピックでは公開中にエラーが報告されることがあります。
- 最適化を無効にしてもテレフォニー チャネルはオフにならないため、エージェント フローおよびチャネル設定は変更されません。
- 音声用に最適化 オプションを有効または無効にしても、エージェント を公開するまで有効になりません。 エージェント が誤って有効化または無効化され、モダリティが切り替わった場合は、修正する時間があります。
重要
テレフォニー チャネルが有効になっている場合、 音声の最適化 を無効にすると、すべてのDTMFトリガーが自動的に無効になるため、エージェント が機能しなくなる可能性があります。
音声を主な作成モードとして使用する
音声機能作成の各ノードに対して、音声と DTMF モダリティを選択する必要があります。 エージェント オーサリング設定を 選択 して、 音声をプライマリ 作成モード として使用できます。 この設定により、すべての入力フィールドに適切なモダリティが設定されます。 音声に最適化がすでに有効になっている場合、 音声を主なオーサリングモードとして使用する オプションは既定で有効になっています。
メッセージの可用性
テキストまたは音声モダリティを使用すると、チャネルにさまざまな影響を与える可能性があります。
| テキスト モダリティ | 音声モダリティ | エージェント テキスト&スピーチチャンネル |
|---|---|---|
| 利用可能なメッセージ | 空のメッセージ | 利用可能なメッセージ |
| 空のメッセージ | 利用可能なメッセージ | 利用できないメッセージ |
カスタマイズされた自動音声認識
医療や金融などの特定のドメインを担当する音声対応エージェントは、ユーザーが金融用語や医療専門用語を使用していることに気付く場合があります。 一部の用語や専門用語は、音声対応の エージェント では音声からテキストに変換するのが困難です。
音声入力を正確に認識するには、音声認識を改善することができます:
エージェント を開いた状態で、選択 設定>音声 を選択します。
選択 エージェント データを使用して精度を高め 、エージェント のデフォルトのカスタマイズされた自動音声認識設定を有効にします。
保存を選択して変更をコミットします。
新しい変更を確認するには、エージェント を公開してください。
エージェントレベルの音声オプションリファレンス
エージェント の詳細 設定ページでは、さまざまな音声関連機能のタイムアウトを設定できます。 このページで適用された設定は、エージェント で作成されたトピックのデフォルトになります。
エージェント レベルのタイムアウト オプションを変更するには:
エージェント を開いた状態で、選択 設定>音声 を選択します。
選択 で必要な設定を指定し、調節モード で エージェント のデフォルト設定を指定します。
保存を選択して変更をコミットします。
エージェントレベルの設定
次の表に、各オプションと、それがノード レベルの設定とどのように関連しているかを示します。
| 音声対応エージェントレベルセクション | 設定 | プロパティ | 規定値 | ノードレベルの上書き |
|---|---|---|---|---|
| DTMF | 桁間のタイムアウト | 次の DTMF キー入力を待つ間に許容される最大時間 (ミリ秒) です。 ユーザーが最大入力長を満たしていない場合にのみ、複数桁の DTMF 入力を適用します。 | 3000 ミリ秒 | 複数桁の DTMF 入力用音声プロパティ付き質問ノード |
| DTMF | 終了タイムアウト | DTMF 終了キーを待機する最大期間 (ミリ秒)。 ユーザーが最大入力長に達し、終了キーを押さなかった場合に制限が適用されます。 複数桁の DTMF 入力にのみ適用されます。 制限時間が経過しても終了DTMFキーが到着しない場合、エージェント は認識を終了し、その ポイントする までの結果を返します。 「待機せずに続行」に設定すると、エージェント は終了キーを待機しません。 エージェント は、ユーザーが最大長を入力するとすぐに戻ります。 |
2000 ミリ秒 | 複数桁の DTMF 入力用音声プロパティ付き質問ノード |
| 無音検出 | 無音検出タイムアウト | ユーザー入力待ち時間の最大沈黙時間 (ミリ秒)。 エージェント がユーザー入力を検出しない場合、制限が適用されます。 デフォルトは「無音タイムアウトなし」です。エージェント はユーザーの入力を無限に待機します。 音声の無音検出は、音声が話し終わった後の期間を計測します。 |
無音タイムアウトなし | 複数桁の DTMF 入力用音声プロパティ付き質問ノード システム トピック (無音検出 トリガー プロパティ) 無音検出とタイムアウトを構成する |
| 音声の収集 | 発話終了タイムアウト | ユーザーが発話中または発話後に一時停止した場合、制限が適用されます。 一時停止がタイムアウト制限よりも長い場合、エージェント はユーザーが話し終えたとみなします。 発話終了タイムアウトの最大値は 3000 ミリ秒です。 3000 ミリ秒を超えるものは 3000 ミリ秒に短縮されます。 |
1500 ミリ秒 | 音声プロパティを持つ質問ノード |
| 音声の収集 | 音声認識のタイムアウト | ユーザーが話し始めてから エージェント がユーザーの入力を許可する時間を決定します。 既定値は 12000 ミリ秒 (約 12 秒) です。 認識タイムアウトがない場合、時間は無制限です。 エージェント が質問を再度促します。 応答がない場合は、音声認識のタイムアウトを超えています。 | 12,000 ミリ秒 | 音声プロパティを持つ質問ノード |
| 待機時間メッセージング | 遅延メッセージを送信する | バックグラウンド操作要求の開始後、エージェント が遅延メッセージを配信するまでに待機する時間を決定します。 タイミングはミリ秒単位で設定されます。 | 500 ミリ秒 | 長時間実行操作用アクションノードのプロパティ |
| 待機時間メッセージング | 最短再生時間 | メッセージの再生中にバックグラウンド操作が完了した場合でも、遅延メッセージは最小限の時間だけ再生されます。 タイミングはミリ秒単位で設定されます。 | 5000 ミリ秒 | 長時間実行操作用アクション モードのプロパティ |
| スピーチ感度 | 秘密度 | 音声と背景ノイズの検出のバランスを制御します。 騒がしい環境、公共の場、ハンズフリー操作の場合は感度を下げてください。 静かな環境、声が小さいユーザー、または音声コマンドの検出の場合は、感度を上げます。 既定の設定は 0.5 です。 | 0.5 | このコントロールにはノード レベルのオーバーライドはありません。 |
バージインを有効にする
割り込みを有効にすると、エージェント ユーザーが エージェント に割り込むことができます。 この機能は、エージェント ユーザーにメッセージ全体を聞かせる必要がない場合に便利です。 たとえば、発信者は過去に聞いたことがあるため、メニュー オプションをすでに知っている可能性があります。 バージインを使用すると、エージェント がすべてのオプションのリストを終了していなくても、エージェント ユーザーは必要なオプションを入力できます。
バージイン無効化シナリオ
- エージェント メッセージを最近更新した場合、またはコンプライアンス メッセージが中断されないようにする場合は、バージインを無効にします。
- エージェント ユーザーが新しい情報や重要な情報を認識できるように、最初の エージェント メッセージへの割り込みを無効にします。
仕様
割り込みは、エージェント ユーザーからのDTMFベースおよび音声ベースの割り込みをサポートします。
バージインはメッセージごとに一括して制御できます。
barge-in-disabledノードは、バージインが許可されている各ノードの前に順番に配置します。 それ以外の場合、バージイン無効はバージイン有効メッセージとして扱われます。
1 つのバッチ キューが終了すると、次のバッチのためにバージイン自動設定はリセットされ、後続の各メッセージのバージイン フラグによって制御されます。 シーケンスが再開するときに、バージインが無効なノードを配置できます。
チップ
連続したメッセージ ノードがあり、その後に質問ノードがある場合、これらのノードの音声メッセージは 1 つのバッチとして定義されます。 1つのバッチはメッセージ ノードから始まり、ユーザーの入力を待機している質問ノードで停止します。
特に エージェント ユーザーが エージェント と頻繁にやり取りすることが予想される場合は、長いメッセージに対する割り込みを無効にしないでください。 エージェント ユーザーがすでにメニュー オプションを知っている場合は、ユーザーが行きたい場所にセルフサービスで移動できるようにします。
バージインを設定する
メッセージ または 質問 ノードを選択した状態で、目的のモダリティを 音声と DTMFに設定します。
質問 ノードのその他アイコン (…) を選択し、プロパティ を選択します。
メッセージ ノードの場合、送信アクティビティのプロパティ パネルが作成キャンバスの横に開きます。
バージインを許可するを選択します。
質問 ノードの場合は、質問のプロパティ パネルが開き、音声を選択します。
音声 プロパティから、バージインを許可するを選択します。
トピックを保存して変更をコミットします。
無音検出とタイムアウトを設定する
無音検出を使用すると、エージェント がユーザー入力を待機する時間と、入力がない場合に実行するアクションを設定できます。 無音検出は、ノード レベルでの質問に対する 応答 で、または エージェント が システム トピック が新しい トピック を開始するのを待機している場合に最も役立ちます。
トピックのデフォルトのタイムアウトを設定できます 。
ノードの既定を上書きする方法:
質問 ノードのその他アイコン (…) を選択し、プロパティ を選択します。
質問プロパティ パネルが開きます。
音声 を選択し、次の設定を調整します:
無音検出タイムアウト オプション プロパティ エージェント 設定を使用する ノードは、無音検出に グローバル設定 を使用します。 このノードを無効化する エージェント は 応答 を無期限に待機します。 ミリ秒単位でカスタマイズする エージェント は、質問を繰り返す前に指定された時間待機します。
フォールバック アクション
いくつかの動作をフォールバック アクションとして設定できます:
- エージェント は質問を何回繰り返すべきか
- 再プロンプト メッセージの内容
- エージェント が指定回数繰り返した後に行うべきこと
音声入力
音声入力の場合は以下を指定できます:
- 発話終了タイムアウト: ユーザーが発話を終えた後、エージェント が待機する時間
- 音声認識タイムアウト: ユーザーが応答を開始してから、エージェント がユーザーに与える時間
エージェント が トリガー フレーズ, 調節モード を待機するときの無音検出動作を構成するには、 On silent トリガー の設定を使用します。
長時間のオペレーションに対する待機時間メッセージの追加
バックエンド操作が長い場合、エージェント はユーザーにメッセージを送信して、長いプロセスを通知できます。 メッセージング チャネル上のエージェントも遅延メッセージを送信できます。
| 待機時間メッセージの音声再生 | チャットでの待機時間メッセージ |
|---|---|
| 操作が完了するまでループを続けます。 | 指定された遅延に達したときに 1 度だけ送信されます。 |
Copilot Studioでは、エージェント はフローをトリガーした後にメッセージを繰り返すことができます。 Power Automate
質問 ノードのその他アイコン (…) を選択し、プロパティ を選択します。 アクション プロパティ パネルが開きます。
メッセージの送信 を選択します。
メッセージ セクションで、エージェント に伝えたい内容を入力します。 SSML を使用してメッセージのサウンドを変更できます。 エージェント は、フローが完了するまでメッセージを繰り返します。
遅延 セクションで、メッセージを繰り返す前に エージェント が待機する時間を指定できます。 フローが完了した場合でも、待機する最小時間を設定できます。
通話終了の構成
エージェント を設定して通話を終了し、電話を切るには、新しいノード (+) を追加してから、選択 トピックmanagement>会話を終了 します。
SSMLで音声合成をフォーマットする
音声合成マークアップ言語 (SSML) を使用して、エージェント がメッセージを読み上げるときの音声を変更できます。 たとえば、話される単語のピッチや周波数、速度、音量を変更できます。
SSML は HTML と同様に、変更するテキストをタグで囲みます。 Copilot Studio では以下のタグを使用できます:
| SSML タグ | プロパティ | 音声サービス ドキュメントへのリンク |
|---|---|---|
<audio src="_URL to an audio file_"/> |
タグ内にオーディオ ファイルへの URL を追加します。 ファイルは エージェント ユーザーがアクセスできる必要があります。 | 録音した音声を追加する |
<break /> |
単語の間に一時停止またはブレークを挿入します。 タグ内にブレーク オプションを挿入します。 | ブレイクの追加 |
<emphasis>変更するテキスト</emphasis> |
単語やフレーズにストレスのレベルを追加します。 開始タグに強調オプションを追加します。 変更したいテキストの後に終了タグを追加します。 | 強調オプションを調整する |
<prosody>変更するテキスト</prosody> |
ピッチ、輪郭、範囲、速度、音量の変更を指定します。 オープニングタグに抑揚オプションを追加します。 変更したいテキストの後に終了タグを追加します。 | 抑揚オプションを調整する |
<lang xml:lang="xx-XX">変更したいテキスト</lang> |
調節モード 多言語ニューラル音声を使用する場合、同じメッセージ内の話す言語を指定します。 | 調節モード 話す言語 |
タグを見つけて使用する
SSML は HTML と同様に、変更するテキストをタグで囲みます。
Copilot Studio では以下のタグを使用できます:
メッセージ または 質問 ノードを選択した状態で、モードを 音声と DTMFに変更します。
SSML タグ メニューを選択し、タグを選択します。
メッセージボックスにタグが入力されます。 メッセージ ボックスに既にテキストがある場合は、タグのコードがメッセージの末尾に追加されます。
変更するテキストを開始タグと終了タグで囲みます。 複数のタグを組み合わせたり、メッセージの個々の部分を個別のタグでカスタマイズしたりできます。
チップ
ヘルパー メニューに表示されない SSML タグを手動で入力することもできます。 使用できる他のタグの詳細については、音声合成マークアップ言語を使用して合成を改善するを参照してください。
担当者または外部電話番号に通話を転送する
エージェント に通話を外部の電話番号に転送させることができます。 Copilot Studio は、PSTN 電話番号と直接ルーティング番号へのブラインド転送をサポートしています。
外線電話番号に転送する方法:
変更したい トピック に新しいノード (+) を追加します。 ノード メニューで、トピック管理、会話の転送 の順に選択します。
転送タイプで 外部電話番号転送 を選択し、転送番号を入力します。
(オプション) 電話 に SIP UUI ヘッダーを追加します。
このヘッダーは、外部システムが読み取るために表示される、スペースや特殊文字を含まない
key=valueペアの文字列です。質問 ノードのその他アイコン (…) を選択し、プロパティ を選択します。 転送会話プロパティ パネルが開きます。
SIP UUI ヘッダー の下に、通話転送で送信する情報を入力します。 外部の電話番号に転送する場合、変数はサポートされません。
注意
文字列の最初の 128 文字のみが送信されます。
ヘッダーでは、数字、文字、等号 (
=)、セミコロン (;) のみが受け入れられます。 スペース、中括弧、角括弧、数式など、その他の文字はすべてサポートされていないため、転送が失敗する可能性があります。
チップ
電話番号には、対応する国番号の + を含めてください。
ターゲット電話番号の SIP UUI を持つ転送エグレスは、ダイレクト ルーティングを使用する必要があります。 公衆交換電話網 (PSTN) 電話番号は SIP UUI ヘッダー転送をサポートしていません。
担当者に転送するには、「 明示的なトリガー」を参照してください。
音声変数の使用
Copilot Studio は変数の母集団をサポートします。 定義済みの変数を使用することも、カスタム変数を作成することもできます。
注意
- Copilot Studio での変数の使い方や作成方法の詳細については、変数を使った作業を参照してください。
- 音声対応エージェントで使用できる追加のアクティビティ変数と会話変数の詳細については、「 音声対応エージェントの変数」を参照してください。
音声対応の エージェントin Copilot Studio はコンテキスト変数をサポートします。 これらの変数は、通話を転送するときに エージェント の会話をDynamics 365顧客サービス と統合するのに役立ちます。
Dynamics 365顧客サービス, のコンテキスト変数の詳細については、「 ボットのコンテキスト変数 Copilot Studio 」を参照してください。
この統合は、転送時に以下の変数でこれらのシナリオをサポートします:
| 変数 | タイプ | プロパティ |
|---|---|---|
System.Activity.From.Name |
String | エージェント ユーザーの発信者ID |
System.Activity.Recipient.Name |
String | エージェントに電話または接続するために使用する番号 |
System.Conversation.SipUuiHeaderValue |
String | ダイレクト ルーティング電話番号経由で転送する場合の SIP ヘッダー値 |
System.Activity.UserInputType |
String | エージェント ユーザーが会話でDTMFを使用したか音声を使用したか |
System.Activity.InputDTMFKey |
String | エージェント ユーザーの生のDTMF入力 |
System.Conversation.OnlyAllowDTMF |
ブール値 | true に設定すると音声入力が無視されます |
System.Activity.SpeechRecognition.Confidence |
回数 | 最後の音声認識イベントからの信頼度値 (0～1) |
System.Activity.SpeechRecognition.MinimalFormattedText |
String | Copilot Studio が専用の自然言語理解モデルを適用する前の音声認識結果 (生テキストとして) |
ヒント
- 大きな 調節モード フレーズとエンティティ サイズを含む エージェント は、公開に時間がかかります。
- 複数のユーザーが同時に同じ エージェント を公開すると、公開アクションがブロックされます。 他のユーザーが既存の エージェント 編集を完了した後、エージェント を再公開する必要があります。
公開の基礎について詳しくは、 「主要な概念 - エージェント を公開および展開する」を参照してください。