共用方式為

設定語音功能

  • 發行項

本文介紹 Copilot Studio 中可用於與 Dynamics 365 Customer Service 進行互動式語音回應的功能。

若要讓您的代理程式準備好使用語音服務，請參閱將支援語音的代理程式與 Dynamics 365 Customer Service 整合。

有關語音服務的概述，請參閱在代理程式中使用互動語音回應系統。

語音與 DTMF 模式

支援語音的代理程式與聊天型代理程式不同。 支援語音的代理程式包括用於處理語音情境的特定語音系統主題。 聊天型代理程式預設使用文字模式。 支援語音的代理程式使用語音和 DTMF 模式。 這兩種模式彼此不相容。

透過語音最佳化，您可以跨不同方式編寫支援語音的代理程式，並確保正確編寫與語音相關的功能。

針對語音進行最佳化

如果您沒有使用語音範本啟動代理程式，則必須在代理程式的設定中啟用最佳化語音選項。

  1. 開啟代理程式後，前往設定>語音。

  2. 選擇最佳化語音。 根據預設，還會設定使用語音作為主要撰寫模式選項。

當您啟用最佳化語音和使用語音作為主要撰寫模式選項時，您的代理程式將獲得以下更新：

  • 從文字切換到語音和 DTMF 時製作語音功能的能力。
  • 自動新增語音系統主題靜音偵測、語音無法識別，和未知撥號鍵盤按下，以處理與語音相關的情境。
  • 使用代理程式資料提高準確性 (預設為開啟狀態)，從而提高語音辨識準確性。
  • 現有代理程式流程沒有任何變化，例如使用已對應的 DTMF 觸發程序啟動交談的主功能表主題。

重要

  • 語音的最佳化設定僅變更語音製作功能，而不會變更管道設定。 開啟完全支援語音的代理程式的電話語音頻道。
  • 此外，在最初未設定語音功能的代理程式上設定最佳化語音代表該代理程式不會有主功能表 (預覽版) 主題。 如果需要，您必須重新建立該主題。

停用語音的最佳化

如果您不啟用電話語音頻道，您可以在代理程式製作中停用最佳化語音。 停用語音的最佳化後，您將獲得以下變更：

  • 無需代理程式製作語音功能，例如 DTMF 和打斷。
  • 預設文字模式已設定。
  • 語音辨識沒有改善，因為沒有語音辨識。
  • 沒有語音系統主題或全域 DTMF 主題。

    注意

    如果在其他主題中引用停用的 DTMF 主題，則某些主題可能會在發佈期間報告錯誤。

  • 您的代理程式流程和頻道設定不會發生任何變化，因為停用最佳化不會關閉電話語音頻道。
  • 在您發佈代理程式後，啟用或停用語音最佳化選項才會生效。 如果代理程式意外啟用或停用並在模式之間切換，您有時間進行修正。

重要

如果您的電話語音頻道已啟用，停用語音最佳化可能會破壞您的代理程式，因為所有 DTMF 觸發程序都會自動停用。

使用語音作為主要撰寫模式

應為語音功能製作中的每個節點選取語音和 DTMF 模式。 您可以將代理程式製作偏好設定選擇為使用語音作為主要撰寫模式。 此設定可確保所有輸入欄位具有正確的模式。 如果您已啟用語音的最佳化，則根據預設，會啟用使用語音作為主要撰寫模式選項。

訊息可用性

使用文字或語音模式可能會以不同的方式影響您的管道。

文字模式 語音模式 代理程式文字和語音頻道
可用訊息 訊息空白 可用訊息
訊息空白 可用訊息 無法使用訊息

自訂自動語音辨識

針對特定領域 (例如醫療或金融) 的語音代理程式可能會看到使用者使用金融術語或醫學術語。 對於支援語音的代理程式來說，某些術語和行話很難從語音轉換為文字。

若要確保準確辨識語音輸入，可以改進語音辨識：

  1. 開啟代理程式後，選擇設定>語音。

  2. 選擇提高代理程式資料的準確性，以啟用代理程式的預設自訂自動語音辨識設定。

  3. 選取儲存認可您的變更。

  4. 發佈您的代理程式以查看新的變更。

代理程式級語音選項參考

代理程式詳細資訊設定頁面可讓您設定各種語音相關功能的逾時。 在此頁面中套用的設定將成為在代理程式中建立的主題的預設值。

若要變更代理程式等級逾時選項：

  1. 開啟代理程式後，選擇設定>語音。

    支援語音的代理程式語音設定的螢幕擷取畫面。

  2. 選擇所需的設定並調整代理程式的預設設定。

  3. 選取儲存認可您的變更。

代理程式級別設定

下表列出了每個選項及其與節點等級設定的關係。

支援語音的代理程式級部分 設定 Description Default value 節點等級覆寫
DTMF 輸入間隔逾時 等待下一個 DTMF 鍵輸入時允許的最長時間 (毫秒) 。 僅當使用者不符合最大輸入長度時，才套用多位數 DTMF 輸入。 3000 毫秒 具有語音屬性的問題節點，用於多位數 DTMF 輸入
DTMF 終止逾時 等待 DTMF 終止鍵的最長持續時間 (毫秒)。 當使用者達到最大輸入長度且未按終止鍵時，將套用限制。 僅適用於多位數 DTMF 輸入。

在限制逾時且終止 DTMF 金鑰未到達後，代理程式結束識別並傳回此時的結果。

如果設定為「繼續而不等待」，代理程式不會等待終止鍵。 使用者輸入最大長度後，代理程式立即返回。		 2000 毫秒 具有語音屬性的問題節點，用於多位數 DTMF 輸入
沉默偵測 沉默偵測逾時 等待使用者輸入時允許的最長靜音 (毫秒) 。 當代理程式未偵測到任何使用者輸入時，將套用限制。 預設值為「無靜音逾時」。代理程式無限期地等待使用者的輸入。

語音的靜音偵測乘以語音講完話話後的時間段。		 無靜音超時 具有語音屬性的問題節點，用於多位數 DTMF 輸入

設定靜音偵測和逾時的系統主題 (靜音偵測觸發程序屬性)
語音收集 表達結束逾時 當使用者在語音期間或之後暫停時，將套用限制。 如果暫停時間超過逾時限制，代理程式將假定使用者已結束講話。

表達結束超時的最大值為 3000 毫秒。 任何超過 3000 毫秒的時間都會減少到 3000 毫秒。		 1500 毫秒 具有語音屬性的問題節點
語音收集 語音辨識逾時 確定代理程式在使用者開始講話後允許使用者輸入的時間。 預設值為 12000 毫秒 (約 12 秒)。 沒有辨識超時代表無限的時間。 代理程式再次提出問題。 如果沒有回應，則語音超出語音辨識超時。 12,000 毫秒 具有語音屬性的問題節點
延遲訊息 傳送訊息延遲 確定在背景作業請求啟動後，代理程式在傳遞延遲訊息之前等待的時間。 計時以毫秒為單位設定。 500 毫秒 長時間執行作業的動作節點屬性
延遲訊息 最短播放時間 延遲訊息的播放時間最短，即使在播放訊息時後台作業完成也是如此。 計時以毫秒為單位設定。 5000 毫秒 長時間執行作業的動作模式屬性
語音敏感度 敏感度 控制系統如何平衡語音和背景噪音的偵測。 降低對嘈雜環境、公共場所和免持作業的敏感度。 提高安靜環境、輕聲說話的使用者或語音指令偵測的敏感度。 預設設定是 0.5。 0.5 此控制項沒有節點級覆寫。

啟用插話

啟用打斷允許您的代理程式使用者中斷您的代理程式。 當您不需要代理程式使用者聽到整個訊息時，此功能會很有用。 例如，通話者可能已經知道功能表選項，因為他們過去聽到過這些選項。 透過打斷，代理程式使用者可以輸入他們想要的選項，即使代理程式尚未列出所有選項。

插話停用情境

  • 如果您最近更新了代理程式訊息或合規性訊息不應中斷，請停用打斷。
  • 停用第一條代理程式訊息的插入，以確保代理程式使用者了解新的或重要的資訊。

規格

  • 打斷支持來自代理程式使用者的基於 DTMF 和基於語音的中斷。

  • 可以一整批對每條訊息進行插話控制。 將 barge-in-disabled 節點按順序放置在允許插話的每個節點之前。 否則，停用插話將被視為允許插話訊息。

    在訊息節點中插畫和插話停用放置的螢幕截圖。

    完成一個批次處理佇列後，將重置下一批的插話自動設定，並由每條後續訊息中的插話旗標控制。 您可以在序列再次開始時放置插話停用的節點。

提示

如果有連續的訊息節點，後面再跟一個問題節點，則這些節點的語音訊息將定義為一批。 一批從訊息節點開始，到問題節點停止，等待使用者的輸入。

避免對冗長的訊息停用打斷，尤其是當您希望代理程式使用者經常與代理程式互動時。 如果您的代理程式使用者已經知道功能表選項，請讓他們在想去的地方自助服務。

設定插話

  1. 透過選取訊息或問題節點，將所需模式設定為語音和 DTMF。

  2. 選取節點的更多圖示 (...)，然後選取屬性。

    1. 對於訊息節點， 發送活動屬性面板將在製作畫布的一側打開。

      選取允許插話。

    2. 對於 問題節點，將打開問題屬性面板，然後選取語音。

      從語音屬性中，選取允許插話。

  3. 儲存主題以提交您的變更。

設定靜音偵測和超時

透過靜音偵測，您可以設定代理程式等待使用者輸入的時間以及未收到輸入時採取的動作。 靜音偵測在回應節點層級的問題或代理程式等待觸發字詞開始新主題時最有用。

您可以設定主題的預設超時。

若要覆寫節點的預設值：

  1. 選取節點的更多圖示 (...)，然後選取屬性。

    將打開問題屬性面板。

  2. 選取語音並調整以下設定：

    靜音偵測和超時選項 Description
    使用代理程式設定 節點使用全域設定進行靜音偵測。
    在此節點停用 代理程式無限期地等待回應。
    自訂 (毫秒) 代理程式在重複問題之前等待指定的時間。

後援動作

您可以將某些行為設定為回退動作：

  • 代理程式應該重複一個問題多少次
  • 提示訊息應說些什麼
  • 在指定的重複次數後代理程式應該做什麼

語音輸入

對於語音輸入，您可以指定：

  • 表達結束逾時：使用者發言完畢後，代理程式要等待多久
  • 語音辨識逾時：代理程式在使用者開始回應後給予使用者多少時間

若要設定代理程式等待觸發字詞時的靜音偵測行為，請調整靜音系統主題中的設定。

為長時間執行的作業新增延遲訊息

對於較長的後端作業，您的代理程式可以向使用者傳送訊息，以通知他們流程較長。 訊息頻道上的代理程式也可以傳送延遲訊息。

延遲訊息音訊播放 聊天中的延遲訊息
繼續迴圈，直到作業完成為止。 僅在達到指定的延遲時發送一次。

在 Copilot Studio 中，您的代理程式可以在觸發 Power Automate 流程後重複訊息：

  1. 新增觸發流程的動作節點。

  2. 選取節點的更多圖示 (...)，然後選取屬性。 將打開動作屬性面板。

  3. 選取傳送訊息。

  4. 在訊息區段中，輸入您希望代理程式說的話。 您可以使用 SSML 來修改訊息的聲音。 代理程式重複訊息，直到流程完成。

您可以在延遲區段下，調整代理程式在重複訊息之前應等待的時間。 您可以設定最短的等待時間，即使流程完成也是如此。

設定通話終止

若要將代理程式設定為結束通話並掛斷，請新增節點 (+)，然後選擇主題管理>結束交談。

突出顯示具有主題管理和結束交談之新節點功能表的螢幕截圖。

使用 SSML 格式化語音合成

您可以使用語音合成標記語言 (SSML) 來變更代理程式大聲朗讀訊息時的聲音。 例如，您可以變更口語的音高或頻率、速度和音量。

SSML 使用標記將要修改的文字括起來，類似 HTML。 您可以在 Copilot Studio 中使用下列標記。

SSML 標記 Description 連到語音服務文件的連結
<audio src="_URL to an audio file_"/> 將 URL 新增到標記中的音訊檔。 該文件必須可供代理程式使用者存取。 新增錄製的音訊
<break /> 在單字之間插入停頓或斷句。 在標記中插入中斷選項。 新增中斷
<emphasis>要修改的文字</emphasis> 將壓力等級新增至單字或片語。 在開始標記中新增強調選項。 在要修改的文字之後新增結束標記。 調整強調選項
<prosody>要修改的文字</prosody> 指定對音調、輪廓、範圍、速率和音量的變更。 在開始標記中新增韻律選項。 在要修改的文字之後新增結束標記。 調整韻律選項
<lang xml:lang="xx-XX">要修改的文字</lang> 使用多語言神經語音時，調整相同訊息中的說話語言。 調整說話語言

已新增 SSML 標記的語音訊息螢幕擷取畫面。

尋找和使用標記

SSML 使用標記將要修改的文字括起來，像是 HTML。

您可以在 Copilot Studio 中使用下列標記：

  1. 透過選取訊息或問題節點，將模式變更為語音和 DTMF。

  2. 選取 SSML 標記功能表並選取一個標記。

    訊息方塊中填入了標記。 如果訊息方塊中已有文字，則標記的代碼將附加到訊息尾端。

  3. 用開始和結束標記將要修改的文字括起來。 您可以組合多個標記，並使用個別標記自訂訊息的各個部分。

提示

您可以手動輸入未出現在協助程式功能表中的 SSML 標籤。 若要進一步了解您可使用的標籤，請參閱使用語音合成標記語言改善合成功能。

將通話轉接至代表或外部電話號碼

您可以讓代理程式將通話轉接至外部電話號碼。 Copilot Studio 支援盲轉至 PSTN 電話號碼和直連路由號碼。

若要轉接至外部電話號碼：

  1. 在要修改的主題中，新增新節點 (+)。 在節點功能表中，選取主題管理，然後轉接交談。

  2. 在轉接類型底下，選取外部電話號碼轉接並輸入轉接號碼。

  3. (選用) 將 SIP UUI 標頭新增到通話。

    此標頭是一串沒有空格或特殊字元的 key=value 字串，顯示以供外部系統讀取。

    1. 選取節點的更多圖示 (...)，然後選取屬性。 將打開轉接交談屬性面板。

    2. 在 SIP UUI 標頭底下，輸入要隨通話轉接一起發送的資訊。 轉接到外部電話號碼時不支援變數。

    注意

    僅發送字串中的前 128 個字元。

    標頭僅接受數字、字母、等號 (=) 和分號 (;)。 不支援所有其他字元，包括空格、大括弧和方括弧，或公式，這可能會導致轉接失敗。

提示

對於相應國家/地區代碼，在您的電話號碼中包含一個 +。

使用目標電話號碼的 SIP UUI 轉接出口必須使用直接路由。 公用交換電話網路 (PSTN) 電話號碼不支援 SIP UUI 標頭轉接。

若要轉接給代表，請參閱明確觸發程序。

使用語音變數

Copilot Studio 支援變數的填入。 您可以使用預定義變數，也可以建立自訂變數。

注意

Copilot Studio 中的語音代理程式支援上下文變數。 這些變數可協助您在轉接通話時將代理程式交談與 Dynamics 365 Customer Service 整合。

有關 Dynamics 365 Customer Service 中上下文變數的詳細資訊，請參閱 Copilot Studio 機器人的上下文變數。

轉接時，此整合支援具有以下變數的情境：

變數 類型​ Description
System.Activity.From.Name 字串 代理程式使用者的來電號碼
System.Activity.Recipient.Name 字串 用於呼叫或連接代理程式的號碼
System.Conversation.SipUuiHeaderValue 字串 透過直接路由電話號碼轉接時的 SIP 標頭值
System.Activity.UserInputType 字串 代理程式使用者在通話中是否使用DTMF或語音
System.Activity.InputDTMFKey 字串 代理程式使用者的原始 DTMF 輸入
System.Conversation.OnlyAllowDTMF 布林值 設定為 true 時 ，語音將忽略語音輸入
System.Activity.SpeechRecognition.Confidence 數字 上次語音辨識事件的信賴值 (介於 0 和 1 之間)
System.Activity.SpeechRecognition.MinimalFormattedText 字串 語音辨識結果 (作為原始文字)在 Copilot Studio 套用其專用的自然語言理解模型之前

注意

  • 具有較大觸發字詞和實體大小的代理程式需要更長時間才能發佈。
  • 如果多個使用者同時發佈同一個代理程式，您的發佈動作將會被阻止。 您需要在其他人完成現有代理程式編輯後重新發佈代理程式。

要了解有關發佈基礎知識的更多資訊，請參閱關鍵概念 - 發佈和部署代理程式。