如何建立自訂文字轉換語音虛擬人偶
開始使用自訂文字到語音虛擬人偶是一個直接的程式。 您演員只需要一些視訊剪輯。 如果您想要為相同的動作專案定 型自訂語音 ,您可以個別執行此動作。
注意
根據資格和使用準則,自定義虛擬人偶存取會受到限制。 要求輸入表單的存取權。
必要條件
您需要其中一個 支援自定義虛擬人偶訓練的區域語音資源。 自定義虛擬人偶僅支援標準 (S0) 語音資源。
您需要人才的視訊錄製,以閱讀同意聲明,以確認其影像和聲音的使用。 設定虛擬人偶人才時,您會上傳此影片。 如需詳細資訊,請參閱 新增虛擬人偶人才同意。
您需要虛擬人偶人才的影片錄製作為訓練數據。 當您準備訓練數據時,您會上傳這些影片。 如需詳細資訊,請參閱 新增定型數據。
步驟 1:建立自定義虛擬人偶專案
若要建立自定義虛擬人偶專案,請遵循下列步驟:
登入 Speech Studio ,然後選取您的訂用帳戶和語音資源。
選取 [自定義虛擬人偶][預覽]。
選取 [+建立專案]。
依照精靈提供的指示建立您的專案。
提示
請勿在一個專案中混合不同虛擬人偶的數據。 一律為新的虛擬人偶建立新專案。
依名稱選取新專案。 然後您會在左側面板中看到這些功能表項:設定虛擬人偶人才、準備訓練數據、定型模型和部署模型。
步驟 2:新增虛擬人偶人才同意
虛擬人偶人才是個人或目標演員,其說話影片會錄製並用來建立神經虛擬人偶模型。 您必須根據虛擬人偶配音員的所有相關法律法規取得足夠的同意,才能使用其影片建立自訂文字轉換語音虛擬人偶。
您必須提供影片檔案,其中包含來自虛擬人偶人才的錄製語句,並確認其影片和語音的使用。 Microsoft 會確認錄製中的內容符合 Microsoft 所提供的預先定義指令碼。 Microsoft 會比較錄製影片語句檔案中虛擬人偶人才的臉部與訓練資料集中的隨機影片,以確保影片錄製中的虛擬人偶人才和語句影片檔案中的虛擬人偶人才來自同一個人。
您可以透過 Azure-Samples/cognitive-services-speech-sdk GitHub 存放庫,找到多種語言的口頭同意聲明。 口頭語句的語言必須與您的錄製相同。 另 請參閱語音人才的披露。
如需錄製同意影片的詳細資訊,請參閱 如何錄製影片範例。
若要新增虛擬人偶人才配置檔並在專案中上傳其同意聲明,請遵循下列步驟:
登入 Speech Studio。
選取 [自定義虛擬人偶> 您的專案名稱>設定虛擬人偶人才>上傳同意影片]。
在 [ 上傳同意影片 ] 頁面上,依照指示上傳您事先錄製的虛擬人偶人才同意影片。
- 選取虛擬人偶天才錄製之口頭同意聲明的口語。
- 以與錄製的語句相同的語言輸入虛擬人偶人才名稱和您的公司名稱。
- 虛擬人偶人才名稱必須是記錄同意聲明的人員名稱。
- 公司名稱必須符合錄製聲明中所述的公司名稱。
- 您可以選擇從本機檔案,或使用 Azure Blob 從共用記憶體上傳您的數據。
選取上傳。
在虛擬人偶人才同意上傳成功之後,您可以繼續訓練您的自定義虛擬人偶模型。
步驟 3:新增定型數據
語音服務會使用您的訓練數據來建立經過調整的唯一虛擬人偶,以符合錄製人員的外觀。 定型虛擬人偶模型之後,您可以開始合成虛擬人偶影片,或使用它進行應用程式中的即時聊天。
您上傳的所有資料都必須符合您所選擇資料類型的需求。 為了確保語音服務能正確處理您的數據,請務必在上傳之前正確格式化數據。 若要確認您的數據格式正確,請參閱 數據需求。
上傳您的資料
當您準備好上傳數據時,請移至 [準備訓練數據 ] 索引標籤以新增您的數據。
若要上傳定型資料,請遵循下列步驟:
登入 Speech Studio。
選取 [自定義虛擬人偶> 您的專案名稱>準備訓練數據上傳數據>]。
在 [ 上傳數據精 靈] 中,選擇數據類型,然後選取 [ 下一步]。 如需數據類型的詳細資訊(包括自然說話、無訊息、手勢和狀態 0 說話),請參閱要錄製哪些影片剪輯。
從您的電腦選取本機檔案,或輸入儲存數據的 Azure Blob 記憶體 URL。
選取 [下一步]。
檢閱上傳詳細資料,然後選取 [提交]。
當您選取 [提交] 時,會自動驗證資料檔案。 數據驗證包含影片檔案的一系列檢查,以驗證其檔格式、大小和總音量。 若發生任何錯誤,請加以修正並再次提交。
上傳數據之後,您可以檢查數據概觀,指出您是否提供足夠的數據來開始定型。 此螢幕快照顯示已新增足夠的數據範例,以便訓練虛擬人偶,而不需要其他手勢。
步驟 4:將虛擬人偶模型定型
重要
專案中的所有定型數據都包含在定型中。 模型品質高度相依於您提供的數據,且您負責視訊品質。 請務必根據 如何錄製影片範例指南來錄製訓練影片。
若要在Speech Studio中建立自定義虛擬人偶,請依照下列步驟執行下列其中一種方法:
登入 Speech Studio。
選取 [自定義虛擬人偶> 您的項目名稱>定型模型定型模型>]。
輸入 名稱 以協助您識別模型。 請謹慎選擇名稱。 模型名稱會作為 SDK 和 SSML 輸入在合成要求中的虛擬人偶名稱。 只允許字母、數位、連字元和底線。 針對每個模型使用唯一的名稱。
重要
虛擬人偶模型名稱在相同的語音或 AI 服務資源內必須是唯一的。
選取 [ 定 型] 以開始定型模型。
定型持續時間會根據您要訓練的資料量而有所不同。 定型自定義虛擬人偶通常需要 20-40 個計算小時。 請查看定價附注,以了解訓練的收費方式。
將自訂虛擬人偶模型複製到另一個項目(選擇性)
自定義虛擬人偶定型目前僅適用於某些區域。 在支援的區域中定型虛擬人偶模型之後,您可以視需要將其複製到另一個區域中的語音資源。 如需詳細資訊,請參閱區域資料表中的註腳。
若要將自定義虛擬人偶模型複製到另一個專案:
- 在 [ 定型模型] 索引標籤上,選取您想要複製的虛擬人偶模型,然後選取 [ 複製到專案]。
- 選取您要在其中複製模型的訂用帳戶、區域、語音資源和專案。 您必須具有在目標區域中的語音資源和專案,否則必須先建立語音資源和專案。
- 選取 [提交] 以複製模型。
複製模型之後,您會在Speech Studio中看到通知。
瀏覽至您複製模型以部署模型複本的專案。
步驟 5:部署和使用您的虛擬人偶模型
成功建立並定型虛擬人偶模型之後,您會將其部署至您的端點。
若要部署您的虛擬人偶:
- 登入 Speech Studio。
- 選取 [自定義虛擬人偶> 您的項目名稱 >部署模型]。
- 選取 [部署模型 ],然後選取您要部署的模型。
- 選取 [部署] 以開始部署。
重要
部署模型時,不論您與該端點的互動為何,您都會支付端點的持續上行時間。 請查看定價附注,以瞭解模型部署的收費方式。 當模型未用於減少支出並節省資源時,您可以刪除部署。
自訂虛擬人偶經部署後,即可在 Speech Studio 中或透過 API 加以使用:
- 虛擬人偶會在 Speech Studio 上顯示於文字轉換語音虛擬人偶的虛擬人偶清單中。
- 虛擬人偶會出現在透過Speech Studio即時聊天虛擬人偶的虛擬人偶清單中。
- 您可以藉由指定虛擬人偶模型名稱,從 SDK 和 SSML 輸入呼叫虛擬人偶。 如需詳細資訊,請參閱 虛擬人偶屬性。
拿掉部署
若要移除您的部署,請遵循下列步驟:
- 登入 Speech Studio。
- 流覽至 [自定義虛擬人偶> ] 您的專案名稱 >[部署模型]。
- 選取 [部署模型] 頁面上的部署。 如果狀態為「成功」,則會主動裝載模型。
- 您可以選取 [ 刪除部署] 按鈕,並確認刪除以移除裝載。
提示
拿掉部署之後,您就不再支付其裝載費用。 刪除部署不會造成模型的任何刪除。 如果您想要再次使用模型,請建立新的部署。
使用自訂語音 (選擇性)
如果您也為動作專案建立自定義神經語音 (CNV),則虛擬人偶可能非常逼真。 如需詳細資訊,請參閱什麼是自訂字轉換語音虛擬人偶。
自訂語音 和 自定義文字到語音虛擬人偶 是不同的功能。 您可以單獨或一起使用。
如果您已建立自定義語音,並想要與自定義虛擬人偶一起使用,請注意下列幾點:
- 確定自定義語音端點是在與自定義虛擬人偶端點相同的語音資源中建立的。 視需要,請參閱 訓練您的專業語音模型,將自定義語音模型 複製到與自定義虛擬人偶端點相同的語音資源。
- 您可以在虛擬人偶內容產生頁面和即時聊天語音設定的語音清單中看到自訂語音選項。
- 如果您使用虛擬人偶 API 的批次合成,請新增
"customVoices"
屬性,以將自定義語音模型的部署標識碼與要求中的語音名稱產生關聯。 如需詳細資訊,請參閱 文字到語音轉換屬性。 - 如果您使用虛擬人偶 API 的即時合成,請參閱 GitHub 上的範例程式代碼來設定自訂語音。