Azure OpenAI Studio (預覽) 的使用風險與安全監視

當您使用的 Azure OpenAI 模型部署具有內容篩選時，您可能會想要檢查篩選活動的結果。您可以使用該資訊來進一步調整篩選設定，以符合特定業務需求和負責任 AI 原則。

Azure OpenAI Studio 針對使用內容篩選設定的每個部署提供 [風險與安全監視] 儀表板。

存取風險與安全監視

若要存取風險與安全監視，您需要以下支援的 Azure 區域之一的 Azure OpenAI 資源：美國東部、瑞士北部、法國中部、瑞典中部、加拿大東部。您也需要使用內容篩選設定的模型部署。

移至 [Azure OpenAI Studio]，並使用與您的 Azure OpenAI 資源相關聯的認證來登入。選取左側的 [部署] 索引標籤，然後從清單中選取您的模型部署。在部署的頁面上，選取頂端的 [風險與安全] 索引標籤。

[內容偵測] 窗格會顯示內容篩選活動的相關資訊。內容篩選設定的套用如同內容篩選文件中所述。

內容篩選資料會以下列方式顯示：

調整內容篩選設定，以進一步符合業務需求和負責任 AI 原則。

[潛在濫用使用者偵測] 窗格會利用使用者層級的濫用報告，顯示行為導致封鎖內容的使用者相關資訊。目標為協助您檢視有害內容的來源，以便採取回應式動作，以確保模型的使用是基於負責任的方式。

若要使用潛在濫用使用者偵測，您需要：

套用至您的部署的內容篩選設定。
您必須在聊天完成要求中傳送使用者識別碼資訊 (例如，請參閱完成 API 的使用者參數)。

警告

使用 GUID 字串來識別個別使用者。請勿在 [使用者] 欄位中包含敏感性個人資訊。
設定為儲存使用者分析結果的 Azure 資料總管資料庫 (指令如下)。

為了保護使用者資訊的資料隱私權及管理資料的權限，我們支援客戶自備儲存體的選項，以取得使用符合規範且完全控制的方式所儲存之潛在濫用使用者偵測的深入解析 (包括使用者 GUID 和依類別劃分的有害要求的統計資料)。請遵循這些步驟來啟用：

在 Azure OpenAI Studio 中，瀏覽至您想要設定使用者濫用分析的模型部署，然後選取 [新增資料存放區]。
填入必要的資訊，然後選取 [儲存]。我們建議您建立新的資料庫來儲存分析結果。
與資料存放區連線後，請採取下列步驟來授與權限，以將分析結果寫入連線的資料庫：
1. 移至 Azure 入口網站中的 [Azure OpenAI 資源] 頁面，然後選擇 [身分識別] 索引標籤。
2. 針對系統指派的身分識別，將狀態開啟為 On，並複製產生的識別碼。
3. 移至 Azure 入口網站中的 [Azure 資料總管資源]，選擇 [資料庫]，然後選擇您建立的特定資料庫以儲存使用者分析結果。
4. 選取 [權限]，並新增系統管理員角色至資料庫。
5. 貼上先前步驟中產生的 Azure OpenAI 身分識別，然後選取所搜尋的身分識別。現在，您的 Azure OpenAI 資源的身分識別已獲授權，可讀取/寫入儲存體帳戶。
向需要檢視分析結果的使用者授予存取已連線的 Azure 資料總管資料庫之權利：
1. 移至您已連線的 Azure 資料總管資源，選擇 [存取控制]，並為需要存取結果的使用者新增 Azure 資料總管叢集的讀者角色。
2. 選擇 [資料庫]，然後選擇已連線用來儲存使用者層級濫用分析結果的特定資料庫。選擇 [權限]，並為需要存取結果的使用者新增資料庫的讀者角色。

潛在濫用使用者偵測依賴客戶透過其 Azure OpenAI API 通話傳送的使用者資訊，以及要求內容。顯示下列深入解析：

潛在濫用的使用者總計數：此檢視會顯示一段時間內偵測到的潛在濫用使用者人數。這些是偵測到濫用模式的使用者，以及可能帶來高風險的使用者。
潛在濫用使用者清單：此檢視為偵測到潛在濫用使用者的詳細清單。它針對每個使用者提供以下的資訊：
- UserGUID：這是由客戶透過 Azure OpenAI API 中的「使用者」欄位傳送。
- 濫用分數：這是分析每個使用者的要求和行為的模型所產生的數字。分數標準化為 0-1。較高的分數表示濫用風險較高。
- 濫用分數趨勢：選取的時間範圍內濫用分數的變化。
- 評估日期：分析結果的日期。
- 總濫用要求比率/計數
- 依類別劃分的濫用比率/計數

將此資料與擴充訊號合併，以驗證偵測到的使用者是否確實濫用。如果是，請採取回應式動作，例如節流或將使用者暫時停權，以確保負責任地使用應用程式。

接下來，在 Azure OpenAI Studio 中建立或編輯內容篩選設計。