濫用監視
Azure OpenAI 服務會偵測並減輕週期性內容和/或行為實例，這些實例會以可能違反 行為 規範或其他適用產品條款的方式建議使用服務。 如需如何處理數據的詳細數據， 請參閱數據、隱私權和安全性 頁面。
濫用監視的元件
濫用監視有數個元件：
- 內容分類：分類器模型會在使用者提示中偵測有害的文字和/或影像（輸入）和完成（輸出）。 如內容篩選頁面上的詳細資料所述，系統會尋找內容需求中所定義的傷害類別，並指派嚴重性層級。 內容分類訊號有助於模式偵測，如下所述。
- 濫用模式擷取：Azure OpenAI 服務的濫用監視系統會查看客戶使用模式，並採用演算法和啟發學習法來偵測和評分潛在濫用的指標。 偵測到的模式會考慮客戶提示和完成中偵測到有害內容的頻率和嚴重性（如內容分類器訊號中所示），以及行為的刻意性。 偵測到模式的趨勢和緊迫性也會影響潛在濫用嚴重性評分。 例如，分類為較高嚴重性的有害內容數量較高，或指出故意性（例如週期性越獄嘗試）的重複行為更有可能收到指出潛在濫用的高分。
- 檢閱和決策：透過內容分類和/或識別為可能濫用使用模式一部分的提示和完成，會受到另一個檢閱程式，以協助確認系統的分析和通知動作決策。 這類檢閱是透過兩種方法進行：人工檢閱和 AI 檢閱。
- 根據預設，如果提示和完成會透過內容分類標示為有害和/或被識別為可能濫用的使用模式的一部分，則可能會使用 LLM 而不是人為檢閱來取樣這些提示和完成。 用於此用途的 LLM 只會處理提示和完成，以確認系統的分析和通知動作決策：系統不會儲存經過這類 LLM 檢閱的提示和完成，也不會用來訓練 LLM 或其他系統。
- 在某些情況下，當自動化檢閱不符合複雜內容中的適用信賴閾值或 LLM 審查系統無法使用時，可能會引入人工眼球檢閱來做出額外的判斷。 這有助於改善整體濫用分析精確度。 授權Microsoft員工可以評估標幟的內容，並根據預先定義的指導方針和原則來確認或更正分類或判斷。 只有經過授權的Microsoft員工，才能透過 Just-In-Time （JIT） 要求核准的 Just-In-Time （JIT） 要求核准，才能存取提示和完成人員檢閱。 若是部署在歐洲經濟區的 Azure OpenAI 服務資源，獲得授權的 Microsoft 員工位於歐洲經濟區域。 如果客戶已核准修改濫用監視，則不會進行此人為檢閱程式。
- 通知和動作：根據上述步驟確認濫用行為的閾值時，客戶會透過電子郵件通知判斷。 除了嚴重或週期性濫用的情況之外，客戶通常都有解釋或補救的機會，並導入機制，防止濫用行為再發。 無法處理行為 (週期性或嚴重濫用)，可能會導致客戶對 Azure OpenAI 資源和/或功能的存取權遭到暫停或終止。
已修改的濫用監視
某些客戶可能想要使用 Azure OpenAI 服務來處理高度機密或高度機密數據的使用案例，否則可能會得出結論，他們不想要或無權允許Microsoft儲存並對其提示和完成進行人為檢閱，以進行濫用偵測。 為了解決這些問題，Microsoft可讓符合其他有限存取資格準則的客戶完成 此 窗體來修改濫用監視。 深入瞭解在有限存取 Azure OpenAI 服務時套用已修改的濫用監視，以及已修改的濫用監視對 Azure OpenAI 服務數據處理的影響。
注意
當濫用監視遭到修改且未執行人工審查時，偵測潛在的濫用可能較不精確。 客戶會收到上述潛在濫用偵測的通知，並應準備好回應這類通知，以避免服務中斷。
下一步
- 深入了解驅動 Azure OpenAI 的基礎模型。
- 深入了解以了解並降低與應用程式相關聯的風險：Azure OpenAI 模型的負責任 AI 做法概觀。
- 深入了解如何處理與內容篩選和濫用監視有關的資料：Azure OpenAI 服務的資料、隱私權和安全性。