監視分類模型的公平性和偏差

透過 Databricks Lakehouse 監視，您可以監視分類模型的預測，以查看模型是否對與不同群組相關聯的數據執行類似。 例如，您可以調查貸款違約分類器是否為來自不同人口統計的申請人產生相同的誤判率。

使用公平性和偏差計量

若要監視公平性和偏差，您可以建立布爾配量表達式。 評估為 True 的配量表示式所定義的群組會被視為受保護的群組（也就是您要檢查是否有偏差的群組）。 例如，如果您建立 slicing_exprs=["age < 25"]，則由 slice_key = “age < 25” 識別的配量，並 slice_value = True 視為受保護的群組，而由 slice_key = “age < 25” slice_value = False 識別的配量則視為未受保護的群組。

監視器會自動計算計量，以比較群組之間的分類模型效能。 設定檔案計量資料表中會報告下列計量：

• predictive_parity，它會比較模型在群組之間的精確度。
• predictive_equality，它會比較群組之間的誤判率。
• equal_opportunity，測量兩個群組是否預測標籤是否同樣良好。
• statistical_parity，測量群組之間預測結果的差異。

只有在分析類型為 且 problem_type 為 InferenceLog classification時，才會計算這些計量。

如需這些計量的定義，請參閱下列參考：

• 關於機器學習公平性的維琪百科文章： https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• 公平定義解釋， Verma 和魯賓， 2018

公平性和偏差計量輸出

如需這些計量的詳細數據，以及如何在計量數據表中檢視它們，請參閱 API 參考。 所有公平性和偏差計量會共用相同的數據類型，如下所示，顯示以「一對一」方式計算所有預測類別的公平分數，做為索引鍵/值組。

您可以在這些計量上建立警示。 例如，當公平性計量超過某個閾值時，模型擁有者可以設定警示，然後將該警示路由傳送給待命人員或小組進行調查。