监视分类模型的公平性和偏差
重要
此功能目前以公共预览版提供。
使用 Databricks Lakehouse 监视，可以监视分类模型的预测，以查看模型对不同组关联的数据是否执行类似操作。 例如，可以调查贷款违约分类器是否为来自不同人口统计的申请人生成相同的误报率。
使用公平性和偏见指标
若要监视公平性和偏见，请创建布尔切片表达式。 计算结果为 True 的切片表达式定义的组被视为受保护的组（即，你正在检查是否存在偏差的组）。 例如，如果创建 slicing_exprs=["age < 25"]，则由 slice_key = “age < 25”标识的切片和 slice_value = True 被视为受保护的组，由 slice_key = “age < 25”标识的切片和 slice_value = False 被视为未受保护的组。
监视器会自动计算指标，以比较组之间的分类模型的性能。 配置文件指标表中报告了以下指标：
predictive_parity，用于比较各组之间的模型精度。predictive_equality，用于比较各组之间的误报率。equal_opportunity，用于度量标签是否对两个组进行同样好的预测。statistical_parity，用于度量各组间预测结果的差异。
仅当分析类型为 InferenceLog 且 problem_type 为 classification 时，才计算这些指标。
有关这些指标的定义，请参阅以下参考：
- 有关机器学习公平性的维基百科文章：
https://en.wikipedia.org/wiki/Fairness_(machine_learning) - 公平定义解释，Verma 和 Rubin，2018
公平性和偏差指标输出
有关这些指标以及如何在指标表中查看它们的详细信息，请参阅 API 引用。 所有公平性和偏见指标共享如下所示的相同数据类型，以“一对多”的方式显示所有预测类中以键值对的方式计算的公平性分数。
可以针对这些指标创建警报。 例如，当公平性指标超过某个阈值时，模型的所有者可以设置警报，然后将该警报路由到待命人员或团队进行调查。