Поделиться через

Мониторинг справедливости и предвзятости для моделей классификации

  • Статья

С помощью Databricks Lakehouse Monitoring можно отслеживать прогнозы модели классификации, чтобы узнать, выполняется ли модель аналогично данным, связанным с разными группами. Например, можно изучить, генерирует ли классификатор по умолчанию кредиты одинаковые ложные положительные ставки для заявителей из разных демографических данных.

Работа с метриками справедливости и предвзятости

Чтобы отслеживать справедливость и предвзятость, создайте логическое выражение среза. Группа, определяемая выражением True среза, считается защищенной группой (т. е. группой, на которую проверяется предвзятость). Например, если вы создаете slicing_exprs=["age < 25"], срез, определенный slice_key = "возраст < 25" и считается защищенной группой, и slice_value = True срез, идентифицированный slice_key = "возраст < 25" и slice_value = False считается незащищенной группой.

Монитор автоматически вычисляет метрики, которые сравнивают производительность модели классификации между группами. В таблице метрик профиля отображаются следующие метрики:

  • predictive_parity, который сравнивает точность модели между группами.
  • predictive_equality, который сравнивает ложные положительные показатели между группами.
  • equal_opportunity, который измеряет, является ли метка прогнозируемой одинаково хорошо для обеих групп.
  • statistical_parity, который измеряет разницу в прогнозируемых результатах между группами.

Эти метрики вычисляются только в том случае, если тип анализа и InferenceLogproblem_type является classification.

Определения этих метрик см. в следующих ссылках:

Выходные данные метрик справедливости и предвзятости

Дополнительные сведения об этих метриках и их просмотре в таблицах метрик см. в справочнике по API . Все метрики справедливости и предвзятости используют один и тот же тип данных, как показано ниже, показывая оценки справедливости, вычисляемые во всех прогнозируемых классах в виде пар "один и все" в виде пар "ключ-значение".

Вы можете создать оповещение об этих метриках. Например, владелец модели может настроить оповещение, когда метрика справедливости превышает некоторое пороговое значение, и затем перенаправить это оповещение на дежурного или команду для расследования.