Partager via

Analyser l’impartialité et les biais des modèles de classification

  • Article

Avec Databricks Lakehouse Monitoring, vous pouvez analyser les prévisions d’un modèle de classification pour voir si le modèle fonctionne de la même façon sur les données associées à différents groupes. Par exemple, vous pouvez déterminer si un classifieur de prêt par défaut génère le même taux de faux positifs pour les candidats de différents groupes démographiques.

Utiliser des métriques d’impartialité et de biais

Pour analyser l’impartialité et les biais, vous créez une expression slice booléenne. Le groupe défini par l’expression slice évalué à True est considéré comme le groupe protégé (c’est-à-dire le groupe sur lequel vous recherchez les biais). Par exemple, si vous créez slicing_exprs=["age < 25"], le slice identifié par slice_key = “age < 25” et slice_value = True est considéré comme le groupe protégé, et le slice identifié par slice_key = “age < 25” et slice_value = False est considéré comme le groupe non protégé.

Le moniteur calcule automatiquement les métriques qui comparent les performances du modèle de classification entre les groupes. Les métriques suivantes sont signalées dans la table des métriques de profil :

  • predictive_parity, qui compare la précision du modèle entre les groupes.
  • predictive_equality, qui compare les taux de faux positifs entre les groupes.
  • equal_opportunity, qui mesure si une étiquette est aussi bien prévue pour les deux groupes.
  • statistical_parity, qui mesure la différence dans les résultats prévus entre les groupes.

Ces métriques ne sont calculées que si le type d’analyse est InferenceLog et que problem_type est classification.

Pour obtenir les définitions de ces métriques, consultez les références suivantes :

Sorties des métriques d’impartialité et de biais

Pour plus d’informations sur ces métriques et comment les afficher dans les tables de métriques, consultez les informations de référence sur les API. Toutes les métriques d’impartialité et de biais partagent le même type de données que celui indiqué ci-dessous, montrant les scores d’impartialité calculés entre toutes les classes prévues de manière « une contre toutes » sous forme de paires clé-valeur.

Vous pouvez créer une alerte sur ces métriques. Par exemple, le propriétaire du modèle peut configurer une alerte lorsque la métrique d’impartialité dépasse un certain seuil, puis router cette alerte vers une personne ou une équipe de garde pour examen.