Delen via

Eerlijkheid en vooroordelen voor classificatiemodellen bewaken

  • Artikel

Met Databricks Lakehouse Monitoring kunt u de voorspellingen van een classificatiemodel bewaken om te zien of het model op dezelfde manier presteert op gegevens die zijn gekoppeld aan verschillende groepen. U kunt bijvoorbeeld onderzoeken of een standaardclassificatie voor leningen hetzelfde fout-positieve tarief genereert voor aanvragers uit verschillende demografische gegevens.

Werken met metrische gegevens voor redelijkheid en vooroordelen

Als u wilt controleren op billijkheid en vooroordelen, maakt u een Booleaanse slice-expressie. De groep die door de segmentexpressie wordt geëvalueerd True , wordt beschouwd als de beveiligde groep (de groep waarmee u controleert op vooroordelen). Als u bijvoorbeeld maakt slicing_exprs=["age < 25"], wordt het segment geïdentificeerd door slice_key = "leeftijd < 25" en slice_value = True wordt beschouwd als de beveiligde groep en wordt het segment geïdentificeerd door slice_key = "leeftijd < 25" en slice_value = False wordt beschouwd als de niet-beveiligde groep.

De monitor berekent automatisch metrische gegevens waarmee de prestaties van het classificatiemodel tussen groepen worden vergeleken. De volgende metrische gegevens worden gerapporteerd in de tabel met metrische gegevens van het profiel:

  • predictive_parity, waarmee de precisie van het model tussen groepen wordt vergeleken.
  • predictive_equality, waarmee fout-positieve percentages tussen groepen worden vergeleken.
  • equal_opportunity, waarmee wordt bepaald of een label even goed wordt voorspeld voor beide groepen.
  • statistical_parity, waarmee het verschil in voorspelde resultaten tussen groepen wordt berekend.

Deze metrische gegevens worden alleen berekend als het analysetype is InferenceLog en problem_type is classification.

Zie de volgende verwijzingen voor definities van deze metrische gegevens:

Uitvoer van metrische gegevens van getrouwheid en vooroordelen

Zie de API-verwijzing voor meer informatie over deze metrische gegevens en hoe u deze kunt weergeven in de metrische tabellen. Alle metrische gegevens met betrekking tot redelijkheid en vooroordelen delen hetzelfde gegevenstype zoals hieronder wordt weergegeven, waarbij de fairness-scores worden weergegeven die zijn berekend voor alle voorspelde klassen op een 'een-vs-all'-manier als sleutel-waardeparen.

U kunt een waarschuwing maken voor deze metrische gegevens. De eigenaar van het model kan bijvoorbeeld een waarschuwing instellen wanneer de metrische waarde voor redelijkheid een drempelwaarde overschrijdt en die waarschuwing vervolgens doorsturen naar een on-call persoon of team voor onderzoek.