Dela via

Övervaka rättvisa och bias för klassificeringsmodeller

  • Artikel

Med Databricks Lakehouse Monitoring kan du övervaka förutsägelserna för en klassificeringsmodell för att se om modellen fungerar på samma sätt på data som är associerade med olika grupper. Du kan till exempel undersöka om en kreditstandardklassificerare genererar samma falska positiva ränta för sökande från olika demografier.

Arbeta med rättvise- och biasmått

Om du vill övervaka rättvisa och bias skapar du ett booleskt segmentuttryck. Den grupp som definieras av det segmentuttryck som utvärderas till True anses vara den skyddade gruppen (det vill: den grupp som du söker efter bias mot). Om du till exempel skapar slicing_exprs=["age < 25"]anses sektorn som identifieras av slice_key = "ålder < 25" ochslice_value = True vara den skyddade gruppen och den sektor som identifieras av slice_key = "ålder < 25" och slice_value = False anses vara den oskyddade gruppen.

Övervakaren beräknar automatiskt mått som jämför klassificeringsmodellens prestanda mellan grupper. Följande mått rapporteras i profilmåtten table:

  • predictive_parity, som jämför modellens precision mellan grupper.
  • predictive_equality, som jämför falska positiva priser mellan grupper.
  • equal_opportunity, som mäter om en etikett förutsägs lika bra för båda grupperna.
  • statistical_parity, som mäter skillnaden i förutsagda utfall mellan grupper.

Dessa mått beräknas endast om analystypen är InferenceLog och problem_type är classification.

Definitioner av dessa mått finns i följande referenser:

Resultat av rättvise- och biasmått

Mer information om dessa mått finns i API-referens och hur du visar dem i måttet tables. Alla rättvise- och biasmått har samma datatyp som visas nedan, vilket visar rättvisepoäng som beräknas för alla förutsagda klasser på ett "en-mot-alla"-sätt som nyckel/värde-par.

Du kan skapa en avisering om dessa mått. Till exempel kan modellens ägare set upp en avisering när rättvisemåttet överskrider ett visst tröskelvärde och sedan dirigera aviseringen till en jourperson eller ett team för undersökning.