Udostępnij za pośrednictwem

Monitorowanie sprawiedliwości i stronniczości dla modeli klasyfikacji

  • Artykuł

Za pomocą funkcji Monitorowania usługi Databricks Lakehouse można monitorować przewidywania modelu klasyfikacji, aby sprawdzić, czy model działa podobnie na danych skojarzonych z różnymi grupami. Na przykład można zbadać, czy klasyfikator pożyczki domyślnie generuje tę samą fałszywie dodatnią stawkę dla wnioskodawców z różnych danych demograficznych.

Praca z metrykami sprawiedliwości i stronniczości

Aby monitorować sprawiedliwość i stronniczość, należy utworzyć wyrażenie wycinka logicznego. Grupa zdefiniowana przez wyrażenie wycinka oceniana True jako jest uznawana za grupę chronioną (czyli grupę sprawdzaną pod kątem uprzedzeń). Jeśli na przykład utworzysz slicing_exprs=["age < 25"]fragment zidentyfikowany przez slice_key = "wiek 25" i <slice_value = zostanie uznany za grupę chronioną, a wycinek zidentyfikowany przez True = "wiek slice_key< 25" i slice_value = False jest uważany za niechronionej grupy.

Monitor automatycznie oblicza metryki, które porównują wydajność modelu klasyfikacji między grupami. W tabeli metryk profilu przedstawiane są następujące metryki:

  • predictive_parity, który porównuje dokładność modelu między grupami.
  • predictive_equality, który porównuje współczynniki wyników fałszywie dodatnich między grupami.
  • equal_opportunity, który mierzy, czy etykieta jest przewidywana równie dobrze dla obu grup.
  • statistical_parity, który mierzy różnicę w przewidywanych wynikach między grupami.

Te metryki są obliczane tylko wtedy, gdy typ analizy to InferenceLog i problem_type to classification.

Aby uzyskać definicje tych metryk, zobacz następujące odwołania:

Dane wyjściowe metryk sprawiedliwości i stronniczości

Zobacz dokumentację interfejsu API , aby uzyskać szczegółowe informacje o tych metrykach i sposobie ich wyświetlania w tabelach metryk. Wszystkie metryki sprawiedliwości i stronniczości współużytkują ten sam typ danych, jak pokazano poniżej, pokazując wyniki sprawiedliwości obliczone we wszystkich przewidywanych klasach w sposób "jeden vs-all" jako pary klucz-wartość.

Możesz utworzyć alert dotyczący tych metryk. Na przykład właściciel modelu może skonfigurować alert w sytuacji, gdy metryka sprawiedliwości przekroczy ustalony próg, a następnie skierować ten alert do odpowiedzialnej osoby lub zespołu w celu przeprowadzenia badania.