Możliwość interpretowania modelu
W tym artykule opisano metody, których można użyć do interpretowania modelu w usłudze Azure Machine Learning.
Dlaczego możliwość interpretacji modelu jest ważna w przypadku debugowania modelu
Jeśli używasz modeli uczenia maszynowego w sposób, który wpływa na życie ludzi, ważne jest, aby zrozumieć, co wpływa na zachowanie modeli. Możliwość interpretacji pomaga odpowiedzieć na pytania w scenariuszach, takich jak:
- Debugowanie modelu: Dlaczego mój model popełnił ten błąd? Jak mogę ulepszyć model?
- Współpraca między ludźmi a sztuczną inteligencją: Jak mogę zrozumieć decyzje modelu i ufać mu?
- Zgodność z przepisami: Czy mój model spełnia wymagania prawne?
Komponent interpretowalności pulpitu Odpowiedzialnej SI wspiera etap "diagnozowania" przepływu pracy cyklu życia modelu, generując zrozumiałe dla człowieka opisy przewidywań modelu uczenia maszynowego. Zapewnia wiele widoków na zachowanie modelu:
- Wyjaśnienia globalne: na przykład jakie funkcje wpływają na ogólne zachowanie modelu alokacji pożyczek?
- Wyjaśnienia lokalne: na przykład dlaczego wniosek o pożyczkę klienta został zatwierdzony lub odrzucony?
Możesz również obserwować wyjaśnienia modelu dla wybranej kohorty w postaci podgrupy punktów danych. Takie podejście jest przydatne, gdy na przykład oceniasz sprawiedliwość w przewidywaniach modelu dla osób w określonej grupie demograficznej. Karta Wyjaśnienie Lokalne tego składnika reprezentuje również pełną wizualizację danych, która doskonale sprawdza się w przypadku ogólnego przeglądu danych i analizy różnic między poprawnymi a błędnymi przewidywaniami każdej kohorty.
Możliwości tego składnika są tworzone przez pakiet InterpretML , który generuje wyjaśnienia modelu.
Użyj możliwości interpretacji, jeśli musisz:
- Określ, jak wiarygodne są przewidywania systemu sztucznej inteligencji, rozumiejąc, jakie funkcje są najważniejsze dla przewidywań.
- Podejdź do debugowania swojego modelu, najpierw go zrozumiejąc i określając, czy model korzysta ze zdrowych cech, czy tylko fałszywych korelacji.
- Odkryj potencjalne źródła niesprawiedliwości, rozumiejąc, czy model opiera przewidywania na poufnych funkcjach, czy na funkcjach, które są z nimi wysoce skorelowane.
- Tworzenie zaufania użytkowników w decyzjach modelu przez generowanie lokalnych wyjaśnień w celu zilustrowania ich wyników.
- Ukończ inspekcję przepisów systemu sztucznej inteligencji, aby zweryfikować modele i monitorować wpływ decyzji dotyczących modelu na ludzi.
Jak interpretować model
W uczeniu maszynowym funkcje to pola danych używane do przewidywania docelowego punktu danych. Na przykład w celu przewidywania ryzyka kredytowego możesz użyć pól danych dla wieku, rozmiaru konta i wieku konta. W tym miejscu wiek, rozmiar konta i wiek konta są funkcjami. Ważność funkcji informuje, jak każde pole danych wpływa na przewidywania modelu. Na przykład, mimo że w przewidywaniu może być używany wiek, rozmiar konta i wiek konta mogą nie wpływać znacząco na wartości przewidywania. Dzięki temu procesowi analitycy danych mogą wyjaśnić wynikowe przewidywania w sposób, który zapewnia uczestnikom projektu wgląd w najważniejsze funkcje modelu.
Korzystając z klas i metod na pulpicie nawigacyjnym odpowiedzialnej sztucznej inteligencji oraz przy użyciu zestawu SDK w wersji 2 i interfejsu wiersza polecenia w wersji 2, możesz:
- Wyjaśnienie przewidywania modelu przez wygenerowanie wartości ważności funkcji dla całego modelu (wyjaśnienie globalne) lub poszczególnych punktów danych (wyjaśnienie lokalne).
- Osiągnij możliwość interpretowania modelu na rzeczywistych zestawach danych na dużą skalę.
- Użyj interaktywnej wizualizacji, aby odnaleźć wzorce w danych i ich wyjaśnienia w czasie trenowania.
Obsługiwane techniki interpretowania modelu
Pulpit odpowiedzialnej sztucznej inteligencji używa technik interpretowalności, które zostały opracowane w Interpret-Community, otwartoźródłowym pakiecie Python do trenowania modeli interpretowalnych oraz pomaga wyjaśniać nieprzejrzyste systemy AI. Nieprzezroczyste modele to te, dla których nie mamy informacji o ich wewnętrznych działaniach.
Interpret-Community działa jako gospodarz następujących obsługiwanych narzędzi wyjaśniających i obecnie obsługuje techniki interpretacji przedstawione w następnych sekcjach.
Obsługiwane na pulpicie nawigacyjnym odpowiedzialnej sztucznej inteligencji w zestawie Python SDK w wersji 2 i interfejsie wiersza polecenia w wersji 2
| Technika interpretowania | opis | Typ |
|---|---|---|
| Eksplainer zastępczy (globalny surogat) + drzewo SHAP | "Mimic Explainer" opiera się na idei trenowania globalnych modeli zastępczych, aby naśladować modele czarnej skrzynki. Globalny model zastępczy to wewnętrznie interpretowalny model, który jest trenowany w celu zbliżenia przewidywań dowolnego modelu czarnej skrzynki tak dokładnie, jak to możliwe. Specjaliści ds. analizy danych mogą interpretować model zastępczy, aby wyciągnąć wnioski dotyczące modelu czarnej skrzynki. Tablica odpowiedzialnej sztucznej inteligencji używa LightGBM (LGBMExplainableModel), w połączeniu z algorytmem SHAP (SHapley Additive exPlanations) Tree Explainer, który jest specyficznym wyjaśnieniem przeznaczonym do drzew i ich zespołów. Połączenie drzewa LightGBM i SHAP zapewnia niezależne od modelu globalne i lokalne wyjaśnienia modeli uczenia maszynowego. |
Niezależny od modelu |
Obsługiwane techniki interpretowania modelu dla modeli tekstowych
| Technika interpretowalności | Opis | Typ | Zadanie tekstowe |
|---|---|---|---|
| Tekst SHAP | SHAP (SHapley Additive exPlanations) to popularna metoda wyjaśnienia dla głębokich sieci neuronowych, która zapewnia wgląd w wkład każdej cechy wejściowej do konkretnego przewidywania. Opiera się na koncepcji wartości Shapleya, która jest metodą przypisywania zasług poszczególnym graczom w grze kooperacyjnej. ShaP stosuje tę koncepcję do funkcji wejściowych sieci neuronowej przez obliczenie średniego udziału każdej funkcji w danych wyjściowych modelu we wszystkich możliwych kombinacjach funkcji. W przypadku tekstu metoda SHAP dzieli wyrazy w sposób hierarchiczny, traktując każde słowo lub token jako cechę. Powoduje to utworzenie zestawu wartości przypisania, które kwantyfikują znaczenie każdego słowa lub tokenu dla danego przewidywania. Ostateczna mapa atrybucji jest generowana przez wizualizowanie wartości w postaci mapy cieplnej na oryginalnym dokumencie tekstowym. ShaP to metoda niezależna od modelu i może służyć do wyjaśnienia szerokiej gamy modeli uczenia głębokiego, w tym sieci CNN, sieci RNN i transformatorów. Ponadto zapewnia kilka pożądanych właściwości, takich jak spójność, dokładność i sprawiedliwość, dzięki czemu jest to niezawodna i interpretowalna technika zrozumienia procesu podejmowania decyzji w modelu. | Niezależny od modelu | Klasyfikacja wieloklasowa tekstu, klasyfikacja wielu etykiet tekstu |
Obsługiwane techniki interpretowalności modelu dla modeli obrazów
| Technika interpretowalności | opis | Typ | Zadanie dotyczące wizji |
|---|---|---|---|
| Obraz SHAP | SHAP (SHapley Additive exPlanations) to popularna metoda wyjaśnienia dla głębokich sieci neuronowych, która zapewnia wgląd w wkład każdej cechy wejściowej w daną prognozę. Opiera się na koncepcji wartości Shapleya, która jest metodą przypisywania zasług poszczególnym graczom w grze kooperacyjnej. ShaP stosuje tę koncepcję do funkcji wejściowych sieci neuronowej przez obliczenie średniego udziału każdej funkcji w danych wyjściowych modelu we wszystkich możliwych kombinacjach funkcji. W przypadku wizji SHAP dzieli obraz w sposób hierarchiczny, traktując obszary superpixel obrazu jako każdą cechę. Powoduje to utworzenie zestawu wartości autorstwa, które kwantyfikują znaczenie każdego superpixela lub obszaru obrazu dla danego przewidywania. Ostateczna mapa przypisania jest generowana przez wizualizowanie tych wartości jako mapy cieplnej. ShaP to metoda niezależna od modelu i może służyć do wyjaśnienia szerokiej gamy modeli uczenia głębokiego, w tym sieci CNN, sieci RNN i transformatorów. Ponadto zapewnia kilka pożądanych właściwości, takich jak spójność, dokładność i sprawiedliwość, dzięki czemu jest to niezawodna i interpretowalna technika zrozumienia procesu podejmowania decyzji w modelu. | Niezależny od modelu | Klasyfikacja wieloklasowa obrazów, klasyfikacja wielu etykiet obrazów |
| Backprop z przewodnikiem | Przewodnik-backprop to popularna metoda wyjaśnienia dla głębokich sieci neuronowych, która zapewnia wgląd w poznane reprezentacje modelu. Generuje wizualizację cech wejściowych, które aktywują określony neuron w modelu, przez obliczenie gradientu danych wyjściowych w odniesieniu do obrazu wejściowego. W przeciwieństwie do innych metod opartych na gradientach, metodologia guidowanego propagowania wstecznego (guided-backpropagation) działa tylko na gradientach dodatnich i używa zmodyfikowanej funkcji aktywacji ReLU, aby upewnić się, że gradienty ujemne nie wpływają na wizualizację. Powoduje to bardziej interpretowalną i wysokiej rozdzielczości mapę ważności, która wyróżnia najważniejsze cechy na obrazie wejściowym dla danej predykcji. Guided-backprop może być użyty do wyjaśnienia szerokiej gamy modeli uczenia głębokiego, w tym splotowych sieci neuronowych (CNN), rekurencyjnych sieci neuronowych (RNN) i sieci transformatorowych. | AutoML | Klasyfikacja wieloklasowa obrazów, klasyfikacja wielu etykiet obrazów |
| GradCAM z przewodnikiem | Guided GradCAM to popularna metoda wyjaśniania głębokich sieci neuronowych, która zapewnia wgląd w wyuczone reprezentacje modelu. Generuje wizualizację cech wejściowych, które najbardziej przyczyniają się do określonej klasy wyjściowej, poprzez połączenie gradientowego podejścia wstecznej propagacji z podejściem lokalizacyjnym GradCAM. W szczególności oblicza gradienty klasy wyjściowej w odniesieniu do mapy cech ostatniej warstwy splotowej w sieci, a następnie waży każdą mapę cech zgodnie z ważnością jej aktywacji dla tej klasy. Tworzy to mapę cieplną o wysokiej rozdzielczości, która wyróżnia najbardziej dyskryminacyjne regiony obrazu wejściowego dla danej klasy wyjściowej. Przewodnik GradCAM może służyć do wyjaśnienia szerokiej gamy modeli uczenia głębokiego, w tym sieci CNN, sieci RNN i transformatorów. Ponadto dzięki włączeniu wstecznej propagacji z przewodnikiem zapewnia, że wizualizacja jest znacząca i interpretowalna, unikając fałszywych aktywacji i negatywnego wkładu. | Automatyczne Uczenie Maszynowe (AutoML) | Klasyfikacja wieloklasowa obrazów, klasyfikacja wielu etykiet obrazów |
| Gradienty zintegrowane | Zintegrowane gradienty to popularna metoda wyjaśniania dla głębokich sieci neuronowych, która zapewnia wgląd w wkład każdej cechy wejściowej do danego prognozy. Oblicza integralną część gradientu klasy wyjściowej w odniesieniu do obrazu wejściowego, wzdłuż prostej ścieżki między obrazem odniesienia a rzeczywistym obrazem wejściowym. Ta ścieżka jest zwykle wybierana jako interpolacja liniowa między dwoma obrazami, a punkt odniesienia jest neutralnym obrazem, który nie ma wyraźnych cech. Dzięki zintegrowaniu gradientu wzdłuż tej ścieżki zintegrowane gradienty zapewniają miarę sposobu, w jaki każda funkcja wejściowa przyczynia się do przewidywania, umożliwiając wygenerowanie mapy autorstwa. Ta mapa wyróżnia najbardziej wpływowe funkcje wejściowe i może służyć do uzyskiwania wglądu w proces podejmowania decyzji w modelu. Zintegrowane gradienty mogą służyć do wyjaśnienia szerokiej gamy modeli uczenia głębokiego, w tym sieci CNN, sieci RNN i transformatorów. Ponadto jest to teoretycznie uzasadniona technika, która spełnia zestaw pożądanych właściwości, takich jak czułość, niezmienność implementacji i kompletność. | AutoML | Klasyfikacja wieloklasowa obrazów, klasyfikacja wielu etykiet obrazów |
| XRAI | XRAI to nowatorska metoda wyróżnialności oparta na regionach i zintegrowanych gradientach (IG). Nadmiernie segmentuje obraz i iteracyjnie testuje znaczenie każdego regionu, łącząc mniejsze regiony z większymi segmentami na podstawie ocen autorstwa. Ta strategia zapewnia wysoką jakość, regiony wyrazistości ściśle ograniczone, które przewyższają istniejące techniki wyrazistości. XRAI może być używany z dowolnym modelem opartym na sieci rozproszonej, o ile istnieje sposób klastrowania funkcji wejściowych w segmenty za pomocą pewnej metryki podobieństwa. | AutoML | Klasyfikacja wieloklasowa obrazów, klasyfikacja wielu etykiet obrazów |
| D-RISE | D-RISE to niezależna od modelu metoda tworzenia wizualnych wyjaśnień prognoz modeli wykrywania obiektów. Uwzględniając zarówno aspekty lokalizacji, jak i kategoryzacji wykrywania obiektów, funkcja D-RISE może tworzyć mapy saliency, które podkreślają części obrazu, które najbardziej przyczyniają się do przewidywania detektora. W przeciwieństwie do metod opartych na gradientach, D-RISE jest bardziej ogólny i nie potrzebuje dostępu do wewnętrznych funkcji detektora obiektów; wymaga tylko dostępu do danych wejściowych i wyjściowych modelu. Metodę można zastosować do detektorów jednoetapowych (na przykład YOLOv3), detektorów dwuetapowych (np. Faster-RCNN) i Vision Transformers (na przykład DETR, OWL-ViT). Funkcja D-Rise zapewnia mapę istotności, tworząc losowe maski obrazu wejściowego, które są następnie wysyłane do detektora obiektów. Oceniając zmianę wyniku detektora obiektów, agreguje wszystkie wykrycia z każdą maską i tworzy ostateczną mapę saliencyjności. |
Niezależny od modelu | Wykrywanie obiektów |
Następne kroki
- Dowiedz się, jak wygenerować dashboard odpowiedzialnego AI za pomocą CLI w wersji 2 i SDK w wersji 2 lub Azure Machine Learning studio UI.
- Zapoznaj się z obsługiwanymi wizualizacjami możliwości interpretacji pulpitu nawigacyjnego Odpowiedzialne używanie sztucznej inteligencji.
- Dowiedz się, jak wygenerować kartę wyników odpowiedzialnej sztucznej inteligencji na podstawie szczegółowych informacji obserwowanych na pulpicie nawigacyjnym odpowiedzialnej sztucznej inteligencji.