Dela via

Modelltolkning

  • Artikel

I den här artikeln beskrivs metoder som du kan använda för modelltolkning i Azure Machine Learning.

Varför modelltolkning är viktigt för modellfelsökning

När du använder maskininlärningsmodeller på sätt som påverkar människors liv är det mycket viktigt att förstå vad som påverkar modellernas beteende. Tolkning hjälper dig att besvara frågor i scenarier som:

  • Modellfelsökning: Varför gjorde min modell det här misstaget? Hur kan jag förbättra min modell?
  • Samarbete mellan människa och AI: Hur kan jag förstå och lita på modellens beslut?
  • Regelefterlevnad: Uppfyller min modell juridiska krav?

Tolkningskomponenten i Ansvarsfull AI-instrumentpanelen bidrar till "diagnostisera"-fasen i modellens livscykelarbetsflöde genom att generera mänskligt förståeliga beskrivningar av en maskininlärningsmodells förutsägelser. Den innehåller flera vyer i en modells beteende:

  • Globala förklaringar: Vilka funktioner påverkar till exempel det övergripande beteendet för en låneallokeringsmodell?
  • Lokala förklaringar: Varför godkändes eller avvisades till exempel en kunds låneansökan?

Du kan också se modellförklaringar för en vald kohort som en undergrupp av datapunkter. Den här metoden är värdefull när du till exempel utvärderar rättvisa i modellförutsägelser för individer i en viss demografisk grupp. Fliken Lokal förklaring för den här komponenten representerar också en fullständig datavisualisering, vilket är bra för allmän översikt av data och att se skillnader mellan korrekta och felaktiga prognoser för varje kohort.

Funktionerna i den här komponenten bygger på InterpretML-paketet , som genererar modellförklaringar.

Använd tolkning när du behöver:

  • Fastställa hur tillförlitliga ai-systemets förutsägelser är genom att förstå vilka funktioner som är viktigast för förutsägelserna.
  • Närma dig felsökningen av din modell genom att först förstå den och identifiera om modellen använder hälsosamma funktioner eller bara falska korrelationer.
  • Upptäck potentiella orättvisor genom att förstå om modellen baserar förutsägelser på känsliga funktioner eller på funktioner som är starkt korrelerade med dem.
  • Skapa användarförtroende för din modells beslut genom att generera lokala förklaringar för att illustrera deras resultat.
  • Slutför en regelgranskning av ett AI-system för att validera modeller och övervaka effekten av modellbeslut på människor.

Så här tolkar du din modell

I maskininlärning är funktioner de datafält som du använder för att förutsäga en måldatapunkt. Om du till exempel vill förutsäga kreditrisker kan du använda datafält för ålder, kontostorlek och kontoålder. Här är ålder, kontostorlek och kontoålder funktioner. Funktionsvikt visar hur varje datafält påverkar modellens förutsägelser. Även om du till exempel kan använda ålder kraftigt i förutsägelsen kanske kontostorleken och kontoåldern inte påverkar förutsägelsevärdena nämnvärt. Genom den här processen kan dataexperter förklara resulterande förutsägelser på sätt som ger intressenter insyn i modellens viktigaste funktioner.

Genom att använda klasserna och metoderna i Ansvarsfull AI-instrumentpanelen och med hjälp av SDK v2 och CLI v2 kan du:

  • Förklara modellförutsägelse genom att generera funktionsviktsvärden för hela modellen (global förklaring) eller enskilda datapunkter (lokal förklaring).
  • Uppnå modelltolkning på verkliga datauppsättningar i stor skala.
  • Använd en instrumentpanel för interaktiv visualisering för att identifiera mönster i dina data och dess förklaringar vid träningstillfället.

Modelltolkningstekniker som stöds

Den ansvarsfulla AI-instrumentpanelen använder de tolkningstekniker som har utvecklats i Interpret-Community, ett Python-paket med öppen källkod för att träna tolkningsbara modeller och hjälpa till att förklara svarta lådan-AI-system. Ogenomskinliga modeller är de för vilka vi inte har någon information om deras inre funktioner.

Interpret-Community fungerar som värd för följande förklarare som stöds och stöder för närvarande de tolkningstekniker som presenteras i nästa avsnitt.

Stöds i den ansvarsfulla AI-instrumentpanelen i Python SDK v2 och CLI v2

Tolkningsteknik beskrivning Typ
Mimic Explainer (Global Surrogate) + SHAP-träd Mimic Explainer baseras på idén att träna globala surrogatmodeller för att efterlikna ogenomskinliga modeller. En global surrogatmodell är en av naturen tolkningsbar modell som tränas för att så exakt som möjligt approximera förutsägelserna hos en black-box-modell.

Dataforskare kan tolka surrogatmodellen för att dra slutsatser om den ogenomskinliga modellen. Instrumentpanelen för ansvarsfull AI använder LightGBM (LGBMExplainableModel), tillsammans med SHAP-trädexplainer (SHapley Additive exPlanations), som är en specifik explainer för träd och ensembler av träd. Kombinationen av LightGBM- och SHAP-träd ger modelloberoende globala och lokala förklaringar av dina maskininlärningsmodeller.		 Modellagnostisk

Modelltolkningstekniker som stöds för textmodeller

Tolkningsteknik beskrivning Typ Textuppgift
SHAP-text SHAP (SHapley Additive exPlanations) är en populär förklaringsmetod för djupa neurala nätverk som ger insikter om hur varje indatafunktion bidrar till en viss förutsägelse. Det är baserat på begreppet Shapley-värden, vilket är en metod för att tilldela kredit till enskilda spelare i ett kooperativt spel. SHAP tillämpar det här konceptet på indatafunktionerna i ett neuralt nätverk genom att beräkna det genomsnittliga bidraget från varje funktion till modellens utdata i alla möjliga kombinationer av funktioner. För text specifikt delar SHAP på ord på ett hierarkiskt sätt och behandlar varje ord eller token som en funktion. Detta ger en uppsättning attributionsvärden som kvantifierar vikten av varje ord eller token för den angivna förutsägelsen. Den slutliga attributionskartan genereras genom att dessa värden visualiseras som en värmekarta över det ursprungliga textdokumentet. SHAP är en modelloberoende metod och kan användas för att förklara en mängd olika djupinlärningsmodeller, inklusive CNN, RNN och transformatorer. Dessutom ger den flera önskvärda egenskaper, till exempel konsekvens, noggrannhet och rättvisa, vilket gör den till en tillförlitlig och tolkningsbar teknik för att förstå beslutsprocessen för en modell. Modellagnostisk Klassificering av text med flera klasser, klassificering av flera etiketter för text

Modelltolkningstekniker som stöds för bildmodeller

Tolkningsteknik beskrivning Typ Visionuppgift
SHAP-vision SHAP (SHapley Additive exPlanations) är en populär förklaringsmetod för djupa neurala nätverk som ger insikter om hur varje indatafunktion bidrar till en viss förutsägelse. Det är baserat på begreppet Shapley-värden, vilket är en metod för att tilldela kredit till enskilda spelare i ett kooperativt spel. SHAP tillämpar det här konceptet på indatafunktionerna i ett neuralt nätverk genom att beräkna det genomsnittliga bidraget från varje funktion till modellens utdata i alla möjliga kombinationer av funktioner. Specifikt för vision delar SHAP på bilden på ett hierarkiskt sätt och behandlar superpixelområden i bilden som varje funktion. Detta ger en uppsättning attributionsvärden som kvantifierar vikten av varje superpixel eller bildområde för den angivna förutsägelsen. Den slutliga attributionskartan genereras genom att dessa värden visualiseras som en värmekarta. SHAP är en modelloberoende metod och kan användas för att förklara en mängd olika djupinlärningsmodeller, inklusive CNN, RNN och transformatorer. Dessutom ger den flera önskvärda egenskaper, till exempel konsekvens, noggrannhet och rättvisa, vilket gör den till en tillförlitlig och tolkningsbar teknik för att förstå beslutsprocessen för en modell. Modellagnostisk Bildklassificering med flera klasser, Bildklassificering med flera etiketter
Guidad backprop Guided-backprop är en populär förklaringsmetod för djupa neurala nätverk som ger insikter om modellens inlärda representationer. Den genererar en visualisering av indatafunktioner som aktiverar en viss neuron i modellen genom att beräkna derivatan av utdatabilden med avseende på indatabilden. Till skillnad från andra gradientbaserade metoder backpropagerar guidad backpropagering endast genom positiva gradienter och använder en modifierad ReLU-aktiveringsfunktion för att säkerställa att negativa gradienter inte påverkar visualiseringen. Detta resulterar i en mer tolkningsbar och högupplöst saliency-karta som visar de viktigaste funktionerna i indatabilden för en viss förutsägelse. Guidad backprop kan användas för att förklara ett brett spektrum av djupinlärningsmodeller, inklusive konvolutionella neurala nätverk (CNN:s), återkommande neurala nätverk (RNN:s) och transformers. Automatisk maskininlärning (AutoML) Bildklassificering med flera klasser, Bildklassificering med flera etiketter
Guidad GradCAM Guidad GradCAM är en populär förklaringsmetod för djupa neurala nätverk som ger insikter om modellens inlärda representationer. Den genererar en visualisering av indatafunktionerna som bidrar mest till en viss utdataklass genom att kombinera den gradientbaserade metoden för guidad backpropagation med lokaliseringsmetoden GradCAM. Mer specifikt beräknar den gradienterna för utdataklassen med avseende på funktionskartorna för det sista konvolutionella lagret i nätverket och viktar sedan varje funktionskarta enligt hur viktig dess aktivering är för den klassen. Detta skapar en högupplöst värmekarta som visar de mest diskriminerande regionerna i indatabilden för den angivna utdataklassen. Guidad GradCAM kan användas för att förklara ett brett spektrum av djupinlärningsmodeller, inklusive CNN, RNN och transformatorer. Genom att införliva guidad backpropagation säkerställer det dessutom att visualiseringen är meningsfull och tolkningsbar, vilket undviker falska aktiveringar och negativa bidrag. AutoML Klassificering av bilder i flera klasser, Klassificering av bilder med flera etiketter
Integrerade gradienter Integrerade gradienter är en populär förklaringsmetod för djupa neurala nätverk som ger insikter om hur varje indataegenskap bidrar till en viss förutsägelse. Den beräknar integralen av gradienten för utdataklassen med avseende på indatabilden, längs en rak väg mellan en baslinjebild och den verkliga indatabilden. Den här sökvägen väljs vanligtvis som en linjär interpolation mellan de två bilderna, där baslinjen är en neutral bild som inte har några framträdande funktioner. Genom att integrera gradienten längs den här sökvägen ger integrerade gradienter ett mått på hur varje ingångsfunktion bidrar till prediktionen, vilket möjliggör att en attributionskarta kan genereras. Den här kartan visar de mest inflytelserika indatafunktionerna och kan användas för att få insikter om modellens beslutsprocess. Integrerade gradients kan användas för att förklara en stor variation av djupinlärningsmodeller, inklusive CNN, RNN och transformers. Dessutom är det en teoretiskt grundad teknik som uppfyller en uppsättning önskvärda egenskaper, till exempel känslighet, implementeringsvarians och fullständighet. AutoML Klassificering av bilder i flera klasser, Klassificering av bilder med flera etiketter
XRAI XRAI är en ny regionbaserad saliencymetod baserad på integrerade gradienter (IG). Den översegmenterar bilden och testar iterativt vikten av varje region, vilket kombinerar mindre regioner i större segment baserat på attributionspoäng. Den här strategin ger hög kvalitet, tätt avgränsade saliency regioner som överträffar befintliga saliency tekniker. XRAI kan användas med valfri DNN-baserad modell så länge det finns ett sätt att gruppera indatafunktionerna i segment via något likhetsmått. AutoML Flervalsklassificering av bilder, Bildklassificering med flera etiketter
D-RISE D-RISE är en modelloberoende metod för att skapa visuella förklaringar för förutsägelser av objektidentifieringsmodeller. Genom att redovisa både lokaliserings- och kategoriseringsaspekterna för objektidentifiering kan D-RISE producera saliency-kartor som markerar delar av en bild som mest bidrar till förutsägelsen av detektorn. Till skillnad från toningsbaserade metoder är D-RISE mer allmänt och behöver inte åtkomst till objektdetektorns inre funktioner. det kräver bara åtkomst till indata och utdata för modellen. Metoden kan tillämpas på enstegsdetektorer (till exempel YOLOv3), tvåstegsdetektorer (till exempel Faster-RCNN) och Vision Transformers (till exempel DETR, OWL-ViT).
D-Rise tillhandahåller saliency-kartan genom att skapa slumpmässiga masker av indatabilden och skickar den till objektdetektorn med indatabildens slumpmässiga masker. Genom att utvärdera ändringen av objektidentifieringens poäng aggregerar den alla identifieringar med varje mask och skapar en slutlig saliency-karta.		 Modellagnostisk Objektigenkänning

Nästa steg