Delen via

Interpreteerbaarheid van modellen

  • Artikel

In dit artikel worden methoden beschreven die u kunt gebruiken voor modelinterpretabiliteit in Azure Machine Learning.

Waarom modelinterpreteerbaarheid belangrijk is om foutopsporing te modelleren

Wanneer u machine learning-modellen gebruikt op manieren die van invloed zijn op het leven van mensen, is het van cruciaal belang om te begrijpen wat het gedrag van modellen beïnvloedt. Interpreteerbaarheid helpt bij het beantwoorden van vragen in scenario's zoals:

  • Modelfoutopsporing: Waarom heeft mijn model deze fout gemaakt? Hoe kan ik mijn model verbeteren?
  • Samenwerking tussen mensen en AI: Hoe kan ik de beslissingen van het model begrijpen en vertrouwen?
  • Naleving van regelgeving: Voldoet mijn model aan wettelijke vereisten?

Het interpreteerbaarheidsonderdeel van het verantwoordelijke AI-dashboard draagt bij aan de fase 'diagnose' van de levenscycluswerkstroom van het model door begrijpelijke beschrijvingen van de voorspellingen van een machine learning-model te genereren. Het biedt meerdere weergaven in het gedrag van een model:

  • Globale uitleg: Welke functies zijn bijvoorbeeld van invloed op het algehele gedrag van een leningtoewijzingsmodel?
  • Lokale uitleg: waarom is de leningsaanvraag van een klant goedgekeurd of geweigerd?

U kunt ook modeluitleg bekijken voor een geselecteerd cohort als een subgroep van gegevenspunten. Deze benadering is waardevol wanneer u bijvoorbeeld fairness in modelvoorspellingen beoordeelt voor personen in een bepaalde demografische groep. Het tabblad Lokale uitleg van dit onderdeel vertegenwoordigt ook een volledige gegevensvisualisatie, die ideaal is voor algemene oogopslag van de gegevens en het bekijken van verschillen tussen de juiste en onjuiste voorspellingen van elk cohort.

De mogelijkheden van dit onderdeel worden opgericht door het InterpretML-pakket , dat modeluitleg genereert.

Gebruik interpreteerbaarheid wanneer u het volgende moet doen:

  • Bepaal hoe betrouwbaar de voorspellingen van uw AI-systeem zijn door te begrijpen welke functies het belangrijkst zijn voor de voorspellingen.
  • Benader de foutopsporing van uw model door het eerst te begrijpen en te bepalen of het model gebruikmaakt van gezonde functies of slechts valse correlaties.
  • Ontdek potentiële bronnen van oneerlijkheid door te begrijpen of het model voorspellingen baseeert op gevoelige functies of op functies die sterk met hen zijn gecorreleerd.
  • Bouw gebruikersvertrouwen in de beslissingen van uw model door lokale uitleg te genereren om hun resultaten te illustreren.
  • Voltooi een wettelijke controle van een AI-systeem om modellen te valideren en de impact van modelbeslissingen op mensen te controleren.

Uw model interpreteren

In machine learning zijn functies de gegevensvelden die u gebruikt om een doelgegevenspunt te voorspellen. Als u bijvoorbeeld kredietrisico's wilt voorspellen, kunt u gegevensvelden gebruiken voor leeftijd, accountgrootte en accountleeftijd. Hier zijn leeftijd, accountgrootte en accountleeftijd functies. Het belang van functies geeft aan hoe elk gegevensveld van invloed is op de voorspellingen van het model. Hoewel u bijvoorbeeld de leeftijd sterk gebruikt in de voorspelling, zijn accountgrootte en accountleeftijd mogelijk niet van invloed op de voorspellingswaarden. Via dit proces kunnen gegevenswetenschappers de resulterende voorspellingen uitleggen op manieren die belanghebbenden inzicht geven in de belangrijkste functies van het model.

Met behulp van de klassen en methoden in het dashboard voor verantwoorde AI en met behulp van SDK v2 en CLI v2, kunt u het volgende doen:

  • Modelvoorspelling uitleggen door waarden voor functie-urgentie te genereren voor het hele model (globale uitleg) of afzonderlijke gegevenspunten (lokale uitleg).
  • Bereik de interpretatie van modellen op echte datasets op schaal.
  • Gebruik een interactief visualisatiedashboard om patronen in uw gegevens en de bijbehorende uitleg tijdens de training te ontdekken.

Ondersteunde technieken voor modelinterpretabiliteit

Het Responsible AI-dashboard maakt gebruik van de interpretatietechnieken die zijn ontwikkeld in Interpret-Community, een opensource Python-pakket voor het trainen van interpreteerbare modellen en het verduidelijken van niet-transparante AI-systemen. Ondoorzichtige modellen zijn modellen waarvoor we geen informatie over hun interne werking hebben.

Interpret-Community fungeert als host voor de volgende ondersteunde uitlegders en ondersteunt momenteel de interpreteerbaarheidstechnieken die in de volgende secties worden gepresenteerd.

Ondersteund in een verantwoordelijk AI-dashboard in Python SDK v2 en CLI v2

Interpreteerbaarheidstechniek Beschrijving Soort
Mimic Explainer (Global Surrogaat) + SHAP-structuur Mimic Explainer is gebaseerd op het idee van het trainen van globale surrogaatmodellen om ondoorzichtige modellen na te bootsen. Een wereldwijd surrogaatmodel is een intrinsiek interpreteerbaar model dat is getraind om de voorspellingen van een black-boxmodel zo nauwkeurig mogelijk te benaderen.

Gegevenswetenschappers kunnen het surrogaatmodel interpreteren om conclusies te trekken over het ondoorzichtige model. Het Responsible AI-dashboard maakt gebruik van LightGBM (LGBMExplainableModel), gekoppeld aan de SHAP (SHapley Additive exPlanations) Tree Explainer, een specifieke uitlegtool voor beslissingsbomen en ensembles van beslissingsbomen. De combinatie van LightGBM en SHAP-structuur biedt modelagnostische globale en lokale uitleg van uw machine learning-modellen.		 Modelneutraal

Ondersteunde modelinterpretabiliteitstechnieken voor tekstmodellen

Interpreteerbaarheidstechniek Beschrijving Type Teksttaak
SHAP-tekst SHAP (SHapley Additive exPlanations) is een populaire uitlegmethode voor deep neurale netwerken die inzicht bieden in de bijdrage van elke invoerfunctie aan een bepaalde voorspelling. Het is gebaseerd op het concept van Shapley-waarden, een methode voor het toewijzen van krediet aan individuele spelers in een coöperatief spel. SHAP past dit concept toe op de invoerfuncties van een neuraal netwerk door de gemiddelde bijdrage van elke functie te berekenen aan de uitvoer van het model voor alle mogelijke combinaties van functies. SHAP splitst voor tekst specifiek op een hiërarchische manier op woorden en behandelt elk woord of token als een kenmerk. Dit produceert een set toeschrijvingswaarden die het belang van elk woord of token voor de opgegeven voorspelling kwantificeren. De uiteindelijke toewijzingskaart wordt gegenereerd door deze waarden te visualiseren als een heatmap over het oorspronkelijke tekstdocument. SHAP is een modelagnostische methode en kan worden gebruikt om een breed scala aan deep learning-modellen, waaronder CNN's, RNN's en transformatoren, uit te leggen. Daarnaast biedt het verschillende wenselijke eigenschappen, zoals consistentie, nauwkeurigheid en redelijkheid, waardoor het een betrouwbare en interpreteerbare techniek is voor het begrijpen van het besluitvormingsproces van een model. Modelagnostisch Classificatie van meerdere klassen tekst, classificatie met meerdere labels voor tekst

Ondersteunde modelinterpretabiliteitstechnieken voor afbeeldingsmodellen

Interpreteerbaarheidstechniek Beschrijving Type Vision-taak
SHAP-visie SHAP (SHapley Additive exPlanations) is een populaire uitlegmethode voor deep neurale netwerken die inzicht bieden in de bijdrage van elke invoerfunctie aan een bepaalde voorspelling. Het is gebaseerd op het concept van Shapley-waarden, een methode voor het toewijzen van krediet aan individuele spelers in een coöperatief spel. SHAP past dit concept toe op de invoerfuncties van een neuraal netwerk door de gemiddelde bijdrage van elke functie te berekenen aan de uitvoer van het model voor alle mogelijke combinaties van functies. Specifiek voor visuele toepassingen splitst SHAP de afbeelding op in een hiërarchische manier, waarbij het superpixelgebieden van de afbeelding als afzonderlijke kenmerken beschouwt. Dit produceert een set toeschrijvingswaarden die het belang van elk super pixel- of afbeeldingsgebied voor de opgegeven voorspelling kwantificeren. De uiteindelijke toewijzingskaart wordt gegenereerd door deze waarden als een heatmap te visualiseren. SHAP is een modelagnostische methode en kan worden gebruikt om een breed scala aan deep learning-modellen, waaronder CNN's, RNN's en transformatoren, uit te leggen. Daarnaast biedt het verschillende wenselijke eigenschappen, zoals consistentie, nauwkeurigheid en redelijkheid, waardoor het een betrouwbare en interpreteerbare techniek is voor het begrijpen van het besluitvormingsproces van een model. Modelagnostisch Classificatie van meerdere klassen van afbeeldingen, Classificatie met meerdere labels
Begeleide backprop Guided-backprop is een populaire verklaringsmethode voor diepe neurale netwerken die inzichten verleent in de geleerde representaties van het model. Het genereert een visualisatie van de invoerfuncties die een bepaalde neuron in het model activeren door de kleurovergang van de uitvoer te berekenen met betrekking tot de invoerafbeelding. In tegenstelling tot andere methoden op basis van kleurovergangen, maakt guided-backprop alleen gebruik van positieve kleurovergangen en maakt gebruik van een gewijzigde ReLU-activeringsfunctie om ervoor te zorgen dat negatieve kleurovergangen niet van invloed zijn op de visualisatie. Dit resulteert in een beter interpreteerbare en hoge resolutie-saliencykaart die de belangrijkste functies in de invoerafbeelding voor een bepaalde voorspelling markeert. Guided-backprop kan worden gebruikt om een breed scala aan deep learning-modellen uit te leggen, waaronder convolutionele neurale netwerken (CNN's), recursieve neurale netwerken (RNN's) en transformatoren. AutoML Classificatie van meerdere klassen van afbeeldingen, Classificatie met meerdere labels
Begeleide gradCAM Begeleide GradCAM is een populaire uitlegmethode voor diepe neurale netwerken die inzicht biedt in de geleerde representaties van het model. Het maakt een visualisatie van de invoerkenmerken die het meest bijdragen aan een bepaalde uitvoerklasse, door de gradiëntgebaseerde benadering van begeleide backpropagatie te combineren met de lokalisatiebenadering van GradCAM. Het berekent specifiek de gradiënten van de uitvoerklasse met betrekking tot de kenmerkenkaarten van de laatste convolutionele laag in het netwerk, en weegt vervolgens elke kenmerkenkaart volgens het belang van de activatie voor die klasse. Dit produceert een heatmap met een hoge resolutie die de meest discriminerende regio's van de invoerafbeelding voor de opgegeven uitvoerklasse markeert. Begeleide GradCAM kan worden gebruikt om een breed scala aan deep learning-modellen uit te leggen, waaronder CNN's, RNN's en transformatoren. Daarnaast zorgt het gebruik van begeleide backpropagation ervoor dat de visualisatie zinvol en interpreteerbaar is, waardoor valse activeringen en negatieve bijdragen vermeden worden. AutoML Classificatie van meerdere klassen van afbeeldingen, Classificatie met meerdere labels
Geïntegreerde Gradienten Geïntegreerde Gradiënten is een populaire uitlegmethode voor deep neurale netwerken die inzicht biedt in de bijdrage van elk ingangskenmerk aan een bepaalde voorspelling. Het berekent de integraal van de gradiënt van de uitvoercategorie met betrekking tot de invoerafbeelding, langs een rechte weg tussen een basisafbeelding en de werkelijke invoerafbeelding. Dit pad wordt meestal gekozen als een lineaire interpolatie tussen de twee afbeeldingen, waarbij de basislijn een neutrale afbeelding is die geen opvallende functies heeft. Door het integreren van de Gradiënten langs dit pad, biedt Geïntegreerde Gradiënten een meting van hoe elk ingangskenmerk bijdraagt aan de voorspelling, zodat een attributiekaart kan worden gegenereerd. Deze kaart markeert de meest invloedrijke invoerfuncties en kan worden gebruikt om inzicht te krijgen in het besluitvormingsproces van het model. Geïntegreerde Gradienten kunnen worden gebruikt om een breed scala aan deep learning-modellen te verklaren, waaronder CNN's, RNN's en transformatoren. Daarnaast is het een theoretisch geaarde techniek die voldoet aan een set wenselijke eigenschappen, zoals gevoeligheid, implementatievariantie en volledigheid. AutoML Classificatie van meerdere klassen van afbeeldingen, Classificatie met meerdere labels
XRAI XRAI is een nieuwe op regio's gebaseerde saliencymethode op basis van Integrated Gradients (IG). Het oversegmenteert de afbeelding en test iteratief het belang van elke regio, waarbij kleinere regio's worden samengevoegd tot grotere segmenten op basis van toeschrijvingsscores. Deze strategie levert kwalitatief hoogwaardige, nauwkeurig gedefinieerde saliencyregio's op die beter presteren dan bestaande salientietechnieken. XRAI kan worden gebruikt met elk DNN-model zolang er een manier is om de invoerfuncties in segmenten te clusteren via een aantal overeenkomsten. AutoML Classificatie van meerdere klassen van afbeeldingen, Classificatie met meerdere labels
D-RISE D-RISE is een modelagnostische methode voor het maken van visuele uitleg voor de voorspellingen van objectdetectiemodellen. Door zowel de lokalisatie- als categorisatieaspecten van objectdetectie te controleren, kan D-RISE saliency-kaarten produceren die delen van een afbeelding markeren die het meest bijdragen aan de voorspelling van de detector. In tegenstelling tot methoden op basis van kleurovergangen is D-RISE algemener en heeft geen toegang nodig tot de binnenste werking van de objectdetector; het vereist alleen toegang tot de invoer en uitvoer van het model. De methode kan worden toegepast op detectoren met één fase (bijvoorbeeld YOLOv3), tweefasedetectoren (bijvoorbeeld Faster-RCNN) en Vision Transformers (bijvoorbeeld DETR, OWL-ViT).
D-Rise biedt de saliency-kaart door willekeurige maskers van de invoerafbeelding te maken en deze naar de objectdetector te verzenden met de willekeurige maskers van de invoerafbeelding. Door de wijziging van de score van de objectdetector te beoordelen, worden alle detecties samengevoegd met elk masker en wordt een uiteindelijke saliency-kaart geproduceerd.		 Modelagnostisch Objectdetectie

Volgende stappen