Vyhodnocení řídicího panelu zodpovědné umělé inteligence
Po vygenerování řídicího panelu Zodpovědné umělé inteligence můžete prozkoumat jeho obsah v studio Azure Machine Learning a vyhodnotit model.
Když otevřete řídicí panel Zodpovědné AI, studio se ho pokusí automaticky připojit k výpočetní instanci. Výpočetní instance poskytuje potřebné výpočetní prostředky pro interaktivní zkoumání na řídicím panelu.
Výstup každé komponenty, kterou jste přidali do kanálu, se projeví na řídicím panelu. V závislosti na vybraných komponentách najdete na řídicím panelu Zodpovědné AI následující přehledy:
- Analýza chyb
- Vysvětlení
- Kontrafaktuální čítače
- Kauzální analýza
Pojďme se podívat, co můžeme zkontrolovat pro každý z těchto přehledů.
Prozkoumání analýzy chyb
Očekává se, že model provede nepravdivé předpovědi nebo chyby. Pomocí funkce analýzy chyb na řídicím panelu Zodpovědné AI můžete zkontrolovat a pochopit, jak se chyby ve vaší datové sadě distribuují. Jsou například ve vaší datové sadě konkrétní podskupiny nebo kohorty, pro které model vytváří více falešných předpovědí?
Pokud zahrnete analýzu chyb, na řídicím panelu Zodpovědné umělé inteligence můžete prozkoumat dva typy vizuálů:
- Mapa stromové struktury chyb: Umožňuje prozkoumat, která kombinace podskupin vede k vytvoření více falešných předpovědí v modelu.
- Heat mapa chyb: Představuje přehled mřížky chyb modelu ve velkém měřítku jedné nebo dvou funkcí.
Prozkoumání vysvětlení
Kdykoli použijete model pro rozhodování, chcete pochopit, jak model dosáhne určité předpovědi. Kdykoli jste vytrénovali model, který je příliš složitý na pochopení, můžete spustit vysvětlení modelů a vypočítat důležitost funkce. Jinými slovy, chcete pochopit, jak jednotlivé vstupní funkce ovlivňují predikci modelu.
Jako vysvětlení modelů můžete použít různé statistické techniky. Napodobovací vysvětlujíč nejčastěji trénuje jednoduchý interpretovatelný model na stejných datech a úlohách. V důsledku toho můžete prozkoumat dva typy důležitosti funkcí:
- Agregace důležitosti funkcí: Ukazuje, jak každá funkce v testovacích datech ovlivňuje celkové predikce modelu.
- Důležitost jednotlivých funkcí: Ukazuje, jak jednotlivé funkce ovlivňují jednotlivé předpovědi.
Prozkoumání kontrafaktuals
Vysvětlení vám můžou poskytnout přehled o relativní důležitosti funkcí předpovědí modelu. Někdy můžete chtít provést krok dále a zjistit, jestli se předpovědi modelu změní, pokud by vstup byl jiný. Pokud chcete zjistit, jak by se výstup modelu měnil na základě změny vstupu, můžete použít kontrafaktuální hodnoty.
Můžete prozkoumat kontrafaktuální příklady citlivostní analýzy výběrem datového bodu a předpovědi požadovaného modelu pro tento bod. Když vytvoříte kontrafaktuál citlivostní analýzy, otevře se na řídicím panelu panel, který vám pomůže pochopit, který vstup by mohl vést k požadované predikci.
Prozkoumání kauzální analýzy
Vysvětlení a kontrafaktuály vám pomůžou pochopit predikce modelu a účinky funkcí na predikce. I když interpretovatelnost modelu už může být cílem sama o sobě, možná budete potřebovat další informace, které vám pomůžou zlepšit rozhodování.
Kauzální analýza používá statistické techniky k odhadu průměrného účinku funkce na požadovanou predikci. Analyzuje, jak určité zásahy nebo léčba můžou vést k lepšímu výsledku v populaci nebo pro konkrétního jednotlivce.
Na řídicím panelu Zodpovědné AI jsou k dispozici tři karty, které zahrnují kauzální analýzu:
- Agregační kauzální účinky: Zobrazuje průměrné kauzální účinky pro předdefinované funkce léčby (funkce, které chcete změnit za účelem optimalizace předpovědí modelu).
- Individuální kauzální účinky: Zobrazuje jednotlivé datové body a umožňuje změnit funkce léčby a prozkoumat jejich vliv na predikci.
- Zásady léčby: Ukazuje, které části vašich datových bodů mají největší prospěch z léčby.