Řízení AI – proces řízení AI

Tento článek popisuje organizační proces pro řízení AI. Řídí se playbookem NIST Artificial Intelligence Risk Management Framework (AI RMF) a NIST AI RMF. Je také v souladu s architekturou v rámci řízení CAF.

Cílem těchto pokynů je pomoct integrovat řízení rizik umělé inteligence do širších strategií řízení rizik. Tato integrace poskytuje ucelenější zacházení s riziky umělé inteligence, kybernetické bezpečnosti a ochrany osobních údajů pro jednotný přístup k zásadám správného řízení.

Posouzení rizik organizace AI

Posouzení rizik umělé inteligence identifikuje a řeší potenciální rizika zaváděná technologiemi umělé inteligence. Tento proces vytváří důvěru v systémy AI a snižuje nezamýšlené důsledky. Řešení rizik organizace zajišťuje, že nasazení umělé inteligence odpovídají hodnotám organizace, toleranci rizik a provozním cílům.

• Seznamte se s úlohami AI. Pokud chcete zmírnit rizika umělé inteligence, musíte porozumět úlohám umělé inteligence. Vysvětlením rozsahu a účelu jednotlivých úloh umělé inteligence můžete mapovat související rizika. Toto objasnění by mělo zahrnovat všechny předpoklady a omezení související s úlohou AI.

• Pomocí principů zodpovědné umělé inteligence identifikujte rizika. Tyto principy poskytují rámec pro posuzování rizik umělé inteligence. Následující tabulka vám umožní identifikovat a zmírnit rizika prostřednictvím strukturovaného posouzení principů AI.

  Princip zodpovědné umělé inteligence	Definice	Otázka týkající se posouzení rizik
  Ochrana osobních údajů a zabezpečení AI	Úlohy umělé inteligence by měly respektovat ochranu osobních údajů a být zabezpečené.	Jak můžou úlohy umělé inteligence zpracovávat citlivá data nebo se stát ohroženými porušeními zabezpečení?
  Spolehlivost a bezpečnost	Úlohy umělé inteligence by měly bezpečně a spolehlivě provádět.	V jakých situacích by mohly úlohy AI fungovat bezpečně nebo vést k nespolehlivých výsledkům?
  Spravedlnost	Úlohy AI by měly zacházet s lidmi rovnoměrně.	Jak by mohly úlohy umělé inteligence vést k nerovnému zacházení nebo neúmyslnému předsudku při rozhodování?
  Inkluzivnost	Úlohy umělé inteligence by měly být inkluzivní a podporující.	Jak mohou být některé skupiny vyloučené nebo nevýhodné při návrhu nebo nasazení úloh umělé inteligence?
  Transparency	Úlohy umělé inteligence by měly být srozumitelné.	Jaké aspekty rozhodování umělé inteligence můžou být pro uživatele obtížné pochopit nebo vysvětlit?
  Odpovědnost	Lidé by měli být zodpovědní za úlohy umělé inteligence.	Kde by mohla být odpovědnost nejasná nebo obtížná při vývoji nebo používání umělé inteligence?

• Identifikace rizik umělé inteligence Začněte vyhodnocením bezpečnostních rizik úloh umělé inteligence, včetně potenciálních porušení zabezpečení dat, neoprávněného přístupu nebo zneužití. Obraťte se na zúčastněné strany, aby odhalily méně viditelná rizika a posoudily kvalitativní i kvantitativní dopady, včetně rizik reputace, a určete odolnost organizace vůči rizikům.

• Identifikujte rizika z externích závislostí. Posouzení rizik souvisejících se zdroji dat, softwarem a integracemi třetích stran Vyřešte problémy, jako jsou ohrožení zabezpečení, předsudky a rizika duševního vlastnictví, vytvořením zásad, které zajišťují soulad se standardy ochrany osobních údajů a dodržování předpisů organizace.

• Posouzení rizik integrace Vyhodnocení úloh AI se integruje s existujícími úlohami a procesy. Zdokumentujte potenciální rizika, například závislost na jiných úlohách, zvýšenou složitost nebo nekompatibilitu, která by mohla ovlivnit funkčnost.

Dokumentovat zásady správného řízení AI

Zásady správného řízení AI poskytují strukturovanou architekturu pro zodpovědné využití AI. Tyto zásady jsou v souladu s etickými standardy, zákonnými požadavky a obchodními cíli. Dokumentace zásad zajišťuje jasné pokyny pro správu modelů, dat a operací AI.

Oblast zásad správného řízení AI	Doporučení zásad správného řízení AI
Definování zásad pro výběr a onboarding modelů	▪ Vytvořte zásady pro výběr modelů AI. Zásady by měly nastínit kritéria pro výběr modelů, které splňují hodnoty organizace, možnosti a omezení nákladů. Projděte si potenciální modely pro sladění s odolností rizik a zamýšlenými požadavky na úkoly. ▪ Onboarding nových modelů se strukturovanými zásadami Formální proces při onboardingu modelu udržuje konzistenci v odůvodnění modelu, ověření a schválení. Použijte prostředí sandboxu pro počáteční experimenty a pak ověřte a zkontrolujte modely v produkčním katalogu, abyste se vyhnuli duplikaci.
Definování zásad pro používání nástrojů a dat třetích stran	▪ Nastavte ovládací prvky pro nástroje třetích stran. Proces prověřování nástrojů třetích stran chrání před riziky zabezpečení, dodržování předpisů a sladění. Zásady by měly zahrnovat pokyny pro ochranu osobních údajů, zabezpečení a etické standardy při používání externích datových sad. ▪ Definujte standardy citlivosti dat. Zachování citlivých a veřejných dat je nezbytné pro zmírnění rizik umělé inteligence. Vytvářejte zásady týkající se zpracování a oddělení dat. ▪ Definujte standardy kvality dat. "Zlatá datová sada" poskytuje spolehlivý srovnávací test pro testování a vyhodnocení modelu AI. Vytvořte jasné zásady pro konzistenci a kvalitu dat, abyste zajistili vysoký výkon a důvěryhodné výstupy.
Definování zásad pro údržbu a monitorování modelů	▪ Zadejte frekvenci přeučování podle případu použití. Časté přetrénování podporuje přesnost u vysoce rizikových úloh umělé inteligence. Definujte pokyny, které berou v úvahu případ použití a úroveň rizika každého modelu, zejména pro odvětví, jako je zdravotnictví a finance. ▪ Monitorujte snížení výkonu. Monitorování výkonu modelu v průběhu času pomáhá odhalit problémy, než ovlivní výsledky. Zdokumentujte srovnávací testy a pokud se výkon modelu sníží, zahajte proces opětovného trénování nebo kontroly.
Definování zásad pro dodržování právních předpisů	▪ V souladu s regionálními právními požadavky. Pochopení regionálních zákonů zajišťuje, že provoz umělé inteligence zůstává v souladu s různými umístěními. Výzkum použitelných předpisů pro každou oblast nasazení, jako jsou zákony na ochranu osobních údajů o ochraně osobních údajů, etické standardy a oborové předpisy. ▪ Vyvíjejte zásady specifické pro jednotlivé oblasti. Přizpůsobení zásad AI regionálním aspektům podporuje dodržování místních standardů. Mezi zásady můžou patřit podpora jazyků, protokoly úložiště dat a kulturní adaptace. ▪ Přizpůsobte AI pro regionální variabilitu. Flexibilita úloh umělé inteligence umožňuje úpravy funkcí specifických pro umístění. U globálních operací dokumentují přizpůsobení specifická pro jednotlivé oblasti, jako jsou lokalizovaná trénovací data a omezení funkcí.
Definování zásad pro chování uživatelů	▪ Definujte strategie zmírnění rizik pro zneužití. Zásady prevence zneužití pomáhají chránit před úmyslnými nebo neúmyslnými škodami. Nastínit možné scénáře zneužití a začlenit ovládací prvky, jako jsou omezené funkce nebo funkce detekce zneužití. ▪ Nastavte pokyny pro chování uživatelů. Smlouvy uživatelů vysvětlují přijatelné chování při interakci s úlohou AI, což snižuje riziko zneužití. Koncept jasných podmínek použití ke komunikaci standardů a podpoře zodpovědné interakce S AI
Definování zásad pro integraci a nahrazení AI	▪ Zásady integrace osnovy Pokyny pro integraci zajišťují, aby úlohy umělé inteligence udržovaly integritu dat a zabezpečení při vzájemném propojení úloh. Zadejte technické požadavky, protokoly pro sdílení dat a bezpečnostní opatření. ▪ Naplánujte přechod a nahrazení. Zásady přechodu poskytují strukturu při nahrazení starých procesů úlohami AI. Kroky osnovy pro postupné vyřazení starších procesů, pracovníků školení a monitorování výkonu v rámci této změny

Vynucení zásad správného řízení AI

Vynucení zásad správného řízení AI zajišťuje konzistentní a etické postupy AI v rámci organizace. Automatizované nástroje a ruční zásahy podporují dodržování zásad napříč nasazeními. Správné vynucování pomáhá udržovat dodržování předpisů a minimalizovat lidské chyby.

• Automatizace vynucování zásad, pokud je to možné , použijte platformy, jako jsou Azure Policy a Microsoft Purview, k automatickému vynucování zásad napříč nasazeními AI, což snižuje lidské chyby. Pravidelně vyhodnocujte oblasti, kde automatizace může zlepšit dodržování zásad.

• Ručně vynucujte zásady AI. Poskytněte zaměstnancům školení týkajícím se rizik a dodržování předpisů AI, abyste zajistili, že pochopí svou roli v zásadách správného řízení AI. Pravidelné workshopy udržují zaměstnance aktualizované o zásadách umělé inteligence a pravidelné audity pomáhají sledovat dodržování a identifikovat oblasti pro zlepšení.

• Využijte pokyny k zásadám správného řízení pro konkrétní úlohy. Podrobné pokyny k zabezpečení jsou k dispozici pro úlohy AI ve službách platformy Azure (PaaS) a infrastruktuře Azure (IaaS). Pomocí těchto doprovodných materiálů můžete řídit modely, prostředky a data umělé inteligence v rámci těchto typů úloh.

  Zásady správného řízení pro platformy Azure (PaaS)

  Zásady správného řízení pro infrastrukturu Azure (IaaS)

Monitorování rizik organizace AI

Monitorování rizik umělé inteligence umožňuje organizacím identifikovat vznikající rizika a okamžitě je řešit. Pravidelné hodnocení zajišťují, aby úlohy umělé inteligence fungovaly podle očekávání. Konzistentní monitorování pomáhá organizacím přizpůsobit se vyvíjejícím se podmínkám a zabránit negativním dopadům ze systémů AI.

• Stanovit postupy pro průběžné hodnocení rizik. Nastavte pravidelné kontroly pro identifikaci nových rizik a zapojení zúčastněných stran k posouzení širších dopadů umělé inteligence. Vytvořte plán reakce na problémy, které vznikají, aby bylo možné znovu posoudit rizika a provést nezbytné úpravy.

• Vytvořte plán měření. Jasný plán měření zajišťuje konzistentní shromažďování a analýzu dat. Definujte metody shromažďování dat, jako je automatizované protokolování pro provozní metriky a průzkumy pro kvalitativní zpětnou vazbu. Stanovte frekvenci a rozsah měření, zaměřte se na vysoce rizikové oblasti a vytvořte smyčky zpětné vazby pro upřesnění posouzení rizik na základě vstupu účastníka.

• Kvantifikujte a opravujte rizika umělé inteligence. Zvolte kvantitativní metriky (míry chyb, přesnost) a kvalitativní ukazatele (zpětná vazba uživatelů, etické aspekty), které odpovídají účelu úlohy. Proveďte srovnávací testy výkonu s využitím oborových standardů, abyste mohli sledovat dopady, důvěryhodnost a výkon umělé inteligence.

• Zdokumentování a hlášení výsledků měření Běžná dokumentace a sestavy zvyšují transparentnost a odpovědnost. Vytvářejte standardizované sestavy, které shrnují metriky, zjištění a všechny anomálie, které vás provedou rozhodováním. Tyto přehledy můžete sdílet se zúčastněnými stranami a využít je ke zlepšení strategií zmírnění rizik a zlepšení budoucích nasazení.

• Vytvořte nezávislé procesy kontroly. Pravidelné nezávislé kontroly poskytují objektivní posouzení rizik umělé inteligence a dodržování předpisů pomocí externích nebo nepovolených interních kontrolorů. Pomocí zjištění můžete posílit posouzení rizik a upřesnit zásady správného řízení.

Další krok

Správa AI

Příklady zmírnění rizik umělé inteligence

Následující tabulka uvádí několik běžných rizik umělé inteligence a poskytuje strategii pro zmírnění rizik a ukázkovou zásadu pro každou z nich. Tabulka neobsahuje úplnou sadu rizik.

ID rizika	Riziko umělé inteligence	Zmírnění	Zásady
R001	Nedodržení zákonů o ochraně dat	Pomocí Microsoft Purview Compliance Manageru vyhodnoťte dodržování předpisů dat.	Aby byl veškerý vývoj a nasazení umělé inteligence v souladu se zákony o ochraně dat, musí být implementovaný životní cyklus vývoje zabezpečení.
R005	Nedostatek transparentnosti při rozhodování o umělé inteligenci	Použití standardizované architektury a jazyka ke zlepšení transparentnosti procesů AI a rozhodování.	Musí být přijata architektura pro správu rizik NIST AI a všechny modely AI musí být důkladně zdokumentované, aby se zachovala transparentnost všech modelů AI.
R006	Nepřesné předpovědi	Pomocí služby Azure API Management můžete sledovat metriky modelu AI, abyste zajistili přesnost a spolehlivost.	K zajištění přesnosti předpovědí modelu AI je potřeba použít nepřetržité monitorování výkonu a zpětnou vazbu člověka.
R007	Nežádoucí útok	Pomocí PyRIT otestujte úlohy AI na ohrožení zabezpečení a posílit ochranu.	K zabezpečení úloh umělé inteligence proti nežádoucím útokům je potřeba použít testování červeného týmu a životního cyklu vývoje zabezpečení a umělé inteligence.
R008	Vnitřní hrozby	Pomocí MICROSOFT Entra ID vynucujte přísné řízení přístupu, které jsou založené na rolích a členství ve skupinách, aby se omezil přístup insiderů k citlivým datům.	K zmírnění vnitřních hrozeb se musí použít striktní správa identit a přístupu a průběžné monitorování.
R009	Neočekávané náklady	Využijte Microsoft Cost Management ke sledování využití procesoru, GPU, paměti a úložiště, abyste zajistili efektivní využití prostředků a zabránili špičkám nákladů.	Ke správě neočekávaných nákladů je potřeba použít monitorování a optimalizaci využití prostředků a automatizované zjišťování přetečení nákladů.
R010	Nedostatečné využití prostředků AI	Monitorujte metriky služby AI, jako jsou frekvence požadavků a doby odezvy, a optimalizujte využití.	Metriky výkonu a automatizovaná škálovatelnost se musí použít k optimalizaci využití prostředků AI.