Sdílet prostřednictvím

Vývoj zodpovědných aplikací a funkcí umělé inteligence ve Windows

  • Článek

Tento dokument obsahuje přehled doporučených osvědčených postupů pro vývoj, které se používají při vytváření aplikací a funkcí ve Windows s generováním umělé inteligence.

Pokyny pro zodpovědný vývoj generovaných aplikací a funkcí umělé inteligence ve Windows

Každý tým ve Microsoftu se řídí základními principy a postupy pro zodpovědné sestavování a dodávání umělé inteligence, včetně Windows. Další informace o přístupu Microsoftu k zodpovědnému vývoji si můžete přečíst ve zprávě Zpráva o transparentnosti zodpovědného vývoje umělé inteligence od Microsoftu. Windows se řídí základními pilíři vývoje RAI – řízením, mapováním, měřením a správou –, což je v souladu s rámcem řízení rizik AI Národního institutu pro standardy a technologie (NIST).

Řízení – zásady, postupy a procesy

Standardy jsou základem procesů správného řízení a dodržování předpisů. Společnost Microsoft vyvinula svůj vlastní Odpovědný standard AI, včetně šesti principů, které můžete použít jako výchozí bod k vývoji vašich pokynů pro odpovědnou AI. Doporučujeme vytvořit principy AI do celého životního cyklu vývoje a také do procesů a pracovních postupů pro dodržování zákonů a předpisů v rámci ochrany osobních údajů, zabezpečení a zodpovědné umělé inteligence. cs-CZ: To zahrnuje od počátečního posouzení jednotlivých funkcí AI pomocí nástrojů, jako je kontrolní seznam spravedlnosti AI , a Pokyny pro interakci Human-AI – Microsoft Research, k monitorování a kontrole srovnávacích testů AI, testování a procesů pomocí nástrojů, jako je zodpovědné AI přehlednosti , a veřejná dokumentace k funkcím AI a omezením a zveřejnění informací o možnostech a omezeních AI a řízení uživatelů – oznámení, souhlas, shromažďování a zpracování údajů atd. – v souladu s platnými zákony o ochraně osobních údajů, regulačními požadavky a politikami.

Mapa – identifikace rizika

Mezi doporučené postupy pro identifikaci rizik patří:

Kompletní testování

Kompletní testování vyhodnocuje celý systém AI od začátku do konce, aby se zajistilo, že funguje podle očekávání a dodržuje stanovené standardy. Tento komplexní přístup může zahrnovat:

Červené seskupování

Termín červené seskupování historicky popisuje systematické nežádoucí útoky pro testování ohrožení zabezpečení. V poslední době se pojem rozšířil nad rámec tradiční kybernetické bezpečnosti a vyvinul se ve společném používání, aby popsal mnoho druhů sondování, testování a útoku na systémy AI.

S velkými jazykovými modely (LLM) i malými jazykovými modely (SLM) může neškodné i nepřátelské použití vést k potenciálně škodlivým výstupům, které mohou mít různé formy, včetně nenávistných projevů, vyvolávání nebo oslavování násilí, nebo sexuálního obsahu. Důkladné červené seskupování umožňuje zátěžově otestovat systém a upřesnit strategii obsahu, aby se snížila možnost, že váš systém způsobí škodu.

Všechny systémy AI by měly projít červeným týmovým testováním v závislosti na funkci a účelu pro systémy s vysokým rizikem, které využívají generující AI a systémy s nižším rizikem, které používají negenerující AI:

  • formální červené seskupování: Nezávislé červené seskupování by mělo být dokončeno pro všechny vysoce rizikové systémy, které využívají generování umělé inteligence pomocí rozsáhlých jazykových modelů (LLM). Formální red teaming zahrnuje nábor odborníků mimo vaši organizaci, aby se mohli účastnit těchto aktivit.

  • Interní testování : Minimálně naplánujte interní testování pro všechny systémy s nižším rizikem, které negenerují obsah AI. To můžou dělat lidé ve vaší organizaci.

Přečtěte si další informace o red teamingu a o tom, jak vyhodnotit potřeby red teamingu vašeho systému: Microsoft AI Red Team

Vyhodnocení modelu

Jako součást kompletního testování je důležité vyhodnotit samotný model.

  • karta modelu: U veřejně dostupných modelů, jako jsou modely na HuggingFace, můžete zkontrolovat kartu každého modelu jako užitečný zdroj, abyste zjistili, zda je model vhodný pro váš případ použití. Přečtěte si další informace o modelových kartách.

  • ruční testování: Lidé provádějící krok za krokem testy bez skriptů jsou důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření průběhu u malé sady prioritních problémů. Při omezování konkrétních škod je často nejproduktivnější provádět ruční kontrolu průběhu pomocí malé datové sady, dokud již není poškození pozorováno, než přejdete na automatizované měření.

    • Definování a generování sestav metrik, dokud nebude automatizované měření dostatečně spolehlivé, aby bylo možné používat samostatně.

    • Pravidelné namátkové kontroly pro měření kvality automatického měření.

  • automatizovaného testování: Automaticky spouštěné testování je také důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření ve velkém měřítku se zvýšeným pokrytím za účelem zajištění komplexnějších výsledků.

    • Průběžné měření pro sledování jakékoliv regrese v době, kdy se systém, využití a zmírnění vyvíjí.

  • Výběr modelu: Vyberte model, který je vhodný pro váš účel, a seznamte se s jeho schopnostmi, omezeními a potenciálními bezpečnostními výzvami. Při testování modelu se ujistěte, že vytváří výsledky vhodné pro vaše použití. Pro začátek, destinace pro zdroje modelu Microsoft (a modely na bázi open source) zahrnují:

Měření – posouzení rizik a zmírnění rizik

Mezi doporučené postupy patří:

  • Přiřadit Content Moderátora: Content Moderátor zkontroluje text, obrázky a videoobsah pro materiál, který je potenciálně urážlivý, rizikový nebo jinak nežádoucí. Další informace: Úvod do Content Moderatoru (školení k Microsoft Learn).

    • Použít filtry bezpečnosti obsahu: Tento soubor klasifikačních modelů s více třídami detekuje čtyři kategorie škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké). Další informace: Jak nakonfigurovat filtry obsahu pomocí služby Azure OpenAI Service.

    • Použít Meta-prompt: Meta-prompt je systémová zpráva umístěná na začátku výzvy a slouží k nasměrování modelu pomocí kontextu, pokynů nebo dalších informací, které jsou relevantní pro váš způsob použití. Tyto pokyny slouží k řízení chování modelu. Další informace: Vytváření efektivních bezpečnostních mantinelí pomocí metapromptu / přípravy systémových zpráv.

    • Využít seznam blokovaných položek: Blokuje používání určitých termínů nebo vzorů v příkazovém řádku. Další informace: Použití seznamu blokovaných položek v azure OpenAI.

    • Seznamte se s proveniencem modelu: Provenance je historie vlastnictví modelu, nebo kdo-co-kdy-kdy, a je velmi důležité pochopit. Kdo shromáždil data v modelu? Komu se data týkají? Jaký druh dat se používá? Kde se data shromáždila? Kdy se data shromáždila? Znalost toho, odkud data modelu pocházejí, vám může pomoct vyhodnotit jejich kvalitu, spolehlivost a vyhnout se jakémukoli neetickému, nespravedlivému, zkreslenému nebo nepřesnýmu použití dat.

    • Použít standardní kanál: Místo spojování částí používejte jeden kanál moderování obsahu. Další informace: Principy kanálů strojového učení.

  • aplikovatopatření UI: Poskytují uživatelům důležitou jasnost o možnostech a omezeních funkce založené na umělé inteligenci. Pokud chcete uživatelům pomoct a zajistit transparentnost funkce, můžete:

    • Povzbuďte uživatele, aby před přijetím upravovali výstupy.

    • Zvýraznění potenciálních nepřesností ve výstupech umělé inteligence

    • Zveřejnění role umělé inteligence v interakci

    • Citovat odkazy a zdroje

    • Pokud je to vhodné, omezte délku vstupu a výstupu.

    • Zadejte strukturu vstupu nebo výstupu – výzvy musí být ve standardním formátu.

    • Připravte předem určené odpovědi na problematické výzvy.

  • Implementovat smyčky zpětné vazby zákazníků: povzbuzovat uživatele, aby se aktivně zapojili do smyček zpětné vazby:

    • Požádejte o zpětnou vazbu přímo ve vaší aplikaci nebo produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu v rámci uživatelského prostředí.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

Správa – zmírnění rizik umělé inteligence

Mezi doporučení pro zmírnění rizik umělé inteligence patří:

  • Monitorování zneužití: Tato metodologie detekuje a snižuje výskyty opakovaného obsahu nebo chování, které naznačují, že služba byla použita způsobem, který může narušit pravidla chování nebo jiné platné podmínky produktu. Další informace: monitorování zneužití.

  • Postupné zavádění: Postupně zavádějte vaše řešení umělé inteligence, abyste zvládli příchozí zprávy a obavy.

  • plán reakce na incidenty: Pro každé vysoce prioritní riziko vyhodnoťte, co se stane a jak dlouho bude trvat reakce na incident a jak dlouho bude proces reakce vypadat.

  • Schopnost vypnout funkci nebo systém: Poskytněte funkci, která tuto funkci vypne, pokud dojde k incidentu nebo k incidentu, který vyžaduje pozastavení funkčnosti, aby se zabránilo dalším škodám.

  • řízení uživatelských přístupů nebo blokování: Vytvořte způsob, jak blokovat uživatele, kteří zneužijí systém.

  • zpětné vazby uživatelů: Využijte mechanismy k detekci problémů na straně uživatele.

    • Požádejte o zpětnou vazbu přímo ve vašem produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu typického pracovního postupu.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

  • zodpovědné nasazení telemetrických dat: Identifikujte, shromážděte a monitorujte signály, které indikují spokojenost uživatelů nebo jejich schopnost používat systém podle očekávání, abyste mohli dodržovat příslušné zákony, zásady a závazky týkající se ochrany osobních údajů. Pomocí telemetrických dat identifikujte mezery a vylepšete systém.

Nástroje a prostředky