Sdílet prostřednictvím

Monitorování zneužití

  • Článek

Služba Azure OpenAI detekuje a snižuje výskyty opakovaného obsahu nebo chování, které navrhují použití služby způsobem, který může narušit pravidla chování nebo jiné platné podmínky produktu. Podrobnosti o způsobu zpracování dat najdete na stránce Data, Ochrana osobních údajů a Zabezpečení .

Součásti monitorování zneužití

Monitorování zneužití má několik komponent:

  • Klasifikace obsahu: Modely klasifikátoru detekují škodlivý text a/nebo obrázky v uživatelských výzev (vstupy) a dokončení (výstupy). Systém hledá kategorie škod definovaných v požadavcích na obsah a přiřazuje úrovně závažnosti, jak je popsáno podrobněji na stránce Filtrování obsahu. Signály klasifikace obsahu přispívají k detekci vzorů, jak je popsáno níže.
  • Zachycení vzoru zneužití: Systém monitorování zneužití služby Azure OpenAI sleduje vzory využití zákazníků a využívá algoritmy a heuristiky k detekci a skóre indikátorů potenciálního zneužití. Zjištěné vzory zvažují například frekvenci a závažnost, při které se v výzev a dokončení zákazníka zjistí škodlivý obsah (jak je uvedeno v signálech klasifikátoru obsahu) a také úmyslnost chování. Trendy a naléhavost zjištěného vzoru ovlivní také vyhodnocování potenciální závažnosti zneužití. Například vyšší objem škodlivého obsahu klasifikovaný jako vyšší závažnost nebo opakované chování indikující úmyslnost (například opakované pokusy o jailbreak) jsou pravděpodobnější, že obdrží vysoké skóre označující potenciální zneužití.
  • Kontrola a rozhodnutí: Výzvy a dokončení, které jsou označeny prostřednictvím klasifikace obsahu a/nebo identifikované jako součást potenciálně zneužívajícího způsobu použití, podléhají jinému procesu kontroly, který pomáhá potvrdit analýzu systému a informovat rozhodnutí o akcích. Taková kontrola se provádí dvěma metodami: hodnocením lidské a umělé inteligence.
    • Ve výchozím nastavení jsou výzvy a dokončení označeny klasifikací obsahu jako škodlivé a/nebo identifikované jako součást potenciálně zneužívajícího způsobu použití, mohou být vzorkovány pro automatizovanou kontrolu v očích pomocí LLM místo lidského revidujícího. LLM používaný pro tento účel zpracovává výzvy a dokončení pouze k potvrzení analýzy systému a informování o akcích; výzvy a dokončení, které projdou takovou kontrolou LLM, nejsou systémem uloženy ani použity k trénování LLM nebo jiných systémů.
    • V některých případech, pokud automatizované přezkoumání nesplňuje příslušné prahové hodnoty spolehlivosti v složitých kontextech nebo pokud systémy kontroly LLM nejsou k dispozici, může být zaveden proces kontroly lidského zraku, aby bylo možné provést dodatečný úsudek. To může pomoct zlepšit celkovou přesnost analýzy zneužití. Autorizovaní zaměstnanci Microsoftu mohou vyhodnotit obsah označený příznakem a buď potvrdit nebo opravit klasifikaci nebo stanovení na základě předdefinovaných pokynů a zásad. Výzvy a dokončení můžou získat přístup k lidské kontrole pouze autorizovaní zaměstnanci Microsoftu prostřednictvím pracovních stanic SAWs (Secure Access Workstations) s žádostí o schválení za běhu (JIT) udělenými vedoucími týmu. Pro prostředky služby Azure OpenAI nasazené v Evropském hospodářském prostoru se autorizovaní zaměstnanci Microsoftu nacházejí v Evropském hospodářském prostoru. Tento proces kontroly člověka nebude probíhat, pokud byl zákazník schválen k monitorování upravených zneužití.
  • Oznámení a akce: Pokud byla na základě předchozích kroků potvrzena prahová hodnota zneužívajícího chování, informuje zákazník o rozhodnutí e-mailem. S výjimkou případů závažného nebo opakovaného zneužití mají zákazníci obvykle příležitost vysvětlit nebo napravit (a implementovat mechanismy, které brání opakování) zneužívajícího chování. Selhání řešení chování nebo opakovaného nebo závažného zneužití může vést k pozastavení nebo ukončení přístupu zákazníka k prostředkům Azure OpenAI a/nebo možnostem.

Změněné monitorování zneužití

Někteří zákazníci můžou chtít použít službu Azure OpenAI pro případ použití, která zahrnuje zpracování vysoce citlivých nebo vysoce důvěrných dat, nebo jinak mohou dojít k závěru, že nechtějí nebo nemají právo microsoftu ukládat a provádět lidské kontroly na jejich výzvách a dokončování k detekci zneužití. Společnost Microsoft umožňuje zákazníkům, kteří splňují další kritéria způsobilosti pro omezený přístup, aby se na úpravu monitorování zneužití použili vyplněním tohoto formuláře. Přečtěte si další informace o použití monitorování upravených zneužití v omezeném přístupu ke službě Azure OpenAI a o dopadu monitorování upravených zneužití na zpracování dat v datech, ochraně osobních údajů a zabezpečení pro službu Azure OpenAI.

Poznámka:

Pokud je monitorování zneužití změněno a neprovádí se kontrola lidí, může být detekce potenciálního zneužití méně přesná. Zákazníci budou upozorněni na potenciální detekci zneužití, jak je popsáno výše, a měli by být připraveni reagovat na takové oznámení, aby se v případě potřeby zabránilo přerušení služeb.

Další kroky