Jak nakonfigurovat filtry obsahu pomocí služby Azure OpenAI
Systém filtrování obsahu integrovaný do služby Azure OpenAI běží společně s základními modely, včetně modelů generování imagí DALL-E. Používá soubor klasifikačních modelů s více třídami k detekci čtyř kategorií škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké) a volitelných binárních klasifikátorů pro detekci rizika jailbreaku, stávajícího textu a kódu ve veřejných úložištích. Výchozí konfigurace filtrování obsahu je nastavená tak, aby se filtrovalo na střední prahovou hodnotu závažnosti pro všechny čtyři kategorie škodlivého obsahu pro výzvy i dokončení. To znamená, že obsah, který je zjištěn na střední nebo vysoké úrovni závažnosti, je filtrován, zatímco obsah zjištěný na úrovni závažnosti nízké nebo bezpečné filtry obsahu nefiltrují. Další informace o kategoriích obsahu, úrovních závažnosti a chování systému filtrování obsahu najdete tady. Detekce rizik jailbreaku a chráněné modely textu a kódu jsou ve výchozím nastavení volitelné a vypnuté. Funkce konfigurovatelnosti umožňuje všem zákazníkům zapnout a vypnout modely s jailbreakem a chráněným textem a kódem. Modely jsou ve výchozím nastavení vypnuté a dají se zapnout podle vašeho scénáře. Některé modely musí být zapnuté pro určité scénáře, aby se zachovalo pokrytí v rámci závazku pro autorská práva zákazníka.
Poznámka:
Všichni zákazníci mají možnost upravit filtry obsahu a nakonfigurovat prahové hodnoty závažnosti (nízká, střední, vysoká). Schválení se vyžaduje pro částečné nebo úplné vypnutí filtrů obsahu. Pouze spravovaní zákazníci můžou požádat o úplné řízení filtrování obsahu prostřednictvím tohoto formuláře Kontrola omezeného přístupu Azure OpenAI: Upravené filtry obsahu. V tuto chvíli není možné se stát spravovaným zákazníkem.
Filtry obsahu je možné nakonfigurovat na úrovni prostředku. Po vytvoření nové konfigurace je možné ji přidružit k jednomu nebo několika nasazením. Další informace o nasazení modelu najdete v tématu Průvodce nasazením prostředku.
Požadavky
- Abyste mohli nakonfigurovat filtry obsahu, musíte mít prostředek Azure OpenAI a nasazení velkého jazykového modelu (LLM). Začněte podle rychlého startu .
Vysvětlení konfigurovatelnosti filtru obsahu
Služba Azure OpenAI zahrnuje výchozí nastavení zabezpečení použitá pro všechny modely s výjimkou Azure OpenAI Whisper. Tyto konfigurace poskytují ve výchozím nastavení zodpovědné prostředí, včetně modelů filtrování obsahu, seznamů blokovaných položek, transformace výzvy, přihlašovacích údajů k obsahu a dalších. Přečtěte si další informace o tom tady.
Všichni zákazníci můžou také nakonfigurovat filtry obsahu a vytvořit vlastní zásady zabezpečení, které jsou přizpůsobené požadavkům na případy použití. Funkce konfigurovatelnosti umožňuje zákazníkům upravit nastavení samostatně pro výzvy a dokončení a filtrovat obsah pro každou kategorii obsahu na různých úrovních závažnosti, jak je popsáno v následující tabulce. Obsah zjištěný na úrovni "bezpečné" závažnosti je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.
| Filtrovaná závažnost | Konfigurovatelné pro výzvy | Konfigurovatelné pro dokončení | Popisy |
|---|---|---|---|
| Nízká, střední, vysoká | Ano | Yes | Nejtěsnější konfigurace filtrování. Obsah zjištěný na úrovních závažnosti je nízký, střední a vysoký filtr. |
| Střední, vysoká | Ano | Yes | Obsah zjištěný na úrovni závažnosti není filtrovaný, obsah na střední a vysoké úrovni se filtruje. |
| Vysoká | Ano | Yes | Obsah zjištěný na úrovních závažnosti nízký a střední není filtrovaný. Filtruje se pouze obsah na úrovni závažnosti. |
| Žádné filtry | Pokud schváleno1 | Pokud schváleno1 | Žádný obsah se nefiltruje bez ohledu na zjištěnou úroveň závažnosti. Vyžaduje schválení1. |
| Pouze přidávání poznámek | Pokud schváleno1 | Pokud schváleno1 | Zakáže funkci filtru, takže obsah nebude blokovaný, ale prostřednictvím odpovědi rozhraní API se vrátí poznámky. Vyžaduje schválení1. |
1 Pro modely Azure OpenAI mají plnou kontrolu nad filtrováním obsahu jenom zákazníci, kteří byli schváleni pro filtrování upraveného obsahu, a můžou vypnout filtry obsahu. Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure OpenAI Limited Access Review: Upravené filtry obsahu. Pro zákazníky Azure Government platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure Government – Vyžádání upraveného filtrování obsahu pro službu Azure OpenAI.
Konfigurovatelné filtry obsahu pro vstupy (výzvy) a výstupy (dokončení) jsou k dispozici pro následující modely Azure OpenAI:
- Řada modelů GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 a 3
Konfigurovatelné filtry obsahu nejsou k dispozici pro
- o1-preview
- o1-mini
*Dostupná pouze pro GPT-4 Turbo Vision GA, nevztahuje se na GPT-4 Turbo Vision Preview.
Konfigurace filtrování obsahu se vytvářejí v rámci prostředku v Azure AI Studiu a dají se přidružit k nasazením. Další informace o možnosti konfigurace najdete tady.
Zákazníci zodpovídají za zajištění toho, aby aplikace integrující Azure OpenAI dodržovaly pravidla chování.
Vysvětlení dalších filtrů
Kromě výchozíchfiltrůch
| Kategorie filtru | Stav | Výchozí nastavení | Používá se k zobrazení výzvy nebo dokončení? | Popis |
|---|---|---|---|---|
| Vyzvání štítů k přímým útokům (jailbreak) | GA | Zapnout | Výzva uživatele | Filtry / anotuje výzvy uživatelů, které můžou představovat riziko jailbreaku. Další informace o anotacích najdete v tématu Filtrování obsahu služby Azure OpenAI. |
| Vyzvání štítů k nepřímým útokům | GA | Zapnout | Výzva uživatele | Filtrování nebo přidávání poznámek k nepřímým útokům, označovaným také jako útoky nepřímých výzev nebo útoků prostřednictvím injektáže mezi doménovými výzvami, což je potenciální ohrožení zabezpečení, kde třetí strany umístí škodlivé instrukce do dokumentů, ke kterým může systém generující umělé inteligence přistupovat a zpracovávat je. Povinné: Formátování dokumentu. |
| Chráněný materiál – kód | GA | Zapnout | Dokončení | Filtruje chráněný kód nebo získá ukázkové citace a informace o licencích v poznámkách pro fragmenty kódu, které odpovídají jakýmkoli veřejným zdrojům kódu využívajícím GitHub Copilot. Další informace o používání poznámek najdete v průvodci koncepty filtrování obsahu. |
| Chráněný materiál – text | GA | Zapnout | Dokončení | Identifikuje a blokuje zobrazení známého textového obsahu ve výstupu modelu (například text skladby, recepty a vybraný webový obsah). |
| Uzemnění* | Preview | Vypnout | Dokončení | Zjistí, jestli jsou textové odpovědi velkých jazykových modelů (LLM) uzemněny ve zdrojových materiálech poskytovaných uživateli. Neuzemněnost odkazuje na případy, kdy LLM vytváří informace, které nejsou faktické nebo nepřesné z toho, co bylo přítomno ve zdrojových materiálech. |
*Vyžaduje vložení dokumentů do výzvy. Další informace.
Konfigurace filtrů obsahu pomocí nástroje Azure AI Studio
Následující kroky ukazují, jak nastavit vlastní konfiguraci filtrování obsahu pro prostředek Azure OpenAI v AI Studiu. Další informace o filtrování obsahu v projektu Azure AI Studio najdete v tématu Filtrování obsahu Azure AI Studio.
Přejděte do Azure AI Studia a v nabídce vlevo přejděte na stránku Zabezpečení a zabezpečení .
Přejděte na kartu Filtry obsahu a vytvořte novou vlastní konfiguraci filtrování obsahu.
To vede k následujícímu zobrazení konfigurace, kde můžete zvolit název konfigurace vlastního filtrování obsahu. Po zadání názvu můžete nakonfigurovat vstupní filtry (pro výzvy uživatele) a výstupní filtry (pro dokončení modelu).
Pro první čtyři kategorie obsahu existují tři úrovně závažnosti, které jsou konfigurovatelné: Nízká, střední a vysoká. Pomocí posuvníků můžete nastavit prahovou hodnotu závažnosti, pokud zjistíte, že vaše aplikace nebo scénář použití vyžaduje jiné filtrování než výchozí hodnoty.
Některé filtry, například Prompt Shields a Protected Material Detection, umožňují určit, jestli má model a/nebo blokovat obsah. Výběrem možnosti Přidat poznámky se spustí pouze příslušný model a vrátí se poznámky prostřednictvím odpovědi rozhraní API, ale nebude filtrovat obsah. Kromě poznámek můžete také blokovat obsah.
Pokud byl váš případ použití schválen pro upravené filtry obsahu, získáte úplnou kontrolu nad konfigurací filtrování obsahu a můžete se rozhodnout, že filtrování částečně nebo úplně vypnete, nebo povolíte přidávání poznámek jenom pro kategorie poškození obsahu (násilí, nenávist, sexuální a sebepoškozování).
Podle vašich požadavků můžete vytvořit několik konfigurací filtrování obsahu.
Pokud chcete použít vlastní konfiguraci filtrování obsahu, přiřaďte ji k jednomu nebo několika nasazením ve vašem prostředku. Uděláte to tak, že přejdete na kartu Nasazení a vyberete nasazení. Pak vyberte Edit (Upravit).
V zobrazeném okně nasazení aktualizace vyberte vlastní filtr z rozevírací nabídky Filtr obsahu. Pak vyberte Uložit a zavřít a použijte vybranou konfiguraci pro nasazení.
V případě potřeby můžete také upravit a odstranit konfiguraci filtru obsahu.
Před odstraněním konfigurace filtrování obsahu budete muset zrušit přiřazení a nahradit ji z jakéhokoli nasazení na kartě Nasazení .
Zpětná vazba k filtrování obsahu sestavy
Pokud dochází k problému s filtrováním obsahu, vyberte v horní části hřiště tlačítko Odeslat názor . Tato možnost je povolená v dětském hřišti Obrázky, Chat a Dokončení .
Po zobrazení dialogového okna vyberte příslušný problém s filtrováním obsahu. Uveďte co nejvíce podrobností týkající se vašeho problému s filtrováním obsahu, například konkrétní výzvu a chybu filtrování obsahu, se kterou jste narazili. Nezahrnujte žádné soukromé ani citlivé informace.
Pokud potřebujete podporu, odešlete lístek podpory.
Dodržujte osvědčené postupy.
Doporučujeme informovat vaše rozhodnutí o konfiguraci filtrování obsahu prostřednictvím iterativní identifikace (například červeného týmového testování, zátěžového testování a analýzy) a procesu měření, který řeší potenciální škody, které jsou relevantní pro konkrétní model, aplikaci a nasazení. Po implementaci zmírnění rizik, jako je filtrování obsahu, opakujte měření a otestujte efektivitu. Doporučení a osvědčené postupy pro zodpovědnou AI pro Azure OpenAI, které jsou zakotveny v standardu Microsoft Responsible AI, najdete v přehledu zodpovědné umělé inteligence pro Azure OpenAI.
Související obsah
- Přečtěte si další informace o postupech zodpovědné umělé inteligence pro Azure OpenAI: Přehled zodpovědných postupů AI pro modely Azure OpenAI.
- Přečtěte si další informace o kategoriích filtrování obsahu a úrovních závažnosti pomocí služby Azure OpenAI.
- Přečtěte si další informace o červeném seskupování z našeho článku: Úvod do červeného seskupování velkých jazykových modelů (LLMs).