Jak nakonfigurovat filtry obsahu pomocí Azure AI Foundry
Systém filtrování obsahu integrovaný do Azure AI Foundry běží společně s základními modely, včetně modelů generování imagí DALL-E. Používá soubor klasifikačních modelů s více třídami k detekci čtyř kategorií škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké) a volitelných binárních klasifikátorů pro detekci rizika jailbreaku, stávajícího textu a kódu ve veřejných úložištích.
Výchozí konfigurace filtrování obsahu je nastavená tak, aby se filtrovalo na střední prahovou hodnotu závažnosti pro všechny čtyři kategorie škodlivého obsahu pro výzvy i dokončení. To znamená, že obsah, který je zjištěn na střední nebo vysoké úrovni závažnosti, je filtrován, zatímco obsah zjištěný na úrovni závažnosti nízké nebo bezpečné filtry obsahu nefiltrují. Další informace o kategoriích obsahu, úrovních závažnosti a chování systému filtrování obsahu najdete tady.
Detekce rizik jailbreaku a chráněné modely textu a kódu jsou ve výchozím nastavení volitelné a zapnuté. Funkce konfigurovatelnosti umožňuje všem zákazníkům zapnout a vypnout modely s jailbreakem a chráněným textem a kódem. Modely jsou ve výchozím nastavení zapnuté a dají se podle vašeho scénáře vypnout. Některé modely musí být zapnuté pro určité scénáře, aby se zachovalo pokrytí v rámci závazku pro autorská práva zákazníka.
Poznámka:
Všichni zákazníci mají možnost upravit filtry obsahu a nakonfigurovat prahové hodnoty závažnosti (nízká, střední, vysoká). Schválení se vyžaduje pro částečné nebo úplné vypnutí filtrů obsahu. Pouze spravovaní zákazníci můžou požádat o úplné řízení filtrování obsahu prostřednictvím tohoto formuláře Kontrola omezeného přístupu Azure OpenAI: Upravené filtry obsahu. V tuto chvíli není možné se stát spravovaným zákazníkem.
Filtry obsahu je možné nakonfigurovat na úrovni prostředku. Po vytvoření nové konfigurace je možné ji přidružit k jednomu nebo několika nasazením. Další informace o nasazení modelu najdete v tématu Průvodce nasazením prostředku.
Požadavky
- Abyste mohli nakonfigurovat filtry obsahu, musíte mít prostředek Azure OpenAI a nasazení velkého jazykového modelu (LLM). Začněte podle rychlého startu .
Vysvětlení konfigurovatelnosti filtru obsahu
Služba Azure OpenAI zahrnuje výchozí nastavení zabezpečení použitá pro všechny modely s výjimkou Azure OpenAI Whisper. Tyto konfigurace poskytují ve výchozím nastavení zodpovědné prostředí, včetně modelů filtrování obsahu, seznamů blokovaných položek, transformace výzvy, přihlašovacích údajů k obsahu a dalších. Přečtěte si další informace o tom tady.
Všichni zákazníci můžou také nakonfigurovat filtry obsahu a vytvořit vlastní zásady zabezpečení, které jsou přizpůsobené požadavkům na případy použití. Funkce konfigurovatelnosti umožňuje zákazníkům upravit nastavení samostatně pro výzvy a dokončení a filtrovat obsah pro každou kategorii obsahu na různých úrovních závažnosti, jak je popsáno v následující tabulce. Obsah zjištěný na úrovni "bezpečné" závažnosti je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.
| Filtrovaná závažnost | Konfigurovatelné pro výzvy | Konfigurovatelné pro dokončení | Popisy |
|---|---|---|---|
| Nízká, střední, vysoká | Ano | Yes | Nejtěsnější konfigurace filtrování. Obsah zjištěný na úrovních závažnosti je nízký, střední a vysoký filtr. |
| Střední, vysoká | Ano | Yes | Obsah zjištěný na úrovni závažnosti není filtrovaný, obsah na střední a vysoké úrovni se filtruje. |
| Vysoká | Ano | Yes | Obsah zjištěný na úrovních závažnosti nízký a střední není filtrovaný. Filtruje se pouze obsah na úrovni závažnosti. |
| Žádné filtry | Pokud schváleno1 | Pokud schváleno1 | Žádný obsah se nefiltruje bez ohledu na zjištěnou úroveň závažnosti. Vyžaduje schválení1. |
| Pouze přidávání poznámek | Pokud schváleno1 | Pokud schváleno1 | Zakáže funkci filtru, takže obsah nebude blokovaný, ale prostřednictvím odpovědi rozhraní API se vrátí poznámky. Vyžaduje schválení1. |
1 Pro modely Azure OpenAI mají plnou kontrolu nad filtrováním obsahu jenom zákazníci, kteří byli schváleni pro filtrování upraveného obsahu, a můžou vypnout filtry obsahu. Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure OpenAI Limited Access Review: Upravené filtry obsahu. Pro zákazníky Azure Government platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure Government – Vyžádání upraveného filtrování obsahu pro službu Azure OpenAI.
Konfigurovatelné filtry obsahu pro vstupy (výzvy) a výstupy (dokončení) jsou k dispozici pro následující modely Azure OpenAI:
- Řada modelů GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 a 3
Konfigurovatelné filtry obsahu nejsou k dispozici pro
- o1-preview
- o1-mini
*Dostupná pouze pro GPT-4 Turbo Vision GA, nevztahuje se na GPT-4 Turbo Vision Preview.
Konfigurace filtrování obsahu se vytvářejí v rámci prostředku na portálu Azure AI Foundry a dají se přidružit k nasazením. Další informace o možnosti konfigurace najdete tady.
Zákazníci zodpovídají za zajištění toho, aby aplikace integrující Azure OpenAI dodržovaly pravidla chování.
Vysvětlení dalších filtrů
Kromě výchozíchfiltrůch
| Kategorie filtru | Stav | Výchozí nastavení | Používá se k zobrazení výzvy nebo dokončení? | Popis |
|---|---|---|---|---|
| Vyzvání štítů k přímým útokům (jailbreak) | GA | Zapnout | Výzva uživatele | Filtry / anotuje výzvy uživatelů, které můžou představovat riziko jailbreaku. Další informace o anotacích najdete v tématu Filtrování obsahu Azure AI Foundry. |
| Vyzvání štítů k nepřímým útokům | GA | Vypnout | Výzva uživatele | Filtrování nebo přidávání poznámek k nepřímým útokům, označovaným také jako útoky nepřímých výzev nebo útoků prostřednictvím injektáže mezi doménovými výzvami, což je potenciální ohrožení zabezpečení, kde třetí strany umístí škodlivé instrukce do dokumentů, ke kterým může systém generující umělé inteligence přistupovat a zpracovávat je. Vyžaduje: vkládání a formátování dokumentu. |
| Chráněný materiál – kód | GA | Zapnout | Dokončení | Filtruje chráněný kód nebo získá ukázkové citace a informace o licencích v poznámkách pro fragmenty kódu, které odpovídají jakýmkoli veřejným zdrojům kódu využívajícím GitHub Copilot. Další informace o používání poznámek najdete v průvodci koncepty filtrování obsahu. |
| Chráněný materiál – text | GA | Zapnout | Dokončení | Identifikuje a blokuje zobrazení známého textového obsahu ve výstupu modelu (například text skladby, recepty a vybraný webový obsah). |
| Uzemnění* | Preview | Vypnout | Dokončení | Zjistí, jestli jsou textové odpovědi velkých jazykových modelů (LLM) uzemněny ve zdrojových materiálech poskytovaných uživateli. Neuzemněnost odkazuje na případy, kdy LLM vytváří informace, které nejsou faktické nebo nepřesné z toho, co bylo přítomno ve zdrojových materiálech. Vyžaduje: vkládání a formátování dokumentu. |
Vytvoření filtru obsahu v Azure AI Foundry
Pro jakékoli nasazení modelu v Azure AI Foundry můžete přímo použít výchozí filtr obsahu, ale možná budete chtít mít větší kontrolu. Můžete například nastavit přísnější nebo lenientnější filtr nebo povolit pokročilejší funkce, jako jsou stínění výzvy a detekce chráněných materiálů.
Tip
Další informace o filtrování obsahu v projektu Azure AI Foundry najdete v tématu Filtrování obsahu Azure AI Foundry.
Pokud chcete vytvořit filtr obsahu, postupujte takto:
Přejděte do Azure AI Foundry a přejděte do svého projektu. Pak v nabídce vlevo vyberte stránku Zabezpečení a zabezpečení a vyberte kartu Filtry obsahu.
Vyberte + Vytvořit filtr obsahu.
Na stránce Základní informace zadejte název konfigurace filtrování obsahu. Vyberte připojení, které chcete přidružit k filtru obsahu. Pak vyberte Další.
Teď můžete nakonfigurovat vstupní filtry (pro výzvy uživatelů) a výstupní filtry (pro dokončení modelu).
Na stránce Vstupní filtry můžete nastavit filtr pro vstupní výzvu. Pro první čtyři kategorie obsahu existují tři úrovně závažnosti, které jsou konfigurovatelné: Nízká, střední a vysoká. Pomocí posuvníků můžete nastavit prahovou hodnotu závažnosti, pokud zjistíte, že vaše aplikace nebo scénář použití vyžaduje jiné filtrování než výchozí hodnoty. Některé filtry, například Prompt Shields a Protected Material Detection, umožňují určit, jestli má model a/nebo blokovat obsah. Výběrem možnosti Přidat poznámky se spustí pouze příslušný model a vrátí se poznámky prostřednictvím odpovědi rozhraní API, ale nebude filtrovat obsah. Kromě poznámek můžete také blokovat obsah.
Pokud byl váš případ použití schválen pro upravené filtry obsahu, získáte úplnou kontrolu nad konfigurací filtrování obsahu a můžete se rozhodnout, že filtrování částečně nebo úplně vypnete, nebo povolíte přidávání poznámek jenom pro kategorie poškození obsahu (násilí, nenávist, sexuální a sebepoškozování).
Obsah se označí podle kategorie a zablokuje se podle nastavené prahové hodnoty. U kategorií násilí, nenávisti, sexuálního a sebepoškozování upravte posuvník tak, aby blokoval obsah vysoké, střední nebo nízké závažnosti.
Na stránce Výstupní filtry můžete nakonfigurovat výstupní filtr, který se použije pro veškerý výstupní obsah vygenerovaný vaším modelem. Nakonfigurujte jednotlivé filtry jako předtím. Tato stránka také poskytuje možnost režimu streamování, která umožňuje filtrovat obsah téměř v reálném čase, protože je generován modelem, což snižuje latenci. Až budete hotovi, vyberte Další.
Obsah bude anotován jednotlivými kategoriemi a zablokován podle prahové hodnoty. U násilného obsahu, obsahu nenávisti, sexuálního obsahu a kategorie obsahu sebepoškozování upravte prahovou hodnotu pro blokování škodlivého obsahu se stejnou nebo vyšší úrovní závažnosti.
Volitelně můžete na stránce Nasazení přidružit filtr obsahu k nasazení. Pokud už vybrané nasazení obsahuje připojený filtr, musíte potvrdit, že ho chcete nahradit. Filtr obsahu můžete také přidružit k nasazení později. Vyberte Vytvořit.
Konfigurace filtrování obsahu se vytvářejí na úrovni centra na portálu Azure AI Foundry. Další informace o konfigurovatelnosti najdete v dokumentaci ke službě Azure OpenAI.
Na stránce Revize zkontrolujte nastavení a pak vyberte Vytvořit filtr.
Použití seznamu blokovaných položek jako filtru
Seznam blokovaných položek můžete použít buď jako vstupní nebo výstupní filtr, nebo obojí. Povolte možnost Blocklist na stránce vstupního filtru nebo výstupního filtru. V rozevíracím seznamu vyberte jeden nebo více seznamů blokovaných položek nebo použijte integrovaný seznam blokovaných vulgárních výrazů. Do stejného filtru můžete zkombinovat více seznamů blokovaných položek.
Použití filtru obsahu
Proces vytváření filtru umožňuje použít filtr na požadovaná nasazení. Filtry obsahu můžete také kdykoli změnit nebo odebrat z nasazení.
Pokud chcete použít filtr obsahu pro nasazení, postupujte takto:
Přejděte do Azure AI Foundry a vyberte projekt.
V levém podokně vyberte Modely a koncové body a zvolte jedno z vašich nasazení a pak vyberte Upravit.
V okně nasazení aktualizace vyberte filtr obsahu, který chcete použít pro nasazení. Pak vyberte Uložit a zavřít.
V případě potřeby můžete také upravit a odstranit konfiguraci filtru obsahu. Před odstraněním konfigurace filtrování obsahu budete muset zrušit přiřazení a nahradit ji z jakéhokoli nasazení na kartě Nasazení .
Teď můžete přejít na dětské hřiště a otestovat, jestli filtr obsahu funguje podle očekávání.
Zpětná vazba k filtrování obsahu sestavy
Pokud dochází k problému s filtrováním obsahu, vyberte v horní části hřiště tlačítko Filtry zpětné vazby . Po odeslání výzvy se tato možnost povolí na dětském hřišti Obrázky, Chat a Dokončení.
Po zobrazení dialogového okna vyberte příslušný problém s filtrováním obsahu. Uveďte co nejvíce podrobností týkající se vašeho problému s filtrováním obsahu, například konkrétní výzvu a chybu filtrování obsahu, se kterou jste narazili. Nezahrnujte žádné soukromé ani citlivé informace.
Pokud potřebujete podporu, odešlete lístek podpory.
Dodržujte osvědčené postupy.
Doporučujeme informovat vaše rozhodnutí o konfiguraci filtrování obsahu prostřednictvím iterativní identifikace (například červeného týmového testování, zátěžového testování a analýzy) a procesu měření, který řeší potenciální škody, které jsou relevantní pro konkrétní model, aplikaci a nasazení. Po implementaci zmírnění rizik, jako je filtrování obsahu, opakujte měření a otestujte efektivitu. Doporučení a osvědčené postupy pro zodpovědnou AI pro Azure OpenAI, které jsou zakotveny v standardu Microsoft Responsible AI, najdete v přehledu zodpovědné umělé inteligence pro Azure OpenAI.
Související obsah
- Přečtěte si další informace o postupech zodpovědné umělé inteligence pro Azure OpenAI: Přehled zodpovědných postupů AI pro modely Azure OpenAI.
- Přečtěte si další informace o kategoriích filtrování obsahu a úrovních závažnosti pomocí Azure AI Foundry.
- Přečtěte si další informace o červeném seskupování z našeho článku: Úvod do červeného seskupování velkých jazykových modelů (LLMs).