Jak konfigurować filtry zawartości w usłudze Azure OpenAI Service
System filtrowania zawartości zintegrowany z usługą Azure OpenAI Service działa wraz z podstawowymi modelami, w tym modelami generowania obrazów DALL-E. Wykorzystuje ona zespół wieloklasowych modeli klasyfikacji do wykrywania czterech kategorii szkodliwych treści (przemoc, nienawiść, seksualna i samookaleczenia) odpowiednio na czterech poziomach ważności (bezpieczne, niskie, średnie i wysokie) oraz opcjonalne klasyfikatory binarne do wykrywania ryzyka jailbreaku, istniejącego tekstu i kodu w repozytoriach publicznych. Domyślna konfiguracja filtrowania zawartości jest ustawiona tak, aby filtrować według progu średniej ważności w przypadku wszystkich czterech kategorii szkody dla zawartości monitów i uzupełniania. Oznacza to, że zawartość wykryta na średnim lub wysokim poziomie ważności jest filtrowana, podczas gdy zawartość wykryta na niskim lub bezpiecznym poziomie ważności nie jest filtrowana przez filtry zawartości. Dowiedz się więcej o kategoriach zawartości, poziomach ważności i zachowaniu systemu filtrowania zawartości tutaj. Wykrywanie ryzyka zabezpieczeń systemu i chronione modele tekstu i kodu są opcjonalne i wyłączone domyślnie. W przypadku zdjęć zabezpieczeń systemu i chronionych modeli tekstu i kodu materiałowego funkcja konfigurowania umożliwia wszystkim klientom włączanie i wyłączanie modeli. Modele są domyślnie wyłączone i mogą być włączone dla danego scenariusza. Niektóre modele muszą być włączone w niektórych scenariuszach, aby zachować zakres w ramach zobowiązania do praw autorskich klienta.
Uwaga
Wszyscy klienci mają możliwość modyfikowania filtrów zawartości i konfigurowania progów ważności (niska, średnia, wysoka). Zatwierdzenie jest wymagane do częściowego lub pełnego wyłączenia filtrów zawartości. Klienci zarządzani mogą ubiegać się tylko o pełną kontrolę filtrowania zawartości za pośrednictwem tego formularza: Przegląd ograniczonego dostępu usługi Azure OpenAI: zmodyfikowane filtry zawartości. Obecnie nie można stać się klientem zarządzanym.
Filtry zawartości można skonfigurować na poziomie zasobu. Po utworzeniu nowej konfiguracji można ją skojarzyć z co najmniej jednym wdrożeniem. Aby uzyskać więcej informacji na temat modeli wdrażania, zobacz przewodnik po modelach wdrażania).
Wymagania wstępne
- Aby skonfigurować filtry zawartości, musisz mieć zasób usługi Azure OpenAI i wdrożenie dużego modelu językowego (LLM). Postępuj zgodnie z przewodnikiem Szybki start , aby rozpocząć pracę.
Omówienie możliwości konfigurowania filtru zawartości
Usługa Azure OpenAI Service obejmuje domyślne ustawienia bezpieczeństwa stosowane do wszystkich modeli, z wyłączeniem interfejsu Azure OpenAI Whisper. Te konfiguracje zapewniają domyślnie środowisko odpowiedzialne, w tym modele filtrowania zawartości, listy zablokowanych, przekształcanie monitów, poświadczenia zawartości i inne. Przeczytaj więcej na ten temat tutaj.
Wszyscy klienci mogą również konfigurować filtry zawartości i tworzyć niestandardowe zasady bezpieczeństwa dostosowane do wymagań przypadków użycia. Funkcja konfigurowania umożliwia klientom dostosowywanie ustawień, oddzielnie w przypadku monitów i uzupełniania, filtrowanie zawartości dla każdej kategorii zawartości na różnych poziomach ważności zgodnie z opisem w poniższej tabeli. Zawartość wykryta na poziomie ważności "bezpieczne" jest oznaczona adnotacjami, ale nie podlega filtrowaniu i nie jest konfigurowalna.
| Odfiltrowana ważność | Konfigurowalny pod kątem monitów | Możliwość konfigurowania pod kątem uzupełniania | Opisy |
|---|---|---|---|
| Niski, średni, wysoki | Tak | Tak | Najostrzejsza konfiguracja filtrowania. Zawartość wykryta na niskich, średnich i wysokich poziomach ważności jest filtrowana. |
| Średni, wysoki | Tak | Tak | Zawartość wykryta na niskim poziomie ważności nie jest filtrowana, zawartość w średnim i wysokim poziomie jest filtrowana. |
| Wys. | Tak | Tak | Zawartość wykryta na niskich i średnich poziomach ważności nie jest filtrowana. Filtrowana jest tylko zawartość na wysokim poziomie ważności. |
| Brak filtrów | Jeśli zatwierdzono1 | Jeśli zatwierdzono1 | Żadna zawartość nie jest filtrowana niezależnie od wykrytego poziomu ważności. Wymaga zatwierdzenia1. |
| Dodawanie adnotacji tylko | Jeśli zatwierdzono1 | Jeśli zatwierdzono1 | Wyłącza funkcję filtrowania, więc zawartość nie będzie blokowana, ale adnotacje są zwracane za pośrednictwem odpowiedzi interfejsu API. Wymaga zatwierdzenia1. |
1 W przypadku modeli usługi Azure OpenAI tylko klienci, którzy zostali zatwierdzeni do zmodyfikowanego filtrowania zawartości, mają pełną kontrolę filtrowania zawartości i mogą wyłączyć filtry zawartości. Zastosuj do zmodyfikowanych filtrów zawartości za pomocą tego formularza: Przegląd ograniczonego dostępu usługi Azure OpenAI: zmodyfikowane filtry zawartości. W przypadku klientów platformy Azure Government zastosuj się do zmodyfikowanych filtrów zawartości za pośrednictwem tego formularza: Azure Government — żądanie zmodyfikowanego filtrowania zawartości dla usługi Azure OpenAI.
Konfigurowalne filtry zawartości dla danych wejściowych (monitów) i danych wyjściowych (uzupełniania) są dostępne dla następujących modeli usługi Azure OpenAI:
- Seria modeli GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 i 3
Konfigurowalne filtry zawartości nie są dostępne dla
- o1-preview
- o1-mini
*Dostępne tylko dla GPT-4 Turbo Vision GA, nie ma zastosowania do GPT-4 Turbo Vision (wersja zapoznawcza)
Konfiguracje filtrowania zawartości są tworzone w ramach zasobu w usłudze Azure AI Studio i mogą być skojarzone z wdrożeniami. Dowiedz się więcej o możliwościach konfiguracji tutaj.
Klienci są odpowiedzialni za zapewnienie, że aplikacje integrujące usługę Azure OpenAI są zgodne z kodeksem postępowania.
Omówienie innych filtrów
Oprócz domyślnych filtrów kategorii szkód można skonfigurować następujące kategorie filtrów.
| Kategoria filtru | Stan | Ustawienie domyślne | Zastosowano do monitu lub ukończenia? | opis |
|---|---|---|---|---|
| Monitowanie osłon o bezpośrednie ataki (jailbreak) | Ogólna dostępność | Włączone | Monit użytkownika | Filtruje/dodawać adnotacje do monitów użytkownika, które mogą stanowić ryzyko jailbreaku. Aby uzyskać więcej informacji na temat adnotacji, odwiedź stronę Filtrowanie zawartości usługi Azure OpenAI Service. |
| Monitowanie o osłony pod kątem ataków pośrednich | Ogólna dostępność | Włączone | Monit użytkownika | Filtrowanie/dodawanie adnotacji do ataków pośrednich, nazywanych również atakami pośredniego monitowania lub atakami polegającymi na wstrzyknięciu monitów między domenami, potencjalnej luki w zabezpieczeniach, w której inne firmy umieszczają złośliwe instrukcje wewnątrz dokumentów, do których system generujący sztuczną inteligencję może uzyskiwać dostęp i przetwarzać. Wymagane: formatowanie dokumentu . |
| Materiał chroniony — kod | Ogólna dostępność | Włączone | Zakończenie | Filtruje kod chroniony lub pobiera przykładowe cytaty i informacje o licencji w adnotacjach dla fragmentów kodu, które są zgodne z dowolnymi publicznymi źródłami kodu obsługiwanymi przez narzędzie GitHub Copilot. Aby uzyskać więcej informacji na temat używania adnotacji, zobacz przewodnik po pojęciach dotyczących filtrowania zawartości |
| Materiał chroniony — tekst | Ogólna dostępność | Włączone | Zakończenie | Identyfikuje i blokuje wyświetlanie znanej zawartości tekstowej w danych wyjściowych modelu (na przykład teksty piosenek, przepisy i wybrana zawartość internetowa). |
| Uziemienie* | Podgląd | Wyłączona | Zakończenie | Wykrywa, czy odpowiedzi tekstowe dużych modeli językowych (LLM) są uziemione w materiałach źródłowych dostarczanych przez użytkowników. Bezpodstawność odnosi się do wystąpień, w których LLMs tworzą informacje, które nie są faktyczne lub niedokładne z tego, co było obecne w materiałach źródłowych. |
*Wymaga osadzania dokumentów w monicie. Dowiedz się więcej.
Konfigurowanie filtrów zawartości za pomocą programu Azure AI Studio
W poniższych krokach pokazano, jak skonfigurować niestandardową konfigurację filtrowania zawartości dla zasobu usługi Azure OpenAI w programie AI Studio. Aby uzyskać wskazówki dotyczące filtrów zawartości w projekcie usługi Azure AI Studio, przeczytaj więcej na stronie Filtrowanie zawartości w usłudze Azure AI Studio.
Przejdź do usługi Azure AI Studio i przejdź do strony Bezpieczeństwo i zabezpieczenia w menu po lewej stronie.
Przejdź do karty Filtry zawartości i utwórz nową dostosowaną konfigurację filtrowania zawartości.
Prowadzi to do następującego widoku konfiguracji, w którym można wybrać nazwę niestandardowej konfiguracji filtrowania zawartości. Po wprowadzeniu nazwy można skonfigurować filtry wejściowe (w przypadku monitów użytkownika) i filtry wyjściowe (na potrzeby uzupełniania modelu).
W przypadku pierwszych czterech kategorii zawartości istnieją trzy poziomy ważności, które można skonfigurować: Niski, średni i wysoki. Możesz użyć suwaków, aby ustawić próg ważności, jeśli określisz, że aplikacja lub scenariusz użycia wymaga innego filtrowania niż wartości domyślne.
Niektóre filtry, takie jak Monituj osłony i wykrywanie chronionych materiałów, umożliwiają określenie, czy model powinien dodawać adnotacje i/lub blokować zawartość. Wybranie pozycji Adnotacja powoduje uruchomienie odpowiedniego modelu i zwrócenie adnotacji za pośrednictwem odpowiedzi interfejsu API, ale nie spowoduje filtrowania zawartości. Oprócz dodawania adnotacji możesz również zablokować zawartość.
Jeśli twój przypadek użycia został zatwierdzony dla zmodyfikowanych filtrów zawartości, otrzymasz pełną kontrolę nad konfiguracjami filtrowania zawartości i możesz włączyć filtrowanie częściowo lub całkowicie wyłączone lub włączyć adnotacje tylko dla kategorii szkód związanych z zawartością (przemoc, nienawiść, seks i samookaleczenie).
Możesz utworzyć wiele konfiguracji filtrowania zawartości zgodnie z wymaganiami.
Następnie, aby użyć niestandardowej konfiguracji filtrowania zawartości, przypisz ją do co najmniej jednego wdrożenia w zasobie. W tym celu przejdź do karty Wdrożenia i wybierz wdrożenie. Wybierz pozycję Edytuj.
W wyświetlonym oknie Wdrażanie aktualizacji wybierz filtr niestandardowy z menu rozwijanego Filtr zawartości. Następnie wybierz pozycję Zapisz i zamknij , aby zastosować wybraną konfigurację do wdrożenia.
W razie potrzeby można również edytować i usuwać konfigurację filtru zawartości.
Przed usunięciem konfiguracji filtrowania zawartości należy cofnąć przypisanie i zastąpić je z dowolnego wdrożenia na karcie Wdrożenia.
Zgłaszanie opinii dotyczących filtrowania zawartości
Jeśli występuje problem z filtrowaniem zawartości, wybierz przycisk Wyślij opinię w górnej części placu zabaw. Jest to włączone na placu zabaw Obrazy, Czat i Ukończenie .
Po wyświetleniu okna dialogowego wybierz odpowiedni problem z filtrowaniem zawartości. Uwzględnij jak najwięcej szczegółów dotyczących problemu z filtrowaniem zawartości, takich jak określony monit i napotkany błąd filtrowania zawartości. Nie dołączaj żadnych prywatnych ani poufnych informacji.
Aby uzyskać pomoc techniczną, prześlij bilet pomocy technicznej.
Postępuj zgodnie z najlepszymi rozwiązaniami
Zalecamy informowanie o decyzjach dotyczących konfiguracji filtrowania zawartości za pomocą iteracyjnej identyfikacji (na przykład testowania czerwonego zespołu, testowania obciążenia i analizy) oraz procesu pomiaru w celu rozwiązania potencjalnych szkód, które są istotne dla konkretnego modelu, aplikacji i scenariusza wdrażania. Po zaimplementowaniu środków zaradczych, takich jak filtrowanie zawartości, powtórz pomiar w celu przetestowania skuteczności. Rekomendacje i najlepsze rozwiązania dotyczące odpowiedzialnej sztucznej inteligencji dla usługi Azure OpenAI, zakorzenione w standardzie Odpowiedzialnej sztucznej inteligencji firmy Microsoft, można znaleźć w temacie Odpowiedzialne używanie sztucznej inteligencji — omówienie usługi Azure OpenAI.
Powiązana zawartość
- Dowiedz się więcej o praktykach dotyczących odpowiedzialnej sztucznej inteligencji dla usługi Azure OpenAI: omówienie praktyk dotyczących odpowiedzialnej sztucznej inteligencji dla modeli azure OpenAI.
- Przeczytaj więcej na temat kategorii filtrowania zawartości i poziomów ważności w usłudze Azure OpenAI Service.
- Dowiedz się więcej na temat red teaming from our: Introduction to red teaming large language models (LLMs) (Wprowadzenie do tworzenia zespołu red teaming large language models, LLMs).