Wat is Azure AI Content Safety?
Azure AI Content Safety is een AI-service die schadelijke door de gebruiker gegenereerde en DOOR AI gegenereerde inhoud in toepassingen en services detecteert. Azure AI Content Safety bevat api's voor tekst en afbeeldingen waarmee u materiaal kunt detecteren dat schadelijk is. Met de interactieve Content Safety Studio kunt u voorbeeldcode bekijken, verkennen en uitproberen voor het detecteren van schadelijke inhoud in verschillende modaliteiten.
Met software voor inhoudsfilters kan uw app voldoen aan regelgeving of de beoogde omgeving voor uw gebruikers behouden.
Deze documentatie bevat de volgende artikeltypen:
- Concepten bieden uitgebreide uitleg over de servicefunctionaliteit en -functies.
- Quickstarts zijn aan de slag-instructies om u te begeleiden bij het indienen van aanvragen bij de service.
- Instructiegidsen bevatten instructies voor het gebruik van de service op specifiekere of aangepaste manieren.
Waar het wordt gebruikt
Hieronder vindt u enkele scenario's waarin een softwareontwikkelaar of -team een service nodig hebben om toezicht te houden op content:
- Gebruikersprompts verzonden naar een generatieve AI-service.
- Inhoud geproduceerd door generatieve AI-modellen.
- Onlinemarktplaatsen die toezicht willen houden op productcatalogi en andere door gebruikers gegenereerde inhoud.
- Gamingbedrijven die toezicht willen houden op door gebruikers gegenereerde gameartefacten en chatruimten.
- Platforms voor sociale berichten die afbeeldingen en tekst beheren die door hun gebruikers worden toegevoegd.
- Grote mediabedrijven die gecentraliseerd toezicht implementeren voor hun inhoud.
- Leveranciers van oplossingen voor lager en voortgezet onderwijs die willen filteren op inhoud die ongepast is voor leerlingen en docenten.
Belangrijk
U kunt Azure AI Content Safety niet gebruiken om illegale afbeeldingen voor kinderuitbuiting te detecteren.
Productfuncties
Deze service maakt verschillende soorten analyse beschikbaar. In de volgende tabel worden de momenteel beschikbare API's beschreven.
| Functie | Functionaliteit | Handleiding concepten | Aan de slag |
|---|---|---|---|
| Promptschilden | Hiermee wordt tekst gescand op het risico van een aanval op gebruikersinvoer in een groot taalmodel. | Concepten van Prompt Shields | Snelstartgids |
| Geaardheidsdetectie (preview) | Hiermee wordt gedetecteerd of de tekstreacties van grote taalmodellen (LLM's) worden geaard in de bronmaterialen van de gebruikers. | Basisdetectieconcepten | Snelstartgids |
| Detectie van beveiligde materiaaltekst | Scant door AI gegenereerde tekst op bekende tekstinhoud (bijvoorbeeld liedteksten, artikelen, recepten, geselecteerde webinhoud). | Concepten van beveiligd materiaal | Snelstartgids |
| Aangepaste categorieën (standaard) API (preview) | Hiermee kunt u uw eigen aangepaste inhoudscategorieën maken en trainen en tekst scannen op overeenkomsten. | Concepten van aangepaste categorieën | Snelstartgids |
| Aangepaste categorieën (snelle) API (preview) | Hiermee kunt u opkomende schadelijke inhoudspatronen definiëren en tekst en afbeeldingen scannen op overeenkomsten. | Concepten van aangepaste categorieën | Instructies |
| Tekst-API analyseren | Scant tekst op seksuele inhoud, geweld, haat en zelfbeschadiging met niveaus met meerdere ernstniveaus. | Categorieën schade | Snelstartgids |
| Afbeeldings-API analyseren | Scant afbeeldingen op seksuele inhoud, geweld, haat en zelfbeschadiging met meerdere ernstniveaus. | Categorieën schade | Snelstartgids |
Content Safety Studio
Azure AI Content Safety Studio is een onlinehulpprogramma dat is ontworpen om mogelijk aanstootgevende, riskante of ongewenste inhoud te verwerken met geavanceerde ML-modellen voor con tentmodus ration. Het biedt sjablonen en aangepaste werkstromen, zodat gebruikers hun eigen con tentmodus rationsysteem kunnen kiezen en bouwen. Gebruikers kunnen hun eigen inhoud uploaden of uitproberen met opgegeven voorbeeldinhoud.
Content Safety Studio bevat niet alleen out-of-the-box AI-modellen, maar bevat ook de ingebouwde termenlijsten van Microsoft om scheldwoorden te markeren en op de hoogte te blijven van nieuwe inhoudstrends . U kunt ook uw eigen blokkeringslijsten uploaden om de dekking van schadelijke inhoud te verbeteren die specifiek is voor uw use-case.
Met Studio kunt u ook een beheerwerkstroom instellen, waar u de prestaties van con tentmodus ration continu kunt bewaken en verbeteren. Het kan u helpen om te voldoen aan de inhoudsvereisten van allerlei soorten branches, zoals gaming, media, onderwijs, E-commerce en meer. Bedrijven kunnen hun services eenvoudig verbinden met de Studio en hun con tentmodus in realtime laten beoordelen, ongeacht of ze door de gebruiker zijn gegenereerd of DOOR AI zijn gegenereerd.
Al deze mogelijkheden worden verwerkt door de Studio en de back-end; klanten hoeven zich geen zorgen te maken over modelontwikkeling. U kunt uw gegevens onboarden voor snelle validatie en uw KPI's dienovereenkomstig bewaken, zoals technische metrische gegevens (latentie, nauwkeurigheid, relevante overeenkomsten) of zakelijke metrische gegevens (bloksnelheid, blokvolume, categorieverhoudingen, taalverhoudingen en meer). Met eenvoudige bewerkingen en configuraties kunnen klanten snel verschillende oplossingen testen en de beste oplossing vinden, in plaats van tijd te besteden aan het experimenteren met aangepaste modellen of handmatig toezicht uit te voeren.
Safety Studio-functies voor inhoud
In Content Safety Studio zijn de volgende Azure AI Content Safety-functies beschikbaar:
Tekstinhoud beheren: met het hulpprogramma voor tekstbeheer kunt u eenvoudig tests uitvoeren op tekstinhoud. Of u nu één zin of een hele gegevensset wilt testen, ons hulpprogramma biedt een gebruiksvriendelijke interface waarmee u de testresultaten rechtstreeks in de portal kunt beoordelen. U kunt experimenteren met verschillende gevoeligheidsniveaus om uw inhoudsfilters en bloklijstbeheer te configureren, zodat uw inhoud altijd wordt gecontroleerd op uw exacte specificaties. Bovendien kunt u met de mogelijkheid om de code te exporteren het hulpprogramma rechtstreeks in uw toepassing implementeren, uw werkstroom stroomlijnen en tijd besparen.
Moderate Image Content: Met het hulpprogramma voor afbeeldingsbeheer kunt u eenvoudig tests uitvoeren op afbeeldingen om ervoor te zorgen dat ze voldoen aan uw inhoudsstandaarden. Met onze gebruiksvriendelijke interface kunt u de testresultaten rechtstreeks in de portal evalueren en kunt u experimenteren met verschillende gevoeligheidsniveaus om uw inhoudsfilters te configureren. Zodra u uw instellingen hebt aangepast, kunt u de code eenvoudig exporteren om het hulpprogramma in uw toepassing te implementeren.
Onlineactiviteit bewaken: met de krachtige bewakingspagina kunt u eenvoudig het gebruik van uw beheer-API en trends in verschillende modaliteiten bijhouden. Met deze functie hebt u toegang tot gedetailleerde antwoordgegevens, waaronder de distributie van categorieën en ernst, latentie, fout en detectie van bloklijsten. Deze informatie biedt u een volledig overzicht van de prestaties van uw con tentmodus ration, zodat u uw werkstroom kunt optimaliseren en ervoor kunt zorgen dat uw inhoud altijd wordt beheerd volgens uw exacte specificaties. Met onze gebruiksvriendelijke interface kunt u snel en eenvoudig door de bewakingspagina navigeren om toegang te krijgen tot de informatie die u nodig hebt om weloverwogen beslissingen te nemen over uw strategie voor con tentmodus ration. U beschikt over de hulpmiddelen die u nodig hebt om op de hoogte te blijven van de prestaties van uw con tentmodus ration en om uw inhoudsdoelen te bereiken.
Beveiliging
Microsoft Entra ID of Managed Identity gebruiken om de toegang te beheren
Voor verbeterde beveiliging kunt u Microsoft Entra ID of Managed Identity (MI) gebruiken om de toegang tot uw resources te beheren.
- Beheerde identiteit wordt automatisch ingeschakeld wanneer u een Content Safety-resource maakt.
- Microsoft Entra ID wordt ondersteund in api- en SDK-scenario's. Raadpleeg de algemene richtlijn voor AI-services voor verificatie met Microsoft Entra-id. U kunt ook toegang verlenen aan andere gebruikers binnen uw organisatie door hen de rollen van Cognitive Services-gebruikers en -lezer toe te wijzen. Raadpleeg de handleiding voor op rollen gebaseerd toegangsbeheer voor meer informatie over het verlenen van gebruikerstoegang tot Azure-resources met behulp van Azure Portal.
Versleuteling van gegevens in rust
Meer informatie over hoe Azure AI Content Safety de versleuteling en ontsleuteling van uw gegevens afhandelt. Door de klant beheerde sleutels (CMK), ook wel BYOK (Bring Your Own Key) genoemd, bieden meer flexibiliteit om toegangsbeheer te maken, draaien, uitschakelen en intrekken. U kunt ook de versleutelingssleutels controleren die worden gebruikt voor het beveiligen van uw gegevens.
Prijzen
Momenteel heeft Azure AI Content Safety een prijscategorie F0 en S0 . Zie de pagina met prijzen van Azure voor meer informatie.
Servicelimieten
Let op
Afschaffingsmelding
Als onderdeel van content safety-versiebeheer en levenscyclusbeheer kondigen we de afschaffing aan van bepaalde openbare preview- en GA-versies van onze service-API's. Volg ons afschaffingsbeleid:
- Openbare preview-versies: elke nieuwe openbare preview-versie activeert de afschaffing van de vorige preview-versie na een periode van 90 dagen, mits er geen belangrijke wijzigingen worden geïntroduceerd.
- GA-versies: Wanneer er een nieuwe GA-versie wordt uitgebracht, wordt de vorige GA-versie afgeschaft na een periode van 90 dagen als de compatibiliteit wordt gehandhaafd.
Zie de pagina Wat is er nieuw voor toekomstige afschaffingen.
Vereisten voor invoer
Zie de volgende lijst voor de invoervereisten voor elke functie.
- Tekst-API analyseren:
- Standaard maximale lengte: 10.000 tekens (splits indien nodig langere teksten).
- Afbeeldings-API analyseren:
- Maximale grootte van afbeeldingsbestand: 4 MB
- Afmetingen tussen 50 x 50 en 7200 x 7200 pixels.
- Afbeeldingen kunnen een JPEG-, PNG-, GIF-, BMP-, TIFF- of WEBP-indeling hebben.
- Multimodale API analyseren (preview):
- Standaard maximale tekstlengte: 1K-tekens.
- Maximale grootte van afbeeldingsbestand: 4 MB
- Afmetingen tussen 50 x 50 en 7200 x 7200 pixels.
- Afbeeldingen kunnen een JPEG-, PNG-, GIF-, BMP-, TIFF- of WEBP-indeling hebben.
- Prompt Shields-API:
- Maximale promptlengte: 10.000 tekens.
- Maximaal vijf documenten met in totaal 10.000 tekens.
- Groundedness detection-API (preview):
- Maximale lengte voor grondbronnen: 55.000 tekens (per API-aanroep).
- Maximale lengte van tekst en query: 7500 tekens.
- Beveiligde materiaaldetectie-API's:
- Standaard maximale lengte: 1.000 tekens.
- Standaard minimale lengte: 110 tekens (voor het scannen van LLM-voltooiingen, niet gebruikersprompts).
- Aangepaste categorieën (standaard) API (preview):
- Maximale lengte van deductie-invoer: 1K-tekens.
Taalondersteuning
De Azure AI Content Safety-modellen voor beveiligde materialen, aardingsdetectie en aangepaste categorieën (standaard) werken alleen met engels.
Andere Azure AI Content Safety-modellen zijn specifiek getraind en getest in de volgende talen: Chinees, Engels, Frans, Duits, Spaans, Italiaans, Japans, Portugees. Deze functies kunnen echter in veel andere talen werken, maar de kwaliteit kan variëren. In alle gevallen moet u uw eigen tests uitvoeren om ervoor te zorgen dat deze werkt voor uw toepassing.
Zie Taalondersteuning voor meer informatie.
Regionale beschikbaarheid
Als u de Content Safety-API's wilt gebruiken, moet u uw Azure AI Content Safety-resource maken in een ondersteunde regio. Momenteel zijn de functies voor Inhoudsveiligheid beschikbaar in de volgende Azure-regio's met verschillende API-versies:
| Regio | Aangepaste categorie | Grondgebondenheid | Afbeelding | Multimodal (Afbeelding met Tex) | Incidentrespons | Promptschild | Beveiligd materiaal (tekst) | Beveiligd materiaal (code) | Sms verzenden | Geïntegreerde API |
|---|---|---|---|---|---|---|---|---|---|---|
| Australië - oost | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Canada - oost | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Central US | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| VS - oost | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| VS - oost 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Frankrijk - centraal | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Japan - oost | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| VS - noord-centraal | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Polen - centraal | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| VS - zuid-centraal | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| India - zuid | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Zweden - centraal | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Zwitserland - noord | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Zwitserland - west | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| VAE - noord | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Verenigd Koninkrijk Zuid | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Europa -west | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| VS - west | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| VS - west 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| US - west 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| FairFax - USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| FairFax - USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
Neem gerust contact met ons op als uw bedrijf andere regio's nodig heeft om beschikbaar te zijn.
Queryfrequenties
Inhoudsveiligheidsfuncties hebben queryfrequentielimieten in aanvragen per seconde (RPS) of aanvragen per 10 seconden (RP10S). Zie de volgende tabel voor de snelheidsbeperking voor elke functie.
| Prijscategorie | Beheer-API's (tekst en afbeelding) |
Promptschilden | Beschermd materiaal detectie |
Grondgebondenheid detectie (preview) |
Aangepaste categorieën (snel) (preview) |
Aangepaste categorieën (standaard) (preview) |
Multimodale |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | N.v.t. | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
Als u een sneller tarief nodig hebt, neem dan contact met ons op om dit aan te vragen.
Contact opnemen
Als u vastloopt, kunt u ons een e-mail sturen of de feedbackwidget onderaan een Microsoft Learn-pagina gebruiken.
Volgende stappen
Volg een quickstart om aan de slag te gaan met Azure AI Content Safety in uw toepassing.