Qu’est-ce qu’Azure AI Content Safety ?
Azure AI Sécurité du Contenu est un service IA qui permet de détecter les contenus dangereux générés par l’utilisateur et par l’IA dans les applications et les services. Azure AI Sécurité du Contenu comprend des API de texte et d’image qui vous permettent de détecter le contenu nuisible. Content Safety Studio interactif vous permet de visualiser, d’explorer et d’essayer des exemples de code pour la détection de contenus dangereux dans différentes modalités.
Un logiciel de filtrage de contenu peut aider votre application à se conformer aux réglementations ou à maintenir l’environnement souhaité pour vos utilisateurs.
Cette documentation contient les types d’articles suivants :
- Les Concepts fournissent des explications approfondies sur les fonctions et fonctionnalités du service.
- Les Démarrages rapides sont des instructions de prise en main qui vous guident dans la formulation de vos requêtes au service.
- Les Guides pratiques contiennent des instructions sur l’utilisation du service de manière plus spécifique ou personnalisée.
Utilisation
Voici quelques scénarios dans lesquels un développeur de logiciels ou une équipe requiert un service de modération de contenu :
- Les invites de l’utilisateur sont envoyés à un service d’IA générative.
- Contenu produit par des modèles d’IA générative.
- Modération des catalogues de produits et du contenu généré par l’utilisateur sur les marketplaces en ligne
- Modération des artefacts créés par les utilisateurs et des messageries instantanées par les sociétés de jeu
- Modération des images et du texte ajoutés par les utilisateurs sur les plateformes de messagerie sociale
- Mise en place par les sociétés de contenu d’entreprise d’un système de modération centralisé du contenu
- Filtrage du contenu inapproprié pour les élèves et les enseignants par les fournisseurs de solutions éducatives (maternelle-terminale)
Important
Vous ne pouvez pas utiliser Azure AI Sécurité du Contenu pour détecter des images illégales d’exploitation d’enfants.
Fonctionnalités du produit
Ce service propose plusieurs types d’analyses. Le tableau suivant décrit les API actuellement disponibles.
| Fonctionnalité | Fonctionnalités | Guide des concepts | Démarrage |
|---|---|---|---|
| Boucliers d'invite | Analyse le texte pour détecter le risque d’une attaque par entrée utilisateur sur un grand modèle de langage. | Concepts de boucliers d’invite | Démarrage rapide |
| Détection de fondement (préversion) | Détecte si les réponses textuelles des grands modèles de langage (LLM) sont fondées sur les documents sources fournis par les utilisateurs. | Concepts de détection de fondement | Démarrage rapide |
| Détection du texte du matériel protégé | Analyse le texte généré par l’IA à la recherche de contenu de texte connu (par exemple, paroles de chanson, articles, recettes, contenu web sélectionné). | Concepts de matériel protégé | Démarrage rapide |
| API Catégories personnalisées (standard) (version d’évaluation) | Vous permet de créer et d’entraîner vos propres catégories de contenu personnalisées et d’analyser du texte afin de trouver des correspondances. | Concepts des catégories personnalisées | Démarrage rapide |
| API catégories personnalisées (rapide) (préversion) | Vous permet de définir modèles de contenu dangereux émergents et d’analyser du texte et des images pour les correspondances. | Concepts des catégories personnalisées | Guide d'instruction |
| Analyser le texte API | Analyse le texte à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité. | Catégories préjudiciables | Démarrage rapide |
| Analyse Image API | Analyse les images à la recherche de contenu à caractère sexuel, de violence, de haine et d’automutilation avec plusieurs niveaux de gravité. | Catégories préjudiciables | Démarrage rapide |
Content Safety Studio
Azure AI Content Safety Studio est un outil en ligne conçu pour gérer le contenu potentiellement choquant, à risque ou indésirable en utilisant des modèles ML de modération de contenu de pointe. Il fournit des modèles et des workflows personnalisés, ce qui permet aux utilisateurs de choisir et de créer leur propre système de modération de contenu. Les utilisateurs peuvent charger leur propre contenu ou tester avec l’exemple de contenu fourni.
Content Safety Studio contient non seulement des modèles d’IA prêts à l’emploi, mais également des listes de blocage de termes intégrées de Microsoft qui permettent de signaler les l’utilisation de langage inapproprié et de se tenir au courant des nouvelles tendances de contenu. Vous pouvez également charger vos propres listes de blocage pour mieux englober le contenu nuisible spécifique à votre cas d’usage.
Studio vous permet également de configurer un workflow de modération, où vous pouvez surveiller et améliorer en continu le niveau de performance de modération du contenu. Il peut vous aider à répondre aux critères de contenu de tous types de secteur d’activité comme les jeux, les médias, l’enseignement, le commerce électronique et plus encore. Les entreprises peuvent facilement connecter leurs services au Studio et procéder à la modération de leur contenu en temps réel, qu’il soit généré par l’utilisateur ou par l’IA.
Toutes ces fonctionnalités sont gérées par le Studio et son back-end. Les clients n’ont pas besoin de se soucier du développement de modèles. Vous pouvez intégrer vos données pour effectuer une validation rapide et surveiller vos indicateurs de performance clés en conséquence, comme les métriques techniques (latence, justesse, rappel) ou les métriques métier (taux de blocage, volume de blocage, proportions de catégorie, proportions de langue, etc.). Avec des opérations et des configurations simples, les clients peuvent tester rapidement différentes solutions et trouver la meilleure, au lieu de passer du temps à expérimenter avec des modèles personnalisés ou à procéder manuellement à une modération.
Fonctionnalités de Content Safety Studio
Les fonctionnalités suivantes d’Azure AI Sécurité du Contenu sont disponibles dans Content Safety Studio :
Modérer le contenu de texte : Avec l’outil de modération de texte, vous pouvez facilement exécuter des tests sur le contenu de texte. Que vous souhaitiez tester une seule phrase ou un jeu de données entier, notre outil offre une interface conviviale qui vous permet d’évaluer les résultats des tests directement dans le portail. Vous pouvez tester différents niveaux de sensibilité pour configurer vos filtres de contenu et la gestion des listes de blocage, en vous assurant que votre contenu est toujours modéré exactement selon vos spécifications. De plus, avec la possibilité d’exporter le code, vous pouvez implémenter l’outil directement dans votre application et ainsi simplifier votre workflow et gagner du temps.
Modérer le contenu d’image : Avec l’outil de modération d’image, vous pouvez facilement exécuter des tests sur des images pour vous assurer qu’elles répondent à vos standards. Notre interface conviviale vous permet d’évaluer les résultats des tests directement dans le portail, et vous pouvez expérimenter différents niveaux de sensibilité pour configurer vos filtres de contenu. Une fois que vous avez personnalisé vos paramètres, vous pouvez facilement exporter le code pour implémenter l’outil dans votre application.
Surveiller l’activité en ligne : La puissante page de surveillance vous permet de suivre facilement l’utilisation et les tendances de vos API de modération selon différentes modalités. Avec cette fonctionnalité, vous pouvez accéder à des informations de réponse détaillées, notamment la répartition des catégories et des gravités, la latence, les erreurs et la détection de liste de blocage. Ces informations vous fournissent une vue d’ensemble complète des performances de modération de votre contenu, ce qui vous permet d’optimiser votre workflow et de vous assurer que votre contenu est toujours modéré exactement selon vos spécifications. Avec notre interface conviviale, vous pouvez parcourir rapidement et facilement la page de surveillance pour accéder aux informations dont vous avez besoin afin de prendre des décisions éclairées sur votre stratégie de modération de contenu. Vous avez les outils dont vous avez besoin pour rester au top de vos performances de modération de contenu et atteindre vos objectifs de contenu.
Sécurité
Utiliser Microsoft Entra ID ou une identité managée pour gérer l’accès
Pour bénéficier d’une sécurité renforcée, vous pouvez utiliser Microsoft Entra ID ou Identité managée (MI) pour gérer l’accès à vos ressources.
- Managed Identity est automatiquement activé quand vous créez une ressource Content Safety.
- Le service Microsoft Entra ID est pris en charge dans des scénarios d’API et de Kit de développement logiciel (SDK). Consultez les recommandations générales sur les services d’IA de l’Authentification avec Microsoft Entra ID. Vous pouvez également accorder l’accès à d’autres utilisateurs de votre organisation en leur attribuant les rôles Utilisateurs Cognitive Services et Lecteur. Pour en savoir plus sur l’octroi d’un accès utilisateur aux ressources Azure à l’aide du portail Azure, consultez le guide du contrôle d’accès en fonction du rôle.
Chiffrement des données au repos
Découvrez comment Azure AI Sécurité du Contenu gère le chiffrement et le déchiffrement de vos données. Les clés gérées par le client (CMK), également appelées BYOK (Bring Your Own Key), offrent plus de flexibilité pour créer, faire pivoter, désactiver et révoquer des contrôles d’accès. Vous pouvez également effectuer un audit sur les clés de chiffrement utilisées pour protéger vos données.
Tarification
Actuellement, Azure AI Sécurité du Contenu a des niveaux tarifaires F0 et S0. Consultez la page de tarification Azure pour plus d’informations.
Limites du service
Attention
Avis de dépréciation
Dans le cadre de la gestion des versions et du cycle de vie de Sécurité du Contenu, nous annonçons la dépréciation de certaines versions en préversion publique et en disponibilité générale de nos API de service. En accord avec notre politique de dépréciation :
- Versions en préversion publique : chaque nouvelle version de préversion publique déclenchera la dépréciation de la version précédente après une période de 90 jours, à condition qu’aucune modification cassante ne soit introduite.
- Versions en disponibilité générale : lorsqu’une nouvelle version en disponibilité générale est publiée, la version en disponibilité générale antérieure sera déconseillée après une période de 90 jours si la compatibilité est maintenue.
Consultez la page Nouveautés pour connaître les dépréciations à venir.
Critères des entrées
Consultez la liste suivante pour connaître les exigences d’entrée pour chaque fonctionnalité.
- API Analyser le texte :
- Longueur maximale par défaut : 10 000 caractères (fractionnez les textes plus longs si nécessaire).
- API Analyse Image :
- Taille maximale du fichier image : 4 Mo
- Dimensions comprises entre 50 x 50 et 7200 x 7200 pixels.
- Les images peuvent être aux formats JPEG, PNG, GIF, BMP, TIFF ou WEBP.
- API d’analyse multimodale (préversion) :
- Longueur de texte maximale par défaut : 1 000 caractères.
- Taille maximale du fichier image : 4 Mo
- Dimensions comprises entre 50 x 50 et 7200 x 7200 pixels.
- Les images peuvent être aux formats JPEG, PNG, GIF, BMP, TIFF ou WEBP.
- API Prompt Shields :
- Longueur maximale de l’invite : 10 000 caractères.
- Jusqu’à cinq documents avec un total de 10 000 caractères.
- API Détection du degré de pertinence :
- Longueur maximale pour les sources de fondement : 55 000 caractères (par appel d’API).
- Longueur maximale du texte et de la requête : 7 500 caractères.
- API de détection de matériel protégé :
- Longueur maximale par défaut : 1 000 caractères.
- Longueur minimale par défaut : 110 caractères (pour l’analyse des complétions LLM, pas pour les invites d’utilisateurs).
- API Catégories personnalisées (standard) (version d’évaluation) :
- Longueur maximale d’entrée d’inférence : 1 000 caractères.
Support multilingue
Les modèles Azure AI Sécurité du Contenu pour le matériel protégé, la détection de fondement et les catégories personnalisées (standard) fonctionnent uniquement avec l’anglais.
D’autres modèles Azure AI Sécurité du Contenu ont été spécifiquement formés et testés sur les langues suivantes : chinois, anglais, français, allemand, espagnol, italien, japonais, portugais. Ces fonctionnalités peuvent toutefois fonctionner dans de nombreuses autres langues, mais il est possible que la qualité varie. Dans tous les cas, vous devez effectuer vos propres tests pour vous assurer qu’il fonctionne pour votre application.
Pour plus d’informations, consultez Prise en charge linguistique.
Disponibilité dans les régions
Pour utiliser les API Sécurité du Contenu, devez créer votre ressource Azure AI Sécurité du Contenu dans une région prise en charge. Actuellement, les fonctionnalités content Safety sont disponibles dans les régions Azure suivantes avec différentes versions d’API :
| Région | Catégorie personnalisée | Fondement | Image | Multimodal (Image avec Tex) | Réponse aux incidents | Bouclier d’invite | Matériel protégé (Texte) | Matériel protégé (Code) | Détails | API unifiée |
|---|---|---|---|---|---|---|---|---|---|---|
| Australie Est | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Est du Canada | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA Centre | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| USA Est | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| USA Est 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| France Centre | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Japon Est | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centre-Nord des États-Unis | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Pologne Centre | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| États-Unis - partie centrale méridionale | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Inde Sud | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Suède Centre | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Suisse Nord | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Suisse Ouest | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Émirats arabes unis Nord | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Sud du Royaume-Uni | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Europe Ouest | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| USA Ouest | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| USA Ouest 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA Ouest 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| FairFax - USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| FairFax - USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
Si vous avez besoin que d’autres régions soient disponibles pour votre entreprise, n’hésitez pas à nous contacter.
Taux de requêtes
Les fonctionnalités de sécurité du contenu ont des limites de taux de requête en requêtes par seconde (RPS) ou en requêtes par 10 secondes (RP10S). Consultez le tableau suivant pour connaître les limites de débit pour chaque fonctionnalité.
| Niveau tarifaire | API de modération (texte et image) |
Boucliers d’invite | Matériel protégé detection |
Fondement détection (préversion) |
Catégories personnalisées (rapide) (préversion) |
Catégories personnalisées (standard) (préversion) |
Multimodal |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | S/O | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
Si vous avez besoin d’un débit plus rapide, veuillez nous contacter pour en faire la demande.
Nous contacter
Si vous êtes bloqué(e), envoyez-nous un e-mail ou utilisez le widget de commentaires en bas de n’importe quelle page Microsoft Learn.
Étapes suivantes
Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.