Partager via

Surveillance des abus

  • Article

Le service Azure OpenAI Service détecte et atténue des instances de contenu et/ou de comportements récurrents qui suggèrent l’utilisation du service d’une manière susceptible de violer le Code de conduite ou d’autres conditions applicables du produit. Vous trouverez plus d’informations sur la façon dont les données sont gérées sur la page Données, confidentialité et sécurité.

Composants de la surveillance des abus

La surveillance des abus comporte plusieurs composants :

  • Classification du contenu : les modèles de classifieurs détectent le texte et/ou les images nuisibles dans des invites utilisateur (entrées) et des saisies semi-automatiques (sorties). Le système recherche des catégories de dommages telles que définies dans les Exigences de contenu et attribue des niveaux de gravité comme décrit de manière plus détaillée dans la page Filtrage du contenu. Les signaux de classification de contenu contribuent à la détection des modèles, comme décrit ci-dessous.
  • Capture des modèles d’abus : le système de surveillance des abus d’Azure OpenAI Service examine des modèles d’utilisation des clients et utilise des algorithmes et des heuristiques pour détecter et noter des indicateurs d’abus potentiels. Les modèles détectés prennent en compte, par exemple, la fréquence et la gravité auxquelles du contenu nuisible est détecté (comme indiqué dans les signaux de classifieur de contenu) dans les invites et les saisies semi-automatiques d’un client, ainsi que de l’intentionnalité du comportement. Les tendances et l’urgence du modèle détecté affectent également le scoring de gravité potentielle des abus. Par exemple, un volume plus important de contenu nuisible classé comme plus grave, ou un comportement récurrent indiquant une intentionnalité (comme des tentatives récurrentes de jailbreak) sont tous deux plus susceptibles de recevoir un score élevé indiquant un abus potentiel.
  • Révision et décision : les invites et les achèvements signalés par la classification de contenu et/ou identifiés comme faisant partie d’un modèle d’utilisation potentiellement abusif sont soumis à un processus d’examen supplémentaire pour vous aider à confirmer l’analyse du système et à informer les décisions d’action. Cette révision est effectuée par deux méthodes : l’examen humain et l’analyse de l’IA.
    • Par défaut, si les invites et les achèvements sont signalés par le biais d’une classification de contenu comme dangereuses et/ou identifiées pour faire partie d’un modèle d’utilisation potentiellement abusif, ils peuvent être échantillonné pour une révision automatisée et hors vue à l’aide d’un LLM au lieu d’un réviseur humain. Le LLM utilisé à cette fin traite les invites et les achèvements uniquement pour confirmer l'analyse du système et informer les décisions d'action. Les invites et les achèvements qui font l'objet d'un tel examen par le LLM ne sont pas stockés par le système ou utilisés pour entraîner le LLM ou d'autres systèmes.
    • Dans certains cas, lorsque l'examen automatisé ne permet pas d'atteindre les seuils de confiance applicables dans des contextes complexes ou si les systèmes d'examen LLM ne sont pas disponibles, un examen humain peut être mis en place pour apporter un jugement supplémentaire. Cela peut aider à améliorer la précision globale de l’analyse des abus. Les employés de Microsoft autorisés peuvent évaluer le contenu marqué d’un indicateur et confirmer ou corriger la classification ou la détermination en fonction des instructions et stratégies prédéfinies. Les invites et les achèvements sont accessibles uniquement pour la révision humaine par les employés Microsoft autorisés via des stations de travail d’accès sécurisé (SAW) avec l’approbation de requête juste-à-temps (JIT) accordée par les responsables de l’équipe. Pour des ressources du service Azure OpenAI Service déployées dans l’Espace économique européen, les employés de Microsoft autorisés se trouvent dans l’Espace économique européen. Ce processus d’examen humain n’aura pas lieu si le client a été approuvé pour une surveillance modifiée des abus.
  • Notification et action : lorsqu’un seuil de comportement abusif a été confirmé en fonction des étapes précédentes, le client est informé de la détermination par e-mail. Sauf dans des cas d’abus graves ou récurrents, les clients ont généralement la possibilité d’expliquer ou de corriger et d’implémenter des mécanismes pour empêcher la répétition du comportement abusif. L’absence de traitement du comportement, ou un abus récurrent ou grave, peut entraîner la suspension ou l’arrêt de l’accès du client aux ressources et/ou fonctionnalités Azure OpenAI.

Surveillance des abus modifiée

Certains clients souhaitent peut-être utiliser Azure OpenAI Service pour un cas d’usage impliquant le traitement de données hautement sensibles ou hautement confidentielles, ou peuvent conclure qu’ils ne veulent pas ou n’ont pas le droit de permettre à Microsoft de stocker et d’effectuer une révision humaine sur leurs invites et leurs achèvements pour la détection des abus. Pour répondre à ces préoccupations, Microsoft permet aux clients qui répondent à d'autres critères d'éligibilité à l'accès limité de demander à modifier la surveillance des abus en remplissant ce formulaire. Pour en savoir plus sur la demande de surveillance des abus modifiée, voir Accès limité à Azure OpenAI Service, et sur l'impact de la surveillance des abus modifiée sur le traitement des données, voir Données, confidentialité et sécurité pour Azure OpenAI Service.

Remarque

Lorsque la surveillance des abus est modifiée et que l’examen humain n’est pas effectué, la détection des abus potentiels peut être moins précise. Les clients seront avertis de la détection potentielle des abus, comme décrit ci-dessus, et doivent être prêts à répondre à cette notification pour éviter toute interruption de service si possible.

Étapes suivantes