Partager via

Utiliser la surveillance des risques et de la sécurité dans Azure AI Foundry (préversion)

  • Article

Lorsque vous utilisez un modèle de déploiement Azure OpenAI avec un filtre de contenu, il se peut que vous souhaitiez vérifier les résultats de l’activité de filtrage. Vous pouvez utiliser ces informations pour ajuster davantage votre configuration de filtre afin de répondre à vos besoins métier spécifiques et aux principes d’IA responsable.

Azure AI Foundry fournit un tableau de bord de surveillance des risques et de la sécurité pour chacun de vos déploiements utilisant une configuration de filtre de contenu.

Surveillance des risques et de la sécurité

Pour accéder à la Surveillance des risques et de la sécurité, vous avez besoin d’une ressource Azure OpenAI dans l’une des régions Azure prises en charge : USA Est, Suisse Nord, France Centre, Suède Centre, Canada Est. Vous avez également besoin d’un modèle de déploiement, qui utilise une configuration de filtre de contenu.

Accédez à Azure AI Foundry et connectez-vous avec les informations d’identification associées à votre ressource Azure OpenAI. Sélectionnez un projet. Sélectionnez ensuite l’onglet Modèles + points de terminaison à gauche, puis votre modèle de déploiement dans la liste. Dans la page du déploiement, sélectionnez l’onglet Métriques en haut. Sélectionnez ensuite Ouvrir dans Azure Monitor pour afficher le rapport complet dans le Portail Azure.

Configurer les métriques

Description de l’état

Les données de filtrage de contenu sont affichées des manières suivantes :

  • Nombre total de demandes bloquées et taux de blocage : cette vue affiche une vue globale de la quantité et du taux de contenu qui est filtré au fil du temps. Cela vous aide à comprendre les tendances des demandes dangereuses des utilisateurs et à avoir un aperçu de toute activité inattendue.
  • Demandes bloquées par catégorie : cette vue affiche la quantité de contenu bloquée pour chaque catégorie. Il s’agit d’une statistique de toutes les demandes préjudiciables sur l’intervalle de temps sélectionné. Il prend actuellement en charge les catégories préjudiciables haineuses, sexuelles, auto-mutilation et violence.
  • Taux de blocage au fil du temps par catégorie : cette vue affiche le taux de blocage pour chaque catégorie au fil du temps. Il prend actuellement en charge les catégories préjudiciables haineuses, sexuelles, auto-mutilation et violence.
  • Distribution de gravité par catégorie : cette vue affiche les niveaux de gravité détectés pour chaque catégorie préjudiciable, sur tout l’intervalle de temps sélectionné. Cela n’est pas limité au contenu bloqué, mais inclut plutôt tout le contenu signalé par les filtres de contenu.
  • Distribution du taux de gravité au fil du temps par catégorie : cette vue montre les taux de niveaux de gravité détectés au fil du temps, pour chaque catégorie préjudiciable. Sélectionnez les onglets pour basculer entre les catégories prises en charge.

Ajustez la configuration de votre filtre de contenu pour s’aligner davantage aux besoins de l’entreprise et aux principes de l’IA responsable.

Détection d’utilisateurs potentiellement abusifs

Le volet Détection d’utilisateurs potentiellement abusifs tire profit des rapports d’abus au niveau des utilisateurs, afin d’afficher des informations sur les utilisateurs dont le comportement a entraîné le blocage du contenu. L’objectif est de vous aider à obtenir une vue des sources de contenu nocif, afin de pouvoir prendre des mesures réactives pour vous assurer que le modèle est utilisé de manière responsable.

Pour utiliser la Détection d’utilisateurs potentiellement abusive, vous avez besoin des éléments suivants :

  • Une configuration de filtre de contenu appliquée à votre déploiement.
  • Vous devez envoyer des informations d’ID utilisateur dans vos requêtes de complétion de conversation (voir le paramètre utilisateur de l’API Completions, par exemple).

    Attention

    Utilisez des chaînes GUID pour identifier des utilisateurs individuels. N’incluez pas d’informations personnelles sensibles dans le champ « utilisateur ».

  • Une base de données Azure Data Explorer configurée pour stocker les résultats de l’analyse de l’utilisateur (instructions ci-dessous).

Configurer votre base de données Azure Data Explorer

Pour protéger la confidentialité des données des informations des utilisateurs et gérer l’autorisation des données, nous prenons en charge l’option permettant à nos clients d’apporter leur propre stockage pour obtenir des insights détaillés sur la détection des utilisateurs potentiellement abusifs (y compris le GUID de l’utilisateur et les statistiques sur les demandes dangereuses par catégorie) stockés de manière conforme et avec un contrôle total. Procédez comme suit pour l’activer :

  1. Dans Azure AI Foundry, accédez au modèle de déploiement avec lequel vous souhaitez configurer l’analyse des abus d’utilisateurs, puis sélectionnez Ajouter un magasin de données.
  2. Renseignez les informations requises, puis sélectionnez Enregistrer. Nous vous recommandons de créer une base de données pour stocker les résultats d’analyse.
  3. Après avoir connecté le magasin de données, procédez comme suit pour accorder l’autorisation d’écrire des résultats d’analyse dans la base de données connectée :
    1. Accédez à la page de votre ressource Azure OpenAI dans le portail Azure, puis choisissez l’onglet Identité.
    2. Passez l’état sur Activé pour l’identité affectée par le système, puis copiez l’ID généré.
    3. Accédez à votre ressource Azure Data Explorer dans le portail Azure, sélectionnez bases de données, puis choisissez la base de données spécifique que vous avez créée pour stocker les résultats de l’analyse de l’utilisateur.
    4. Sélectionnez autorisations, puis ajoutez un rôle d’administrateur à la base de données.
    5. Collez l’identité Azure OpenAI générée à l’étape précédente, puis sélectionnez celle recherchée. À présent, l’identité de votre ressource Azure OpenAI est autorisée à lire/écrire dans le compte de stockage.
  4. Accordez l’accès à la base de données Azure Data Explorer connectée aux utilisateurs qui doivent afficher les résultats de l’analyse :
    1. Accédez à la ressource Azure Data Explorer que vous avez connectée, sélectionnez contrôle d’accès et ajoutez un rôle de lecteur du cluster Azure Data Explorer pour les utilisateurs qui ont besoin d’accéder aux résultats.
    2. Sélectionnez bases de données et choisissez la base de données spécifique connectée pour stocker les résultats de l’analyse des abus au niveau de l’utilisateur. Sélectionnez autorisations et ajoutez le rôle de lecteur de la base de données pour les utilisateurs qui ont besoin d’accéder aux résultats.

Description de l’état

La détection d’utilisateurs potentiellement abusifs s’appuie sur les informations utilisateur envoyées par les clients avec leurs appels Azure OpenAI API, ainsi que le contenu de la demande. Les insights suivants sont présentés :

  • Nombre total d’utilisateurs potentiellement abusifs : cette vue indique le nombre d’utilisateurs potentiellement abusifs détectés au fil du temps. Il s’agit d’utilisateurs pour lesquels un modèle d’abus a été détecté et qui pourrait introduire un risque élevé.
  • Liste des utilisateurs potentiellement abusifs : cette vue est une liste détaillée des utilisateurs potentiellement abusifs détectés. Elle donne les informations suivantes pour chaque utilisateur :
    • UserGUID : ceci est envoyé par le client via le champ « utilisateur » dans les API Azure OpenAI.
    • Score d’abus : il s’agit d’un chiffre généré par le modèle analysant les requêtes et le comportement de chaque utilisateur. Le score est normalisé à 0-1. Un score plus élevé indique un risque d’abus plus élevé.
    • Tendance du score d’abus : le changement du score d’abus pendant l’intervalle de temps sélectionné.
    • Date d’évaluation : la date à laquelle les résultats ont été analysés.
    • Ratio/Nombre total des requête relatives aux abus
    • Ratio/Nombre d’abus par catégorie

Combinez ces données avec des signaux enrichis pour vérifier si les utilisateurs détectés sont vraiment abusifs ou non. Si c’est le cas, prenez des mesures réactives telles que la limitation ou la suspension de l’utilisateur pour garantir l’utilisation responsable de votre application.

Étapes suivantes

Ensuite, créez ou modifiez une configuration de filtre de contenu dans Azure AI Foundry.