Usar riscos e monitoramento de segurança no Azure OpenAI Studio (visualização)
Ao usar uma implantação de modelo do Azure OpenAI com um filtro de conteúdo, convém verificar os resultados da atividade de filtragem. Você pode usar essas informações para ajustar ainda mais sua configuração de filtro para atender às suas necessidades específicas de negócios e aos princípios de IA responsável.
O Azure OpenAI Studio fornece um painel de monitoramento de Riscos e Segurança para cada uma de suas implantações que usa uma configuração de filtro de conteúdo.
Riscos de Acesso & Monitorização de segurança
Para acessar o monitoramento de Riscos e Segurança, você precisa de um recurso do Azure OpenAI em uma das regiões do Azure com suporte: Leste dos EUA, Suíça Norte, França Central, Suécia Central, Leste do Canadá. Você também precisa de uma implantação de modelo que use uma configuração de filtro de conteúdo.
Vá para o Azure OpenAI Studio e entre com as credenciais associadas ao seu recurso do Azure OpenAI. Selecione a guia Implantações à esquerda e, em seguida, selecione sua implantação de modelo na lista. Na página da implantação, selecione a guia Riscos e Segurança na parte superior.
Deteção de conteúdo
O painel Deteção de conteúdo mostra informações sobre a atividade do filtro de conteúdo. A configuração do filtro de conteúdo é aplicada conforme descrito na documentação de filtragem de conteúdo.
Descrição do relatório
Os dados de filtragem de conteúdo são mostrados das seguintes maneiras:
- Contagem total de solicitações bloqueadas e taxa de bloqueio: esta exibição mostra uma exibição global da quantidade e taxa de conteúdo filtrado ao longo do tempo. Isso ajuda você a entender as tendências de solicitações prejudiciais dos usuários e ver qualquer atividade inesperada.
- Pedidos bloqueados por categoria: esta vista mostra a quantidade de conteúdo bloqueado para cada categoria. Esta é uma estatística completa de solicitações prejudiciais em todo o intervalo de tempo selecionado. Atualmente, apoia as categorias de dano ódio, sexual, automutilação e violência.
- Taxa de bloqueio ao longo do tempo por categoria: esta vista mostra a taxa de bloqueio para cada categoria ao longo do tempo. Atualmente, apoia as categorias de dano ódio, sexual, automutilação e violência.
- Distribuição da gravidade por categoria: esta vista mostra os níveis de gravidade detetados para cada categoria de danos, em todo o intervalo de tempo selecionado. Isso não se limita ao conteúdo bloqueado, mas inclui todo o conteúdo que foi sinalizado pelos filtros de conteúdo.
- Distribuição da taxa de gravidade ao longo do tempo por categoria: esta vista mostra as taxas de níveis de gravidade detetados ao longo do tempo, para cada categoria de dano. Selecione as guias para alternar entre as categorias suportadas.
Ações recomendadas
Ajuste a configuração do filtro de conteúdo para se alinhar ainda mais às necessidades de negócios e aos princípios de IA responsável.
Deteção de usuários potencialmente abusivos
O painel Deteção de usuários potencialmente abusivos aproveita os relatórios de abuso no nível do usuário para mostrar informações sobre usuários cujo comportamento resultou em conteúdo bloqueado. O objetivo é ajudá-lo a obter uma visão das fontes de conteúdo nocivo para que você possa tomar ações responsivas para garantir que o modelo esteja sendo usado de forma responsável.
Para usar a Deteção de usuários potencialmente abusivos, você precisa:
- Uma configuração de filtro de conteúdo aplicada à sua implantação.
- Você deve estar enviando informações de ID de usuário em suas solicitações de conclusão de bate-papo (consulte o parâmetro de usuário da API de conclusão, por exemplo).
Atenção
Use cadeias de caracteres GUID para identificar usuários individuais. Não inclua informações pessoais sensíveis no campo "usuário".
- Um banco de dados do Azure Data Explorer configurado para armazenar os resultados da análise do usuário (instruções abaixo).
Configurar o banco de dados do Azure Data Explorer
A fim de proteger a privacidade de dados das informações do usuário e gerenciar a permissão dos dados, apoiamos a opção de nossos clientes trazerem seu próprio armazenamento para obter os insights detalhados de deteção de usuários potencialmente abusivos (incluindo GUID do usuário e estatísticas sobre solicitação prejudicial por categoria) armazenados de forma compatível e com controle total. Siga estas etapas para habilitá-lo:
- No Azure OpenAI Studio, navegue até a implantação do modelo com a qual você deseja configurar a análise de abuso do usuário e selecione Adicionar um armazenamento de dados.
- Preencha as informações necessárias e selecione Salvar. Recomendamos que você crie um novo banco de dados para armazenar os resultados da análise.
- Depois de conectar o armazenamento de dados, execute as seguintes etapas para conceder permissão para gravar resultados de análise no banco de dados conectado:
- Vá para a página do seu recurso do Azure OpenAI no portal do Azure e escolha a guia Identidade .
- Ative o status para a identidade atribuída ao sistema e copie a ID gerada.
- Vá para seu recurso do Azure Data Explorer no portal do Azure, escolha bancos de dados e, em seguida, escolha o banco de dados específico que você criou para armazenar os resultados da análise do usuário.
- Selecione permissões e adicione uma função de administrador ao banco de dados.
- Cole a identidade do Azure OpenAI gerada na etapa anterior e selecione a pesquisada. Agora, a identidade do seu recurso do Azure OpenAI está autorizada a ler/gravar na conta de armazenamento.
- Conceda acesso ao banco de dados do Azure Data Explorer conectado aos usuários que precisam exibir os resultados da análise:
- Vá para o recurso do Azure Data Explorer que você conectou, escolha controle de acesso e adicione uma função de leitor do cluster do Azure Data Explorer para os usuários que precisam acessar os resultados.
- Escolha bancos de dados e escolha o banco de dados específico que está conectado para armazenar os resultados da análise de abuso no nível do usuário. Escolha permissões e adicione a função de leitor do banco de dados para os usuários que precisam acessar os resultados.
Descrição do relatório
A deteção de usuário potencialmente abusiva depende das informações do usuário que os clientes enviam com suas chamadas de API do Azure OpenAI, juntamente com o conteúdo da solicitação. Os seguintes insights são mostrados:
- Contagem total de utilizadores potencialmente abusivos: esta vista mostra o número de utilizadores potencialmente abusivos detetados ao longo do tempo. Trata-se de utilizadores para os quais foi detetado um padrão de abuso e que podem introduzir um risco elevado.
- Lista de utilizadores potencialmente abusivos: Esta vista é uma lista detalhada de utilizadores potencialmente abusivos detetados. Fornece as seguintes informações para cada utilizador:
- UserGUID: Isso é enviado pelo cliente por meio do campo "usuário" nas APIs do Azure OpenAI.
- Pontuação de abuso: Esta é uma figura gerada pelo modelo que analisa as solicitações e o comportamento de cada usuário. O placar é normalizado para 0 a 1. Uma pontuação mais alta indica um maior risco de abuso.
- Tendência da pontuação de abuso: a alteração na pontuação de abuso durante o intervalo de tempo selecionado.
- Data de avaliação: A data em que os resultados foram analisados.
- Rácio/contagem total de pedidos de abuso
- Rácio de abuso/contagem por categoria
Ações recomendadas
Combine esses dados com sinais enriquecidos para validar se os usuários detetados são realmente abusivos ou não. Se estiverem, tome medidas responsivas, como limitar ou suspender o usuário para garantir o uso responsável do seu aplicativo.
Próximos passos
Em seguida, crie ou edite uma configuração de filtro de conteúdo no Azure OpenAI Studio.