Use com segurança o Azure OpenAI em seus dados

Nota

A partir de junho de 2024, o formulário de inscrição para o ponto de extremidade privado gerenciado pela Microsoft para o Azure AI Search não é mais necessário.

O ponto de extremidade privado gerenciado será excluído da rede virtual gerenciada pela Microsoft em julho de 2025. Se você já provisionou um ponto de extremidade privado gerenciado por meio do processo de aplicativo antes de junho de 2024, habilite o serviço confiável Azure AI Search o mais cedo possível para evitar a interrupção do serviço.

Use este artigo para saber como usar o Azure OpenAI On Your Data com segurança, protegendo dados e recursos com o controle de acesso baseado em função do Microsoft Entra ID, redes virtuais e pontos de extremidade privados.

Este artigo só é aplicável ao usar o Azure OpenAI On Your Data com texto. Ele não se aplica ao Azure OpenAI On Your Data com imagens.

Arquitetura de ingestão de dados

Quando você usa o Azure OpenAI On Your Data para ingerir dados do armazenamento de blob do Azure, arquivos locais ou URLs no Azure AI Search, o processo a seguir é usado para processar os dados.

• As etapas 1 e 2 são usadas apenas para o upload de arquivos.
• O download de URLs para seu armazenamento de blob não é ilustrado neste diagrama. Depois que as páginas da Web são baixadas da Internet e carregadas para o armazenamento de blobs, as etapas 3 em diante são as mesmas.
• Dois indexadores, dois índices, duas fontes de dados e uma habilidade personalizada são criados no recurso Azure AI Search.
• O contêiner de blocos é criado no armazenamento de blob.
• Se o esquema desencadear a ingestão, o processo de ingestão começa a partir do passo 7.
• A API do preprocessing-jobs Azure OpenAI implementa o protocolo da API Web de habilidade do cliente do Azure AI Search e processa os documentos em uma fila.
• Azure OpenAI:
  1. Internamente usa o primeiro indexador criado anteriormente para quebrar os documentos.
  2. Usa um algoritmo baseado em heurística para executar o chunking. Ele respeita layouts de tabela e outros elementos de formatação no limite de bloco para garantir a melhor qualidade de fragmentação.
  3. Se você optar por habilitar a pesquisa vetorial, o Azure OpenAI usará a configuração de incorporação selecionada para vetorizar os blocos.
• Quando todos os dados que o serviço está monitorando são processados, o Azure OpenAI aciona o segundo indexador.
• O indexador armazena os dados processados em um serviço Azure AI Search.

Para as identidades gerenciadas usadas em chamadas de serviço, apenas as identidades gerenciadas atribuídas ao sistema são suportadas. Não há suporte para identidades gerenciadas atribuídas pelo usuário.

Arquitetura de inferência

Quando você envia chamadas de API para conversar com um modelo OpenAI do Azure em seus dados, o serviço precisa recuperar os campos de índice durante a inferência para executar o mapeamento de campos. Portanto, o serviço requer que a identidade OpenAI do Azure tenha a função para o serviço de pesquisa, mesmo durante a Search Service Contributor inferência.

Se uma dependência de incorporação for fornecida na solicitação de inferência, o Azure OpenAI vetorizará a consulta reescrita e a consulta e o vetor serão enviados para o Azure AI Search para pesquisa vetorial.

Controle de acesso no nível do documento

Nota

O controle de acesso no nível de documento é suportado apenas para a pesquisa de IA do Azure.

O Azure OpenAI On Your Data permite restringir os documentos que podem ser usados em respostas para diferentes usuários com os filtros de segurança do Azure AI Search. Quando você habilita o acesso no nível do documento, o Azure AI Search corta os resultados da pesquisa com base na associação do grupo Microsoft Entra do usuário especificada no filtro. Você só pode habilitar o acesso no nível do documento em índices existentes do Azure AI Search. Para habilitar o acesso no nível do documento:

1. Para registrar seu aplicativo e criar usuários e grupos, siga as etapas na documentação do Azure AI Search.

2. Indexe seus documentos com os grupos permitidos. Certifique-se de que seus novos campos de segurança tenham o esquema:

   {"name": "group_ids", "type": "Collection(Edm.String)", "filterable": true }
   

   group_ids é o nome do campo padrão. Se você usar um nome de campo diferente como my_group_ids, poderá mapear o campo no mapeamento de campo de índice.

3. Verifique se cada documento confidencial no índice tem esse valor de campo de segurança definido para os grupos permitidos do documento.

4. No Azure OpenAI Studio, adicione sua fonte de dados. Na seção Mapeamento de campo de índice, você pode mapear zero ou um valor para o campo Grupos permitidos, desde que o esquema seja compatível. Se o campo de grupos permitidos não estiver mapeado, o acesso ao nível do documento será desativado.

Azure OpenAI Studio

Depois que o índice do Azure AI Search estiver conectado, suas respostas no estúdio terão acesso ao documento com base nas permissões do Microsoft Entra do usuário conectado.

Aplicação Web

Se você estiver usando um aplicativo Web publicado, precisará reimplantá-lo para atualizar para a versão mais recente. A versão mais recente do aplicativo Web inclui a capacidade de recuperar os grupos da conta Microsoft Entra do usuário conectado, armazená-la em cache e incluir as IDs de grupo em cada solicitação de API.

API

Ao usar a API, passe o filter parâmetro em cada solicitação de API. Por exemplo:

Importante

O seguinte é apenas por exemplo. Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

{
    "messages": [
        {
            "role": "user",
            "content": "who is my manager?"
        }
    ],
    "data_sources": [
        {
            "type": "azure_search",
            "parameters": {
                "endpoint": "<AZURE_AI_SEARCH_ENDPOINT>",
                "key": "<AZURE_AI_SEARCH_API_KEY>",
                "index_name": "<AZURE_AI_SEARCH_INDEX>",
                "filter": "my_group_ids/any(g:search.in(g, 'group_id1, group_id2'))"
            }
        }
    ]
}

• my_group_ids é o nome do campo que você selecionou para Grupos permitidos durante o mapeamento de campos.
• group_id1, group_id2 são grupos atribuídos ao utilizador com sessão iniciada. O aplicativo cliente pode recuperar e armazenar em cache grupos de usuários.

Configuração de recursos

Use as seções a seguir para configurar seus recursos para um uso seguro ideal. Mesmo que você planeje proteger apenas parte de seus recursos, ainda precisará seguir todas as etapas.

Este artigo descreve as configurações de rede relacionadas à desativação da rede pública para recursos do Azure OpenAI, recursos de pesquisa do Azure AI e contas de armazenamento. Não há suporte para o uso de redes selecionadas com regras de IP, porque os endereços IP dos serviços são dinâmicos.

Criar grupo de recursos

Crie um grupo de recursos, para que você possa organizar todos os recursos relevantes. Os recursos no grupo de recursos incluem, mas não estão limitados a:

• Uma rede virtual
• Três serviços principais: um Azure OpenAI, um Azure AI Search, uma Conta de Armazenamento
• Três pontos de extremidade privados, cada um está vinculado a um serviço chave
• Três interfaces de rede, cada uma associada a um ponto de extremidade privado
• Um gateway de rede virtual, para o acesso a partir de máquinas cliente locais
• Uma aplicação Web com rede virtual integrada
• Uma zona DNS privada, para que o Aplicativo Web encontre o IP do seu Azure OpenAI

Criar a rede virtual

A rede virtual tem três sub-redes.

1. A primeira sub-rede é usada para o gateway de rede virtual.
2. A segunda sub-rede é usada para os pontos de extremidade privados para os três serviços principais.
3. A terceira sub-rede está vazia e é usada para integração de rede virtual de saída do Aplicativo Web.

Configurar o Azure OpenAI

Subdomínio personalizado habilitado

O subdomínio personalizado é necessário para autenticação baseada no Microsoft Entra ID e zona DNS privada. Se o recurso OpenAI do Azure for criado usando o modelo ARM, o subdomínio personalizado deverá ser especificado explicitamente.

Ativar a identidade gerida

Para permitir que sua Conta de Pesquisa e Armazenamento do Azure AI reconheça seu Serviço Azure OpenAI por meio da autenticação do Microsoft Entra ID, você precisa atribuir uma identidade gerenciada para seu Serviço Azure OpenAI. A maneira mais fácil é ativar a identidade gerenciada atribuída ao sistema no portal do Azure.

Para definir as identidades gerenciadas por meio da API de gerenciamento, consulte a documentação de referência da API de gerenciamento.

"identity": {
  "principalId": "<YOUR-PRINCIPAL-ID>",
  "tenantId": "<YOUR-TENNANT-ID>",
  "type": "SystemAssigned, UserAssigned", 
  "userAssignedIdentities": {
    "/subscriptions/<YOUR-SUBSCIRPTION-ID>/resourceGroups/my-resource-group",
    "principalId": "<YOUR-PRINCIPAL-ID>", 
    "clientId": "<YOUR-CLIENT-ID>"
  }
}

Ativar serviço confiável

Para permitir que sua Pesquisa de IA do Azure chame seu Azure OpenAI preprocessing-jobs como API Web de habilidade personalizada, enquanto o Azure OpenAI não tem acesso à rede pública, você precisa configurar o Azure OpenAI para ignorar o Azure AI Search como um serviço confiável com base na identidade gerenciada. O Azure OpenAI identifica o tráfego da sua Pesquisa de IA do Azure verificando as declarações no JSON Web Token (JWT). O Azure AI Search deve usar a autenticação de identidade gerenciada atribuída ao sistema para chamar a API Web de habilidade personalizada.

AzureServices Defina networkAcls.bypass como a partir da API de gerenciamento. Para obter mais informações, consulte o artigo Redes virtuais.

Esta etapa só pode ser ignorada se você tiver um link privado compartilhado para seu recurso Azure AI Search.

Desativar o acesso à rede pública

Você pode desabilitar o acesso à rede pública do seu recurso Azure OpenAI no portal do Azure.

Para permitir o acesso ao seu Serviço Azure OpenAI a partir de suas máquinas cliente, como usar o Azure OpenAI Studio, você precisa criar conexões de ponto de extremidade privadas que se conectam ao seu recurso do Azure OpenAI.

Configurar a Pesquisa de IA do Azure

Você pode usar o nível de preço básico e superior para o recurso de pesquisa. Não é necessário, mas se você usar o nível de preço do S2, opções avançadas estarão disponíveis.

Ativar a identidade gerida

Para permitir que seus outros recursos reconheçam a Pesquisa de IA do Azure usando a autenticação de ID do Microsoft Entra, você precisa atribuir uma identidade gerenciada para sua Pesquisa de IA do Azure. A maneira mais fácil é ativar a identidade gerenciada atribuída ao sistema no portal do Azure.

Habilitar o controle de acesso baseado em função

Como o Azure OpenAI usa a identidade gerenciada para acessar a Pesquisa do Azure AI, você precisa habilitar o controle de acesso baseado em função em sua Pesquisa do Azure AI. Para fazer isso no portal do Azure, selecione Ambos ou Controle de acesso baseado em função na guia Chaves no portal do Azure.

Para obter mais informações, consulte o artigo Azure AI Search RBAC.

Desativar o acesso à rede pública

Você pode desabilitar o acesso à rede pública do seu recurso Azure AI Search no portal do Azure.

Para permitir o acesso ao seu recurso Azure AI Search a partir de suas máquinas cliente, como usar o Azure OpenAI Studio, você precisa criar conexões de ponto de extremidade privadas que se conectam ao seu recurso Azure AI Search.

Ativar serviço confiável

Você pode habilitar o serviço confiável do seu recurso de pesquisa no portal do Azure.

Vá para a guia de rede do seu recurso de pesquisa. Com o acesso à rede pública definido como desativado, selecione Permitir serviços do Azure na lista de serviços confiáveis para acessar esse serviço de pesquisa.

Você também pode usar a API REST para habilitar o serviço confiável. Este exemplo usa a CLI do Azure e a jq ferramenta.

rid=/subscriptions/<YOUR-SUBSCRIPTION-ID>/resourceGroups/<YOUR-RESOURCE-GROUP>/providers/Microsoft.Search/searchServices/<YOUR-RESOURCE-NAME>
apiVersion=2024-03-01-Preview
#store the resource properties in a variable
az rest --uri "https://management.azure.com$rid?api-version=$apiVersion" > search.json

#replace bypass with AzureServices using jq
jq '.properties.networkRuleSet.bypass = "AzureServices"' search.json > search_updated.json

#apply the updated properties to the resource
az rest --uri "https://management.azure.com$rid?api-version=$apiVersion" \
    --method PUT \
    --body @search_updated.json

Criar link privado compartilhado

Gorjeta

Se estiver a utilizar um escalão de preços básico ou padrão, ou se for a primeira vez que configura todos os seus recursos de forma segura, deve ignorar este tópico avançado.

Esta seção só é aplicável ao recurso de pesquisa da camada de preços do S2, pois requer suporte de ponto final privado para indexadores com um conjunto de habilidades.

Para criar um link privado compartilhado a partir do seu recurso de pesquisa conectando-se ao seu recurso do Azure OpenAI, consulte a documentação de pesquisa. Selecione Tipo de recurso como Microsoft.CognitiveServices/accounts e ID de grupo como openai_account.

Com o link privado compartilhado, a etapa 8 do diagrama da arquitetura de ingestão de dados é alterada de ignorar serviço confiável para link privado compartilhado.

Configurar conta de armazenamento

Ativar serviço confiável

Para permitir o acesso à sua Conta de Armazenamento a partir do Azure OpenAI e do Azure AI Search, tem de configurar a Conta de Armazenamento para ignorar o Azure OpenAI e o Azure AI Search como serviços fidedignos baseados na identidade gerida.

No portal do Azure, navegue até a guia rede da sua conta de armazenamento, escolha "Redes selecionadas" e selecione Permitir serviços do Azure na lista de serviços confiáveis para acessar essa conta de armazenamento e clique em Salvar.

Desativar o acesso à rede pública

Pode desativar o acesso à rede pública da sua Conta de Armazenamento no portal do Azure.

Para permitir o acesso à sua Conta de Armazenamento a partir de suas máquinas cliente, como usar o Azure OpenAI Studio, você precisa criar conexões de ponto de extremidade privadas que se conectam ao seu armazenamento de blobs.

Atribuições de funções

Até agora você já configurou cada recurso de forma independente. Em seguida, você precisa permitir que os serviços se autorizem.

Role	Cessionário	Recurso	Description
Search Index Data Reader	Azure OpenAI	Pesquisa de IA do Azure	O serviço de inferência consulta os dados do índice.
Search Service Contributor	Azure OpenAI	Pesquisa de IA do Azure	O serviço de inferência consulta o esquema de índice para mapeamento automático de campos. O serviço de ingestão de dados cria índice, fontes de dados, conjunto de habilidades, indexador e consulta o status do indexador.
Storage Blob Data Contributor	Azure OpenAI	Conta de Armazenamento	Lê do contêiner de entrada e grava o resultado pré-processado no contêiner de saída.
Cognitive Services OpenAI Contributor	Pesquisa de IA do Azure	Azure OpenAI	Habilidade personalizada.
Storage Blob Data Reader	Pesquisa de IA do Azure	Conta de Armazenamento	Lê blobs de documentos e blobs de blocos.
Reader	Azure AI Studio Project	Pontos de extremidade privados do Armazenamento do Azure (Blob & File)	Leia os índices de pesquisa criados no armazenamento de blob dentro de um projeto do AI Studio.
Cognitive Services OpenAI User	Aplicação Web	Azure OpenAI	Inferência.

Na tabela acima, o significa que o Assignee sistema atribuiu a identidade gerenciada desse recurso.

O administrador precisa ter a Owner função nesses recursos para adicionar atribuições de função.

Consulte a documentação do RBAC do Azure para obter instruções sobre como definir essas funções no portal do Azure. Você pode usar o script disponível no GitHub para adicionar as atribuições de função programaticamente.

Para permitir que os desenvolvedores usem esses recursos para criar aplicativos, o administrador precisa adicionar a identidade dos desenvolvedores com as seguintes atribuições de função aos recursos.

Role	Recurso	Description
Cognitive Services OpenAI Contributor	Azure OpenAI	Chame a API de ingestão pública do Azure OpenAI Studio. A Contributor função não é suficiente, porque se você tiver Contributor apenas função, não poderá chamar a API do plano de dados por meio da autenticação de ID do Microsoft Entra e a autenticação de ID do Microsoft Entra é necessária na configuração segura descrita neste artigo.
Cognitive Services User	Azure OpenAI	Liste chaves de API do Azure OpenAI Studio.
Contributor	Pesquisa de IA do Azure	Liste chaves de API para listar índices do Azure OpenAI Studio.
Contributor	Conta de Armazenamento	Listar Conta SAS para carregar arquivos do Azure OpenAI Studio.
Contributor	O grupo de recursos ou a assinatura do Azure em que o desenvolvedor precisa implantar o aplicativo Web	Implante o aplicativo Web na assinatura do Azure do desenvolvedor.
Role Based Access Control Administrator	Azure OpenAI	Permissão para configurar a atribuição de função necessária no recurso OpenAI do Azure. Permite que o aplicativo Web chame o Azure Open AI.

Configurar gateway e cliente

Para acessar o Serviço OpenAI do Azure a partir de suas máquinas cliente locais, uma das abordagens é configurar o Gateway de VPN do Azure e o Cliente de VPN do Azure.

Siga esta diretriz para criar um gateway de rede virtual para sua rede virtual.

Siga esta diretriz para adicionar configuração ponto a site e habilitar a autenticação baseada em ID do Microsoft Entra. Baixe o pacote de configuração do perfil do Cliente VPN do Azure, descompacte e importe o arquivo para seu AzureVPN/azurevpnconfig.xml cliente VPN do Azure.

Configure o arquivo da máquina hosts local para apontar os nomes de host dos recursos para os IPs privados na rede virtual. O hosts arquivo está localizado em C:\Windows\System32\drivers\etc para Windows e em /etc/hosts Linux. Exemplo:

10.0.0.5 contoso.openai.azure.com
10.0.0.6 contoso.search.windows.net
10.0.0.7 contoso.blob.core.windows.net

Azure OpenAI Studio

Você deve ser capaz de usar todos os recursos do Azure OpenAI Studio, incluindo ingestão e inferência, de suas máquinas cliente locais.

Aplicação Web

O aplicativo Web se comunica com seu recurso OpenAI do Azure. Como seu recurso do Azure OpenAI tem a rede pública desabilitada, o aplicativo Web precisa ser configurado para usar o ponto de extremidade privado em sua rede virtual para acessar seu recurso do Azure OpenAI.

O aplicativo Web precisa resolver seu nome de host do Azure OpenAI para o IP privado do ponto de extremidade privado do Azure OpenAI. Então, você precisa configurar a zona DNS privada para sua rede virtual primeiro.

1. Crie uma zona DNS privada no seu grupo de recursos.
2. Adicione um registo DNS. O IP é o IP privado do ponto de extremidade privado para seu recurso do Azure OpenAI, e você pode obter o endereço IP da interface de rede associada ao ponto de extremidade privado para seu Azure OpenAI.
3. Vincule a zona DNS privada à sua rede virtual para que o aplicativo Web integrado nessa rede virtual possa usar essa zona DNS privada.

Ao implantar o aplicativo Web do Azure OpenAI Studio, selecione o mesmo local com a rede virtual e selecione uma SKU adequada, para que possa dar suporte ao recurso de integração de rede virtual.

Depois que o aplicativo Web for implantado, na guia Rede do portal do Azure, configure a integração de rede virtual de tráfego de saída do aplicativo Web, escolha a terceira sub-rede que você reservou para o aplicativo Web.

Usando a API

Certifique-se de que a sua credencial de início de sessão tem Cognitive Services OpenAI Contributor função no seu recurso OpenAI do Azure e execute az login primeiro.

API de ingestão

Consulte o artigo de referência da API de ingestão para obter detalhes sobre os objetos de solicitação e resposta usados pela API de ingestão.

API de inferência

Consulte o artigo de referência da API de inferência para obter detalhes sobre os objetos de solicitação e resposta usados pela API de inferência.

Usar o Microsoft Defender for Cloud

Agora você pode integrar o Microsoft Defender for Cloud (visualização) com seus recursos do Azure para proteger seus aplicativos. O Microsoft Defender for Cloud protege seus aplicativos com proteção contra ameaças para cargas de trabalho de IA, fornecendo às equipes alertas de segurança baseados em evidências enriquecidos com sinais de inteligência de ameaças da Microsoft e permite que as equipes fortaleçam sua postura de segurança com recomendações integradas de práticas recomendadas de segurança.

Utilize este formulário para solicitar o acesso.