Compartilhar via

Anexar um recurso de vários serviços de IA do Azure a um conjunto de habilidades na IA do Azure Search

  • Artigo

Ao configurar um pipeline de enriquecimento de IA opcional no IA do Azure Search, você pode enriquecer um pequeno número de documentos gratuitamente, limitado a 20 transações diárias por índice. Para cargas de trabalho maiores e mais frequentes, anexe um recurso de vários serviços de IA do Azure faturável.

Uma conta multisserviço fornece uma coleção de serviços de IA do Azure, em vez de serviços individuais. Fornecer uma conta em um conjunto de habilidades da Pesquisa de IA do Azure permite que a Microsoft cobre pelo uso desses serviços:

Você deve fornecer informações de conexão para vários recursos de IA do Azure no conjunto de habilidades. A Pesquisa de IA do Azure não usa a conexão para cargas de trabalho de conjunto de habilidades, mas usa a conexão para acessar os medidores de cobrança no recurso. Dessa forma, sua conta de serviços de IA do Azure é usada para cobrança, não para processamento de habilidades. A Pesquisa de IA do Azure usa recursos dedicados separados para processamento de habilidades.

Você pode usar uma chave na conexão ou implementar uma abordagem sem chave que está atualmente em versão prévia.

Dica

O Azure fornece infraestrutura para monitorar a cobrança e os orçamentos. Para obter mais informações sobre como monitorar os serviços de IA do Azure, confira Planejar e gerenciar custos para os serviços de IA do Azure.

Pré-requisitos

  • Conectividade em um ponto de extremidade público, a menos que seu serviço de pesquisa atenda aos requisitos de data de criação, camada e região para conexões privadas com uma conta de vários serviços de IA do Azure.

Observação

Se o recurso de IA do Azure estiver configurado para usar um ponto de extremidade privado, a Pesquisa de IA do Azure poderá se conectar usando um link privado compartilhado se o serviço de pesquisa tiver sido criado após 3 de abril de 2024 e estiver em uma região que forneça maior capacidade de computação e esteja em uma camada com suporte. Para obter mais informações, consulte os requisitos para usar links privados compartilhados.

Cobrar por meio de uma conexão sem chave

Observação

Esse recurso está atualmente em visualização pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Usando o portal do Azure ou as APIs REST de versão prévia mais recentes e pacotes beta do SDK, você pode anexar um recurso de vários serviços de IA do Azure usando uma identidade gerenciada e permissões. A vantagem dessa abordagem é que a cobrança é sem chave e não tem dependência de regiões.

  1. Configurar a Pesquisa de IA do Azure para usar uma identidade gerenciada.

  2. Em seu recurso de vários serviços de IA do Azure, atribua a identidade à função Usuário dos Serviços Cognitivos.

  3. Usando o portal do Azure ou o conjunto de habilidades da API REST 2024-11-01-preview ou um pacote beta do SDK do Azure que forneça a sintaxe, configure um conjunto de habilidades para usar uma identidade:

    • A identidade gerenciada usada na conexão pertence ao serviço de pesquisa.
    • A identidade pode ser gerenciada pelo sistema ou atribuída pelo usuário.
    • A identidade deve ter permissões de Usuário dos Serviços Cognitivos no recurso de IA do Azure.
    • @odata.type é sempre #Microsoft.Azure.Search.AIServicesByIdentity.
    • subdomainUrl é o ponto de extremidade do recurso de vários serviços de IA do Azure. Ele pode estar em qualquer região com suporte conjunto pelos serviços Pesquisa de IA do Azure e IA do Azure.

Assim como acontece com as chaves, os detalhes fornecidos sobre o recurso Serviços de IA do Azure são usados para cobrança, não para conexões. Todas as solicitações de API feitas pela Pesquisa de IA do Azure para os Serviços de IA do Azure para processamento de habilidades internas continuam sendo internas e gerenciadas pela Microsoft.

Exemplo: identidade gerenciada atribuída pelo sistema

A identidade é definida como nula.

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": null 
    }  
}

Exemplo: identidade gerenciada atribuída pelo usuário

A identidade é definida como a ID do recurso da identidade gerenciada atribuída pelo usuário. Para encontrar uma identidade gerenciada atribuída pelo usuário existente, confira Gerenciar identidades gerenciadas atribuídas pelo usuário.

Para uma identidade gerenciada atribuída pelo usuário, defina as propriedades @odata.type e userAssignedIdentity.

POST https://[service-name].search.windows.net/skillsets/[skillset-name]?api-version=2024-11-01-Preview  

{  
    "name": "my skillset name",  
    "skills":   
    [  
      // skills definition goes here 
    ],  
    "cognitiveServices": {  
        "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",  
        "description": "",  
        "subdomainUrl": “https://[subdomain-name].cognitiveservices.azure.com",  
        "identity": {   
            "@odata.type":  "#Microsoft.Azure.Search.DataUserAssignedIdentity",   
            "userAssignedIdentity": ""/subscriptions/{subscription-ID}/resourceGroups/{resource-group-name}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{user-assigned-managed-identity-name}"" 
        }
    } 
}

Cobrar por meio de uma chave de recurso

A Pesquisa de IA do Azure também pode cobrar pela transação usando a chave de recurso de vários serviços da IA do Azure. Essa abordagem é o padrão e está em disponibilidade geral. Você pode usar o portal do Azure, a API REST ou um SDK do Azure para adicionar a chave a um conjunto de habilidades.

Há dois tipos de chave com suporte: #Microsoft.Azure.Search.CognitiveServicesByKey, que chama o ponto de extremidade regional, e "#Microsoft.Azure.Search.AIServicesByKey, que chama o subdomínio. Recomendamos usar AIServicesByKey para o suporte de link privado compartilhado e a capacidade de funcionar sem requisitos regionais relativos ao serviço de pesquisa.

Se você deixar a propriedade cognitiveServices não especificada, o serviço de pesquisa tentará usar os enriquecimentos gratuitos disponíveis para o indexador diariamente. A execução de habilidades faturáveis é parada em 20 transações por invocação do indexador, e uma mensagem “Tempo Limite Atingido” é exibida no histórico de execução do indexador.

  1. Entre no portal do Azure.

  2. Crie um recurso de vários serviços de IA do Azure na mesma região que seu serviço de pesquisa.

  3. Obtenha a chave de recurso na página Recursos>Chaves e ponto de extremidade.

  4. Adicione a chave a uma definição de conjunto de habilidades:

    • Se estiver usando um Assistente de importação de dados, crie ou selecione a conta do IA do Azure. O assistente adiciona a chave de recurso à sua definição de conjunto de habilidades.

    • Para um conjunto de habilidades novo ou existente, forneça a chave na definição do conjunto de habilidades.

Captura de tela da página de chave.

Observação

No momento, o portal do Azure anexa automaticamente a chave do tipo #Microsoft.Azure.Search.CognitiveServicesByKey.

Remova a chave

Enriquecimentos são operações faturáveis. Se você não precisar mais chamar os serviços de IA do Azure, siga essas instruções para remover a chave multisserviço e impedir o uso do recurso externo. Sem a chave, o conjunto de habilidades é revertido para a alocação padrão de 20 transações gratuitas por indexador, por dia. A execução de habilidades faturáveis é parada em 20 transações e uma mensagem "Tempo Limite Atingido" é exibida no histórico de execução do indexador quando a alocação é esgotada.

  1. Entre no portal do Azure.

  2. Em Gerenciamento de pesquisa >Conjuntos de habilidades, selecione um conjunto de habilidades na lista.

    Captura de tela da página do conjunto de habilidades.

  3. Vá até a seção no arquivo que contém "cognitiveServices".

  4. Exclua o valor da chave do JSON e salve o conjunto de habilidades.

    Captura de tela do JSON do conjunto de habilidades.

Como a chave é usada

A cobrança entra em vigor quando as chamadas à API para recursos de serviços de IA do Azure excedem 20 chamadas à API por indexador, por dia. Você pode redefinir o indexador para redefinir a contagem da API.

Conexões baseadas em chave e sem chave são usadas para cobrança, mas não para conexões de operações de enriquecimento. Para conexões, um serviço de pesquisa seconecta a uma rede interna para um recurso de serviços de IA do Azure que está localizado na mesma região física. A maioria das regiões que oferecem a IA do Azure Search também oferece outros serviços de IA do Azure, como Idioma. Se você tentar enriquecer o IA em uma região que não tem os dois serviços, verá esta mensagem: "A chave fornecida não é uma chave do tipo CognitiveServices válida para a região do seu serviço de pesquisa".

Os indexadores podem ser configurados para serem executados em um ambiente de execução privada para processamento dedicado usando apenas os nós de pesquisa do seu próprio serviço de pesquisa. Mesmo que você esteja usando o ambiente de execução privada, a Pesquisa de IA do Azure ainda usa seu recurso de vários serviços de IA do Azure provisionado internamente para executar todos os enriquecimentos de habilidades.

Observação

Algumas habilidades internas se baseiam em serviços de IA do Azure não regionais (por exemplo, a Habilidade de Tradução de Texto). Usar uma habilidade não regional significa que sua solicitação pode ser atendida em uma região diferente da região da IA do Azure Search. Para obter mais informações sobre serviços não regionais, confira a página Produtos de serviços de IA do Azure por região.

Requisitos de conexão pública

Dependendo de quando o serviço de pesquisa foi criado e de sua camada e região, a cobrança por habilidades internas pode exigir uma conexão pública da Pesquisa de IA do Azure com vários serviços de IA do Azure. Desabilitar o acesso à rede pública interrompe a cobrança em alguns cenários. Examine os requisitos de conexões por meio de um link privado compartilhado para determinar se o serviço de pesquisa requer uma conexão pública.

Se você não puder usar a rede pública, poderá configurar uma habilidade de API Web Personalizada implementada com uma Função do Azure que dá suporte a pontos de extremidade privados e adicionar o recurso Serviços de IA do Azure à mesma VNET. Dessa forma, é possível chamar o recurso de serviços de IA do Azure, diretamente da habilidade personalizada usando pontos de extremidade privados.

Casos especiais de requisitos de chave

A Pesquisa de entidade personalizada é medida pela IA do Azure Search, não pelos serviços de IA do Azure, mas requer uma chave de recurso de vários serviços da IA do Azure para desbloquear transações além de 20 por indexador, por dia. Somente para essa habilidade, a chave de recurso desbloqueia o número de transações, mas não está relacionada à cobrança.

Enriquecimentos gratuitos

O enriquecimento de IA oferece uma pequena quantidade de processamento gratuito de enriquecimentos faturáveis para que você possa concluir exercícios curtos sem precisar anexar um recurso de vários serviços de IA do Azure. Enriquecimentos gratuitos são 20 documentos por dia, por indexador. Você poderá redefinir o indexador para redefinir o contador, se quiser repetir um exercício.

Alguns enriquecimentos são sempre gratuitos:

Enriquecimentos faturáveis

Durante o enriquecimento de IA, a IA do Azure Search chama as APIs de serviços de IA do Azure para habilidades integradas que são baseadas na Visão de IA do Azure, Tradutor e Linguagem de IA do Azure.

Habilidades integradas faturáveis que fazem chamadas de back-end para os serviços de IA do Azure incluem Vinculação de Entidade, Reconhecimento de Entidade, Análise de Imagem, Extração de Frases-chave, Detecção de Idioma, OCR, Detecção de PII (Informações de identificação pessoal), Sentimento e Tradução de Texto.

A extração de imagem é uma operação de IA do Azure Search que ocorre quando os documentos são decifrados antes do enriquecimento. A extração de imagens é cobrada em todas as camadas, com exceção de 20 extrações diárias gratuitas na camada gratuita. Os custos de extração de imagem se aplicam a arquivos de imagem dentro de blobs, imagens inseridas em outros arquivos (PDF e outros arquivos de aplicativo) e para imagens extraídas usando através da Extração de Documentos. Para p preço da extração de imagem, consulte a Página de preços da IA do Azure Search.

Dica

Para reduzir o custo do processamento do conjunto de habilidades, habilite o enriquecimento incremental para armazenar em cache e reutilizar os enriquecimentos que não são afetados pelas alterações feitas em um conjunto de habilidades. O cache requer o Armazenamento do Microsoft Azure (consulte preços, mas o custo cumulativo da execução do conjunto de habilidades será menor se os enriquecimentos existentes puderem ser reutilizados, especialmente para os conjunto de habilidades que usam extração e análise de imagem.

Exemplo: Estimar custos

Para estimar os custos associados à indexação de IA do Azure Search, comece com uma ideia de como é um documento comum de modo que você possa realizar alguns cálculos. Por exemplo, você pode aproximar:

  • 1.000 PDFs.
  • Seis páginas cada.
  • Uma imagem por página (6 mil imagens).
  • 3 mil caracteres por página.

Suponha um pipeline que consiste em quebra de documento de cada PDF, extração de imagem e texto, reconhecimento óptico de caracteres (OCR) de imagens e reconhecimento de entidade de organizações.

Os preços mostrados neste artigo são hipotéticos. Eles são usados para ilustrar o processo de estimativa. Seus custos podem ser menores. Para obter o preço real das transações, consulte Preços de serviços de IA do Azure.

  1. Para decifração de documento com conteúdo de texto e imagem, a extração de texto atualmente é gratuita. Para 6 mil imagens, suponha $1 para cada 1.000 imagens extraídas. Esse é um custo de $6 para esta etapa.

  2. Para OCR de 6.000 imagens em inglês, a habilidade cognitiva do OCR usa o melhor algoritmo (DescribeText). Supondo um custo de US$ 2,50 por 1.000 imagens a serem analisadas, pagaríamos US$ 15,00 para essa etapa.

  3. Para extração de entidades, você teria um total de três registros de texto por página. Cada registro tem 1.000 caracteres. Três registros de texto por página multiplicados por 6 mil páginas = 18 mil registros de texto. Supondo US$ 2,00 por 1.000 registros de texto, essa etapa custaria US$36,00.

Juntando as peças, pagaríamos cerca de US$ 57,00 para ingerir 1.000 documentos PDF dessa natureza com o conjunto de habilidades descrito.

Próximas etapas