Início Rápido: Pesquisar imagens usando o Gerenciador de Pesquisa no portal do Azure

Este início rápido mostra como começar a pesquisar imagens usando o assistente de Importação e vetorização de dados no portal do Azure. Ele também mostra como usar o Gerenciador de Pesquisa para executar consultas baseadas em imagem.

Os dados de exemplo consistem em arquivos de imagem no repositório azure-search-sample-data, mas você pode usar imagens diferentes e ainda seguir o passo a passo.

Pré-requisitos

• Uma assinatura do Azure. Crie um gratuitamente.

• Uma Conta multisserviço dos Serviços de IA do Azure, usada para vetorização de imagem e OCR (reconhecimento óptico de caracteres). A vetorização de imagens requer inserções multimodais da Visão de IA do Azure. Verifique a documentação para uma lista atualizada de regiões.

• Pesquisa de IA do Azure para indexação e consultas. Ela pode estar em qualquer camada, mas deve estar na mesma região que o multisserviço de IA.

  A camada de serviço determina quantos blobs você pode indexar. Usamos a camada gratuita para criar este passo a passo e limitamos o conteúdo a 10 arquivos JPG.

• Armazenamento do Microsoft Azure para armazenar arquivos de imagem como blobs. Use o Armazenamento de Blobs do Azure ou o Azure Data Lake Storage Gen2 (uma conta de armazenamento com um namespace hierárquico), uma conta de desempenho padrão (uso geral v2). As camadas de acesso podem ser de acesso frequente, esporádico ou de arquivos.

Todos os recursos anteriores precisam ter acesso público habilitado para que os nós do portal possam acessá-los. Caso contrário, o assistente falhará. Após a execução do assistente, é possível habilitar os firewalls e os pontos de extremidade privados nos componentes de integração para segurança. Para obter mais informações, consulte Conexões seguras nos assistentes de importação.

Se os pontos de extremidade privados já estiverem presentes e não puderem ser desabilitados, a opção alternativa será executar o respectivo fluxo de ponta a ponta por meio de um script ou um programa em uma máquina virtual. A máquina virtual deve estar na mesma rede virtual que o ponto de extremidade privado. Este é um exemplo de código Python para vetorização integrada. O mesmo repositório GitHub contém amostras em outras linguagens de programação.

Um serviço de pesquisa gratuito dá suporte ao controle de acesso baseado em função em conexões com a Pesquisa de IA do Azure, mas não dá suporte a identidades gerenciadas em conexões de saída com o Armazenamento do Microsoft Azure ou a Visão de IA do Azure. Esse nível de suporte significa que você precisa usar a autenticação baseada em chave em conexões entre um serviço de pesquisa gratuito e outros serviços do Azure. Para conexões mais seguras:

• Use a camada Básica ou superior.
• Configure uma identidade gerenciada e atribuições de função para admitir solicitações da Pesquisa de IA do Azure em outros serviços do Azure.

Verificar o espaço

Se você estiver começando com o serviço gratuito, estará limitado a três índices, três fontes de dados, três conjuntos de habilidades e três indexadores. Verifique se há espaço para itens extras antes de começar. Este guia de início rápido cria uma unidade de cada objeto.

Preparar os dados de exemplo

1. Baixe a pasta de imagens unsplash-signs para uma pasta local ou localize algumas imagens que você possui. Em um serviço de pesquisa gratuito, mantenha os arquivos de imagem com menos de 20 anos para permanecer dentro da cota gratuita para processamento de enriquecimento.

2. Entre no portal do Azure com sua conta do Azure e acesse a conta de Armazenamento do Azure.

3. No painel esquerdo, sob Armazenamento de Dados, selecione Contêineres.

4. Crie um contêiner e carregue as imagens.

Iniciar o assistente

Se o serviço de pesquisa e o Serviço de IA do Azure estiverem no mesmo locatário e região com suporte e se o contêiner do Azure Storage Blob estiver usando a configuração padrão, você estará pronto para iniciar o assistente.

1. Entre no portal do Azure com sua conta do Azure e acesse o serviço de IA do Azure Search.

2. Na página Visão geral, selecione Importar e vetorizar dados.

   

Conectar-se aos seus dados

A próxima etapa é conectar-se a uma fonte de dados que fornece as imagens.

1. Na página Configurar sua conexão de dados, selecione o Armazenamento de Blobs do Azure.

2. Especifique a assinatura do Azure.

3. Para o Armazenamento do Microsoft Azure, selecione a conta e o contêiner que fornecem os dados. Use os valores padrão nas caixas restantes.

   

4. Selecione Avançar.

Vetorizar seu texto

Se o conteúdo bruto incluir texto ou se o conjunto de habilidades produzir texto, o assistente chamará um modelo de inserção de texto para gerar vetores para esse conteúdo. Neste exercício, o texto será produzido usando a habilidade do OCR que você adicionar na próxima etapa.

A Visão de IA do Azure fornece inserções de texto, portanto, use esse recurso para a vetorização de texto.

1. Na página Vetorizar seu texto, selecione Vetorização da Visão de IA. Se isso não estiver disponível, verifique se a Pesquisa de IA do Azure e sua conta multisserviço de IA do Azure estão juntos em uma região que dá suporte a APIs multimodais da Visão de IA.

   

2. Selecione Avançar.

Vetorizar e enriquecer suas imagens

Use a Visão de IA do Azure para gerar uma representação vetorial dos arquivos de imagem.

Nesta etapa, você também pode aplicar IA para extrair texto de imagens. O assistente usa o OCR dos Serviços de IA do Azure para reconhecer texto em arquivos de imagem.

Mais duas saídas aparecem no índice quando o OCR é adicionado ao fluxo de trabalho:

• O campo chunk é preenchido com uma cadeia de caracteres gerada por OCR de qualquer texto encontrado na imagem.
• O campo text_vector é preenchido com uma inserção que representa a cadeia de caracteres chunk.

A inclusão de texto sem formatação no campo chunk é útil se você quiser usar recursos de relevância que operam em cadeias de caracteres, como classificação semântica e perfis de pontuação.

1. Na página Vetorizar suas imagens, selecione a caixa de seleção Vetorizar imagens e, em seguida, selecione a Vetorização da Visão de IA.

2. Selecione Usar o mesmo serviço de IA selecionado para vetorização de texto.

3. Na seção de enriquecimento, selecione Extrair texto de imagens e Usar o mesmo serviço de IA selecionado para vetorizar imagens.

   

4. Selecione Avançar.

Mapear novos campos

Na página Configurações avançadas, você pode opcionalmente adicionar novos campos. Por padrão, o assistente gera os seguintes campos com estes atributos:

Campo	Aplicável ao	Descrição
chunk_id	Vetores de texto e imagem	Campo de cadeia de caracteres gerado. Pesquisável, recuperável, classificável. Essa é a chave do documento para o índice.
text_parent_id	Vetores de imagem	Campo de cadeia de caracteres gerado. Recuperável, filtrável. Identifica o documento pai do qual a parte se origina.
image_parent_id	Vetores de imagem	Campo de cadeia de caracteres gerado. Recuperável, filtrável. Identifica o documento pai do qual a imagem se origina.
chunk	Vetores de texto e imagem	Campo de cadeia de caracteres. Versão legível por humanos da parte de dados. Pesquisável e recuperável, mas não filtrável, facetável ou classificável.
title	Vetores de texto e imagem	Campo de cadeia de caracteres. Título do documento legível por humanos ou título de página ou número de página. Pesquisável e recuperável, mas não filtrável, facetável ou classificável.
image_vector	Vetores de imagem	Collection(Edm.single). Representação vetorial da imagem. Pesquisável e recuperável, mas não filtrável, facetável ou classificável.

Você não pode modificar os campos gerados ou seus atributos, mas pode adicionar novos campos se sua fonte de dados os fornecer. Por exemplo, o Armazenamento de Blobs do Azure fornece uma coleção de campos de metadados.

1. Selecione Adicionar nova.

2. Escolha um campo de origem da lista de campos disponíveis, forneça um nome de campo para o índice e aceite o tipo de dados padrão ou substitua conforme necessário.

   Os campos de metadados são pesquisáveis, mas não recuperáveis, filtráveis, facetáveis ou classificáveis.

3. Selecione Redefinir se você quiser restaurar o esquema para sua versão original.

Agendar indexação

1. Na página Configurações avançadas, em Agendar indexação, especifique um agendamento de execução para o indexador. Recomendamos definir Uma vez para esse exercício. Para fontes de dados em que os dados subjacentes são voláteis, você pode agendar a indexação para obter as alterações.

   

2. Selecione Avançar.

Concluir o assistente

1. Na página Examinar sua configuração, especifique um prefixo para os objetos que o assistente criará. Um prefixo comum ajuda você a se manter organizado.

   

2. Selecione Criar.

Quando o assistente conclui a configuração, ele cria os seguintes objetos:

• Um indexador que conduz o pipeline de indexação.

• Uma conexão da fonte de dados com o Armazenamento de Blobs do Azure.

• Um índice com campos vetoriais, campos de texto, vetorizadores, perfis de vetor e algoritmos de vetor. Você não pode modificar o índice padrão durante o fluxo de trabalho do assistente. Os índices estão em conformidade com a API REST versão prévia-01/05/2024 para que você possa usar as versões prévias dos recursos.

• Um conjunto de habilidades com as cinco seguintes habilidades:

  • A habilidade do OCR reconhece o texto em arquivos de imagem.
  • A habilidade de Fusão de Texto unifica as várias saídas do processamento do OCR.
  • A habilidade de Divisão de Texto adiciona o agrupamento de dados. Essa habilidade é integrada ao fluxo de trabalho do assistente.
  • A habilidade de Inserções multimodal da Visão de IA do Azure é usada para vetorizar o texto gerado pelo OCR.
  • A habilidade de Inserções multimodal da Visão de IA do Azure é chamada novamente para vetorizar imagens.

Verificar os resultados

O Gerenciador de pesquisa aceita textos, vetores e imagens como entradas de consulta. Você pode arrastar ou selecionar uma imagem até a área de pesquisa. O Gerenciador de pesquisa vetoriza sua imagem e envia o vetor como uma entrada de consulta para o mecanismo de pesquisa. A vetorização de imagem pressupõe que seu índice tenha uma definição de vetorizador, em que Importar e vetorizar dados cria com base em suas entradas do modelo de inserção.

1. No portal do Azure, vá para Gerenciamento de Pesquisa>Índices e selecione o índice que você criou. O Gerenciador de pesquisa é a primeira guia.

2. No menu Exibir, selecione Exibição de imagem.

   

3. Arraste uma imagem da pasta local que contém os arquivos de imagem de exemplo. Ou abra o navegador de arquivos para selecionar um arquivo de imagem local.

4. Selecione Pesquisar para executar a consulta.

   A correspondência superior deve ser a imagem que você pesquisou. Como uma busca em vetores corresponde a vetores semelhantes, o mecanismo de pesquisa retorna qualquer documento suficientemente semelhante à entrada da consulta, até um número k de resultados. Você pode alternar para a exibição JSON para consultas mais avançadas que incluem ajuste de relevância.

   

5. Experimente outras opções de consulta para comparar os resultados da pesquisa:

   • Ocultar vetores para obter resultados mais legíveis (recomendado).
   • Selecione um campo de vetor pelo qual consultar. O padrão são vetores de texto, mas você pode especificar o vetor de imagem para excluir vetores de texto da execução da consulta.

Limpar

Essa demonstração usa recursos faturáveis do Azure. Caso não precise mais dos recursos, exclua-os de sua assinatura para evitar encargos.

Próxima etapa

Este início rápido apresentou a você o assistente Importar e vetorizar dados, que cria todos os objetos necessários para a pesquisa de imagem. Se desejar explorar cada etapa em detalhes, experimente um exemplo de vetorização integrada.