O que é a IA do Azure Search?

A Pesquisa de IA do Azure (anteriormente conhecido como "Azure Cognitive Search") é um sistema de recuperação de informações pronto para a empresa para seu conteúdo heterogêneo que você ingere em um índice de pesquisa e apresenta aos usuários por meio de consultas e aplicativos. Ele é oferecido com um conjunto abrangente de tecnologias de pesquisa avançada, criadas para aplicativos de alto desempenho em qualquer escala.

A Pesquisa de IA do Azure é o sistema de recuperação recomendado para a compilação de aplicativos baseados em RAG no Azure, com integrações LLM nativas entre o Serviço OpenAI do Azure e o Azure Machine Learning, um mecanismo de integração para modelos e processos não nativos e várias estratégias para ajuste de relevância.

A Pesquisa de IA do Azure pode ser usado em cenários de pesquisa tradicionais e de GenAI. Os casos de uso comuns incluem pesquisa de catálogo ou documentos, descoberta de informações (exploração de dados) e RAG (geração aumentada de recuperação) para pesquisa de conversa.

Ao criar um serviço de pesquisa, você trabalhará com os seguintes recursos:

• Um mecanismo de pesquisa da busca em vetores, do texto completo e da pesquisa híbrida em um índice de pesquisa.
• Indexação avançada com a capacidade de transformação de conteúdo. Inclui agrupamento e vetorização de dados integrados para RAG, análise lexical para texto e IA aplicada opcional para extração e enriquecimento de conteúdo.
• Sintaxe de consulta avançada para consultas de vetor, pesquisa de texto, consultas híbridas, pesquisa difusa, preenchimento automático, pesquisa geográfica e outros.
• Ajuste de relevância e desempenho de consulta com classificação semântica, perfis de pontuação, compartimentalização para consultas em vetores e parâmetros para controlar os comportamentos de consulta em runtime.
• Escala, segurança e alcance do Azure.
• Integração do Azure na camada de dados, na camada de aprendizado de máquina, nos serviços de IA do Azure e no OpenAI do Azure.

Criar um serviço de pesquisa

Em termos de arquitetura, um serviço de pesquisa reside entre os armazenamentos de dados externos que contêm seus dados não indexados e o seu aplicativo cliente que envia solicitações de consulta para um índice de pesquisa e processa a resposta.

No aplicativo cliente, a experiência de pesquisa é definida usando APIs da IA do Azure Search e pode incluir ajuste de relevância, classificação semântica, preenchimento automático, correspondência de sinônimos, correspondência difusa, correspondência de padrões, filtro e classificação.

Na plataforma do Azure, a IA do Azure Search pode se integrar a outros serviços do Azure na forma de indexadores que automatizam a ingestão/recuperação de dados de fontes de dados do Azure e conjuntos de habilidades que incorporam a IA consumível por meio de serviços de IA do Azure, como análise de imagem e processamento de idioma natural, ou a IA personalizada criada por você no Azure Machine Learning ou encapsula no Azure Functions.

Dentro de um serviço de pesquisa

No próprio serviço de pesquisa, as duas principais cargas de trabalho são indexação e consulta.

• Indexação é um processo de entrada que carrega o conteúdo no seu serviço de pesquisa e o torna pesquisável. Internamente, o texto de entrada é processado em tokens e armazenado em índices invertidos, enquanto os vetores de entrada são armazenados em índices de vetor. O formato de documento que a IA do Azure Search pode indexar é o JSON. Você pode carregar documentos JSON que você montou ao usar um indexador para recuperar e serializar seus dados em JSON.

  A IA aplicada por meio de um conjunto de habilidades estende a indexação com modelos de imagem e linguagem. Se você tiver imagens ou grandes blocos de texto não estruturados no documento de origem, anexe habilidades que realizam o OCR, analisam e descrevem imagens, inferem estruturas, traduzem textos, entre outros. A saída é um texto que pode ser serializado em JSON e ingerido em um índice de pesquisa.

  Os conjuntos de habilidades também podem realizar a fragmentação de dados e vetorização durante a indexação. Habilidades que se conectam ao Serviço OpenAI do Azure, ao catálogo de modelos no portal do Azure AI Foundry ou habilidades personalizadas que se conectam a qualquer modelo externo de fragmentação e inserção podem ser usadas durante a indexação para criar dados vetoriais. A saída é um conteúdo vetorizado fragmentado que pode ser ingerido em um índice de pesquisa.

• A Consulta pode ocorrer depois que um índice é preenchido com conteúdo pesquisável, quando seu aplicativo cliente envia solicitações de consulta para um serviço de pesquisa e processa as respostas. Todas as execuções de consulta são feitas sobre um índice de pesquisa que você controla.

  A classificação semântica é uma extensão da execução da consulta. Ele adiciona classificação secundária, usando o entendimento de linguagem para reavaliar um conjunto de resultados, promovendo os resultados mais semanticamente relevantes para o topo.

  Vetorização integrada também é uma extensão da execução de consultas. Se você tiver campos vetoriais no seu índice de pesquisa, poderá enviar consultas vetoriais brutas ou textos que serão vetorizados no momento da consulta.

Por que usar a IA do Azure Search?

A IA do Azure Search é adequada para os seguintes cenários de aplicação:

• Use-a para pesquisa de texto completo tradicional e pesquisa de similaridade de vetor de última geração. Volte seus aplicativos de IA generativos com a recuperação de informações que aproveita os pontos fortes da palavra-chave e da pesquisa de similaridade. Use ambas as modalidades para recuperar os resultados mais relevantes.

• Consolide o conteúdo heterogêneo em um índice de pesquisa definido pelo usuário e preenchido composto por vetores e texto. Você mantém a propriedade e o controle sobre o que é pesquisável.

• Integrar agrupamento de dados e vetorização para IA generativa e aplicativos RAG.

• Aplicar controle de acesso granular no nível do documento.

• Descarregue as cargas de trabalho de indexação e consulta em um serviço de pesquisa dedicado.

• Implemente facilmente recursos relacionados a pesquisa: ajuste de relevância, faceted navigation, filtros (incluindo pesquisa geoespacial), mapeamento de sinônimos e preenchimento automático.

• Transforme grandes arquivos de texto ou de imagem não diferenciados ou arquivos de aplicativo armazenados no Armazenamento de Blobs do Azure ou no Azure Cosmos DB em partes pesquisáveis. Isso é alcançado durante a indexação através de habilidades de IA que adicionam processamento externo da IA do Azure.

• Adicione análise linguística ou de texto personalizado. Se você tiver conteúdo que não está em inglês, a IA do Azure Search oferecerá suporte aos analisadores Lucene e aos processadores de linguagem natural da Microsoft. Você também pode configurar analisadores para obter processamento especializado de conteúdo bruto, como filtragem de sinais diacríticos ou reconhecimento e preservação de padrões em cadeias de caracteres.

Para obter mais informações sobre funcionalidades específicas, confira Recursos da IA do Azure Search

Como começar

A funcionalidade é exposta por meio do portal do Azure, de APIs REST simples ou de SDKs do Azure, como o SDK do Azure para .NET. O portal do Azure dá suporte à administração de serviços e ao gerenciamento de conteúdos, com ferramentas para prototipagem e consulta de seus índices e conjuntos de habilidades.

Use o Portal do Azure

Uma exploração de ponta a ponta dos principais recursos de pesquisa pode ser realizada em quatro etapas:

1. Decida sobre uma camada e região. É permitido somente um serviço de pesquisa gratuito por assinatura. Todos os inícios rápidos podem ser concluídos na camada gratuita. Para ter mais capacidade e mais recursos, você precisará de uma camada paga.

2. Criar um serviço de pesquisa no portal do Azure.

3. Iniciar o Assistente para Importação de Dados. Escolha um exemplo interno ou uma fonte de dados com suporte para criar, carregar e consultar um índice em minutos.

4. Concluir o Gerenciador de Pesquisa, usando um cliente do portal para consultar o índice de pesquisa que foi criado.

Usar APIs

Como alternativa, você pode criar, carregar e consultar um índice de pesquisa em etapas atômicas:

1. Crie um índice de pesquisa usando o portal do Azure, a API REST, o SDK do .NET ou outro SDK. O esquema de índice define a estrutura do conteúdo pesquisável.

2. Carregue conteúdo usando o modelo de "push" para efetuar push de documentos JSON de qualquer origem ou use o modelo de "pull" (indexadores) se os seus dados de origem forem de um tipo com suporte.

3. Consulte um índice usando o Gerenciador de pesquisa no portal do Azure, a API REST, o SDK do .NET ou outro SDK.

Usar aceleradores

Ou, experimente os aceleradores de soluções:

• O acelerador de solução Converse com seus dados ajuda você a criar uma solução de RAG personalizada com base no seu conteúdo.

• A solução aceleradora Mineração de Conhecimento Conversacional ajuda você a criar uma solução interativa para extrair insights práticos das transcrições pós-contato do centro.

• O Acelerador de mineração de conhecimento de documento ajuda você a processar e extrair resumos, entidades e metadados de documentos multimodal não estruturados.

• O acelerador de solução Crie seu copiloto aproveita o serviço OpenAI do Azure, a Pesquisa de IA do Azure e o Microsoft Fabric para criar soluções de copiloto personalizadas.

  • O copiloto genérico ajuda você a criar seu próprio copiloto para identificar documentos relevantes, resumir informações não estruturadas e gerar modelos de documento do Word usando seus próprios dados.

  • O Client Advisor copiloto personalizado tudo em um capacita o Client Advisor a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajude nossos clientes a otimizar as tarefas diárias e proporcione melhores interações com mais clientes

  • O Assistente de Pesquisa ajuda a criar seu próprio Assistente de IA para identificar documentos relevantes, resumir e categorizar grandes quantidades de informações não estruturadas e acelerar a revisão geral de documentos e a geração de conteúdo.

Dica

Para obter ajuda com soluções complexas ou personalizadas, entre em contato com um parceiro especializado na tecnologia da IA do Azure Search.

Comparar opções de pesquisa

Os clientes frequentemente perguntam como a IA do Azure Search se compara com outras soluções relacionadas à pesquisa. A tabela a seguir resume as principais diferenças.

Em comparação com	Principais diferenças
Pesquisa da Microsoft	A Pesquisa da Microsoft é para usuários do Microsoft 365 autenticados que precisam consultar o conteúdo no SharePoint. A Pesquisa de IA do Azure efetua o pull de conteúdo no Azure e em qualquer conjunto de dados JSON.
Bing	A APIs do Bing consulta os índices no Bing.com para obter termos correspondentes. A Pesquisa de IA do Azure pesquisa os índices preenchidos com seu conteúdo. Você controla a ingestão de dados e o esquema.
Pesquisa de banco de dados	O SQL do Azure tem a pesquisa de texto completo e a busca em vetores. O Azure Cosmos DB também tem a pesquisa de texto e a busca em vetores. A Pesquisa de IA do Azure se torna uma alternativa atraente quando você precisa de recursos, como ajuste de relevância, ou conteúdo de fontes heterogêneas. Outro ponto de inflexão é a utilização de recursos. A indexação e as consultas são computacionalmente intensivas. O descarregamento da pesquisa do DBMS preserva os recursos do sistema no processamento de transações.
Solução de pesquisa dedicada	Supondo que você tenha decidido a pesquisa dedicada com a funcionalidade de espectro completo, uma comparação categórica final é entre as tecnologias de pesquisa. Entre os provedores de nuvem, a Pesquisa de IA do Azure é mais forte nas cargas de trabalho vetoriais, palavras-chave e híbridas em relação ao conteúdo no Azure, nos aplicativos que dependem principalmente da pesquisa para recuperação de informações e navegação de conteúdo.

As principais vantagens incluem:

• Suporte para indexação e consultas vetoriais e não vetoriais (texto). Com a pesquisa de similaridade de vetor, você pode encontrar informações semanticamente semelhantes às consultas de pesquisa, mesmo que os termos da pesquisa não sejam correspondências exatas. Use a pesquisa híbrida para combinar os pontos fortes da palavra-chave e da busca em vetores.
• Classificação e ajuste de relevância através da classificação semântica e perfis de pontuação. Aproveite também a sintaxe de consulta que dá suporte a aumento de termos e priorização de campo.
• Integração dos dados do Azure (rastreadores) na camada de indexação.
• Integração da IA do Azure para transformações que tornam o conteúdo pesquisável em texto e vetor.
• Segurança do Microsoft Entra para conexões confiáveis e Link Privado do Azure para conexões privadas nos cenários sem internet.
• Experiência de pesquisa completa: análise linguística e de texto personalizado em 56 idiomas. Faceting, consultas de preenchimento automático e resultados sugeridos, além de sinônimos.
• Escala, confiabilidade e alcance global do Azure.