Co to jest usługa Azure AI Search?

Usługa Azure AI Search (wcześniej znana jako "Azure Cognitive Search") to system pobierania informacji gotowych do użycia w przedsiębiorstwie dla heterogenicznej zawartości pozyskiwanej do indeksu wyszukiwania i udostępniane użytkownikom za pośrednictwem zapytań i aplikacji. Oferuje ona kompleksowy zestaw zaawansowanych technologii wyszukiwania, utworzony dla aplikacji o wysokiej wydajności w dowolnej skali.

Usługa Azure AI Search jest zalecanym systemem pobierania do tworzenia aplikacji opartych na systemie RAG na platformie Azure, z natywnymi integracją LLM między usługą Azure OpenAI Service i usługą Azure Machine Learning, mechanizmem integracji dla nienatywnych modeli i procesów oraz wieloma strategiami dostrajania istotności.

Usługa Azure AI Search może być używana zarówno w scenariuszach wyszukiwania tradycyjnych, jak i GenAI. Typowe przypadki użycia obejmują wyszukiwanie w wykazie lub dokumentach, odnajdywanie informacji (eksploracja danych) i generowanie rozszerzonego pobierania (RAG) na potrzeby wyszukiwania konwersacyjnego.

Podczas tworzenia usługi wyszukiwania pracujesz z następującymi możliwościami:

• Wyszukiwarka wyszukiwania wektorów i wyszukiwania pełnotekstowego oraz wyszukiwania hybrydowego w indeksie wyszukiwania.
• Rozbudowane indeksowanie z możliwością przekształcania zawartości. Obejmuje to zintegrowane fragmentowanie i wektoryzacja danych dla funkcji RAG, analizy leksykalnej dla tekstu oraz opcjonalną zastosowaną sztuczną inteligencję na potrzeby wyodrębniania i wzbogacania zawartości.
• Składnia zapytań sformatowanych dla zapytań wektorowych, wyszukiwania tekstu, zapytań hybrydowych, wyszukiwania rozmytego, autouzupełniania, wyszukiwania geograficznego i innych.
• Dostrajanie zgodności i wydajności zapytań za pomocą klasyfikacji semantycznej, profilów oceniania, kwantyzacji zapytań wektorowych i parametrów do kontrolowania zachowań zapytań w czasie wykonywania.
• Skalowanie, bezpieczeństwo i zasięg platformy Azure.
• Integracja platformy Azure w warstwie danych, warstwie uczenia maszynowego, usługach Azure AI i usłudze Azure OpenAI.

Tworzenie usługi wyszukiwania

W architekturze usługa wyszukiwania znajduje się między zewnętrznymi magazynami danych zawierającymi dane nieindeksowane, a aplikacją kliencką, która wysyła żądania zapytań do indeksu wyszukiwania i obsługuje odpowiedź.

W aplikacji klienckiej środowisko wyszukiwania jest definiowane przy użyciu interfejsów API z usługi Azure AI Search i może obejmować dostrajanie istotności, klasyfikację semantyczną, autouzupełnianie, dopasowywanie synonimów, dopasowywanie rozmyte, dopasowywanie wzorców, filtrowanie i sortowanie.

Na platformie Azure usługa Azure AI Search może być zintegrowana z innymi usługami platformy Azure w postaci indeksatorów , które automatyzują pozyskiwanie/pobieranie danych ze źródeł danych platformy Azure oraz zestawy umiejętności, które obejmują eksploatacyjne rozwiązania sztucznej inteligencji z usług Azure AI, takich jak przetwarzanie obrazów i języka naturalnego, lub niestandardowa sztuczna inteligencja utworzona w usłudze Azure Machine Learning lub zawijanie wewnątrz usługi Azure Functions.

Wewnątrz usługi wyszukiwania

W samej usłudze wyszukiwania dwa podstawowe obciążenia indeksują i wysyłają zapytania.

• Indeksowanie to proces do wprowadzania, który ładuje zawartość do usługi wyszukiwania i umożliwia wyszukiwanie. Wewnętrznie tekst przychodzący jest przetwarzany na tokeny i przechowywany w indeksach odwróconych, a wektory przychodzące są przechowywane w indeksach wektorów. Format dokumentu, który usługa Azure AI Search może indeksować, to JSON. Możesz przekazać dokumenty JSON, które zostały utworzone, lub użyć indeksatora, aby pobrać i serializować dane w formacie JSON.

  Zastosowana sztuczna inteligencja za pomocą zestawu umiejętności rozszerza indeksowanie przy użyciu obrazów i modeli językowych. Jeśli masz obrazy lub duży tekst bez struktury w dokumencie źródłowym, możesz dołączyć umiejętności, które wykonują rozpoznawanie znaków OCR, analizowanie i opisywanie obrazów, wnioskowanie struktury, tłumaczenie tekstu i nie tylko. Dane wyjściowe to tekst, który można serializować w formacie JSON i pozyskiwać do indeksu wyszukiwania.

  Zestawy umiejętności mogą również wykonywać fragmentowanie i wektoryzacja danych podczas indeksowania. Umiejętności dołączane do usługi Azure OpenAI, katalogu modeli w portalu azure AI Foundry lub umiejętności niestandardowe dołączane do dowolnego zewnętrznego modelu fragmentowania i osadzania mogą być używane podczas indeksowania w celu tworzenia danych wektorowych. Dane wyjściowe są fragmentowaną zawartością wektorową, którą można pozyskać do indeksu wyszukiwania.

• Wykonywanie zapytań może nastąpić po wypełnieniu indeksu zawartością z możliwością wyszukiwania, gdy aplikacja kliencka wysyła żądania zapytań do usługi wyszukiwania i obsługuje odpowiedzi. Całe wykonywanie zapytań odbywa się za pośrednictwem indeksu wyszukiwania, który kontrolujesz.

  Klasyfikacja semantyczna to rozszerzenie wykonywania zapytań. Dodaje on pomocniczy ranking, używając interpretacji języka do ponownego oceny zestawu wyników, promując najbardziej semantycznie istotne wyniki na górze.

  Zintegrowana wektoryzacja jest również rozszerzeniem wykonywania zapytań. Jeśli w indeksie wyszukiwania masz pola wektorowe, możesz przesłać nieprzetworzone zapytania wektorowe lub tekst, który jest wektoryzowany w czasie zapytania.

Dlaczego warto używać usługi Azure AI Search?

Usługa Azure AI Search jest odpowiednia dla następujących scenariuszy aplikacji:

• Służy do tradycyjnego wyszukiwania pełnotekstowego i wyszukiwania wektorów następnej generacji. Utwórz kopię zapasową aplikacji generacyjnych sztucznej inteligencji za pomocą pobierania informacji, które wykorzystują mocne strony wyszukiwania słów kluczowych i podobieństw. Użyj obu metod, aby pobrać najbardziej odpowiednie wyniki.

• Skonsoliduj zawartość heterogeniczną do zdefiniowanego przez użytkownika i wypełnionego indeksu wyszukiwania składającego się z wektorów i tekstu. Posiadasz własność i kontrolę nad elementami, które można wyszukiwać.

• Integrowanie fragmentowania i wektoryzacji danych na potrzeby generowania aplikacji sztucznej inteligencji i rag.

• Zastosuj szczegółową kontrolę dostępu na poziomie dokumentu.

• Odciążanie obciążeń indeksowania i wykonywania zapytań w dedykowanej usłudze wyszukiwania.

• Łatwe implementowanie funkcji związanych z wyszukiwaniem: dostrajanie istotności, nawigacja aspektowa, filtry (w tym wyszukiwanie geograficzne), mapowanie synonimów i autouzupełnianie.

• Przekształć duży niezróżnicowany tekst lub pliki obrazów albo pliki aplikacji przechowywane w usłudze Azure Blob Storage lub Azure Cosmos DB w fragmenty z możliwością wyszukiwania. Jest to osiągane podczas indeksowania za pomocą umiejętności sztucznej inteligencji, które dodają zewnętrzne przetwarzanie z usługi Azure AI.

• Dodaj analizę językową lub niestandardową. Jeśli masz zawartość inną niż angielska, usługa Azure AI Search obsługuje zarówno analizatory Lucene, jak i procesory języka naturalnego firmy Microsoft. Można również skonfigurować analizatory w celu osiągnięcia wyspecjalizowanego przetwarzania nieprzetworzonej zawartości, na przykład filtrowania znaków diakrytycznych lub rozpoznawania i zachowywania wzorców w ciągach.

Aby uzyskać więcej informacji na temat określonych funkcji, zobacz Funkcje usługi Azure AI Search

Pierwsze kroki

Funkcje są udostępniane za pośrednictwem witryny Azure Portal, prostych interfejsów API REST lub zestawów AZURE SDK, takich jak zestaw Azure SDK dla platformy .NET. Witryna Azure Portal obsługuje administrowanie usługami i zarządzanie zawartością z narzędziami do tworzenia prototypów i wykonywania zapytań dotyczących indeksów i zestawów umiejętności.

Korzystanie z witryny Azure Portal

Kompleksowa eksploracja podstawowych funkcji wyszukiwania można wykonać w czterech krokach:

1. Zdecyduj o warstwie i regionie. Jedna bezpłatna usługa wyszukiwania jest dozwolona na subskrypcję. Wszystkie przewodniki Szybki start można ukończyć w warstwie Bezpłatna. Aby uzyskać więcej pojemności i możliwości, potrzebujesz warstwy rozliczanej.

2. Utwórz usługę wyszukiwania w witrynie Azure Portal.

3. Rozpocznij od kreatora importu danych. Wybierz wbudowany przykład lub obsługiwane źródło danych, aby utworzyć, załadować i wysłać zapytanie do indeksu w ciągu kilku minut.

4. Zakończ pomocą Eksploratora wyszukiwania, używając klienta portalu do wykonywania zapytań dotyczących właśnie utworzonego indeksu wyszukiwania.

Korzystanie z interfejsów API

Alternatywnie możesz utworzyć, załadować i wykonać zapytanie dotyczące indeksu wyszukiwania w krokach niepodzielnych:

1. Utwórz indeks wyszukiwania przy użyciu witryny Azure Portal, interfejsu API REST, zestawu .NET SDK lub innego zestawu SDK. Schemat indeksu definiuje strukturę zawartości z możliwością wyszukiwania.

2. Przekaż zawartość przy użyciu modelu wypychania do wypychania dokumentów JSON z dowolnego źródła lub użyj modelu "ściągania" (indeksatorów), jeśli dane źródłowe są obsługiwane.

3. Wykonywanie zapytań względem indeksu przy użyciu Eksploratora wyszukiwania w witrynie Azure Portal, interfejsie API REST, zestawie SDK platformy .NET lub innym zestawie SDK.

Korzystanie z akceleratorów

Możesz też wypróbować akceleratory rozwiązań:

• Czat z akceleratorem rozwiązania danych ułatwia tworzenie niestandardowego rozwiązania RAG w zawartości.

• Akcelerator rozwiązania do wyszukiwania wiedzy konwersacyjnej ułatwia tworzenie interaktywnego rozwiązania w celu wyodrębniania szczegółowych informacji z możliwością działania z transkrypcji centrum kontaktów.

• Akcelerator wyszukiwania dokumentów ułatwia przetwarzanie i wyodrębnianie podsumowań, jednostek i metadanych z dokumentów nieustrukturyzowanych, wielomodalnych.

• Utwórz własny akcelerator rozwiązań copilot, wykorzystuje usługę Azure OpenAI Service, usługę Azure AI Search i usługę Microsoft Fabric, aby utworzyć niestandardowe rozwiązania copilot.

  • Ogólny copilot pomaga tworzyć własne copilot w celu identyfikowania odpowiednich dokumentów, podsumowywania informacji bez struktury i generowania szablonów dokumentów programu Word przy użyciu własnych danych.

  • Doradca klienta all-in-one niestandardowy copilot umożliwia doradcy klienta wykorzystanie możliwości generowania sztucznej inteligencji zarówno w danych ustrukturyzowanych, jak i nieustrukturyzowanych. Pomóż naszym klientom zoptymalizować codzienne zadania i wspierać lepsze interakcje z większą liczbą klientów

  • Asystent badań pomaga tworzyć własnego asystenta sztucznej inteligencji w celu identyfikowania odpowiednich dokumentów, podsumowywania i kategoryzowania ogromnych ilości informacji bez struktury oraz przyspieszenia ogólnego przeglądu dokumentu i generowania zawartości.

Napiwek

Aby uzyskać pomoc dotyczącą złożonych lub niestandardowych rozwiązań, skontaktuj się z partnerem z głęboką wiedzą w zakresie technologii Azure AI Search.

Porównanie opcji wyszukiwania

Klienci często pytają, jak usługa Azure AI Search porównuje się z innymi rozwiązaniami związanymi z wyszukiwaniem. Poniższa tabela zawiera podsumowanie podstawowych różnic.

W porównaniu do	Podstawowe różnice
Microsoft Search	Usługa Microsoft Search jest dla uwierzytelnionych użytkowników platformy Microsoft 365, którzy muszą wykonywać zapytania dotyczące zawartości w programie SharePoint. Usługa Azure AI Search pobiera zawartość między platformą Azure i dowolnym zestawem danych JSON.
Bing	Interfejsy API Bing wysyłają zapytania do indeksów w Bing.com w celu dopasowania terminów. Wyszukiwanie w usłudze Azure AI Search w indeksach wypełnionych zawartością. Kontrolujesz pozyskiwanie danych i schemat.
Wyszukiwanie w bazie danych	Usługa Azure SQL ma wyszukiwanie pełnotekstowe i wyszukiwanie wektorów. Usługa Azure Cosmos DB ma również wyszukiwanie tekstu i wyszukiwanie wektorów. Usługa Azure AI Search staje się atrakcyjną alternatywą, gdy potrzebujesz funkcji, takich jak dostrajanie istotności lub zawartość ze źródeł heterogenicznych. Użycie zasobów to kolejny etap. Indeksowanie i zapytania intensywnie korzystają z obliczeń. Odciążanie wyszukiwania z usługi DBMS zachowuje zasoby systemowe na potrzeby przetwarzania transakcji.
Dedykowane rozwiązanie wyszukiwania	Zakładając, że podjęto decyzję o dedykowanym wyszukiwaniu z pełną funkcjonalnością spektrum, ostateczne porównanie kategorii jest między technologiami wyszukiwania. Wśród dostawców usług w chmurze usługa Azure AI Search jest najsilniejsza dla obciążeń wektorowych, kluczowych i hybrydowych w odniesieniu do zawartości na platformie Azure, w przypadku aplikacji korzystających głównie z wyszukiwania zarówno pobierania informacji, jak i nawigacji zawartości.

Oto najważniejsze zalety:

• Obsługa indeksowania i kwerend wektorowych i niewektorowych (tekstowych). W przypadku wyszukiwania podobieństwa wektorowego można znaleźć informacje, które są semantycznie podobne do zapytań wyszukiwania, nawet jeśli terminy wyszukiwania nie są dokładnymi dopasowaniami. Użyj wyszukiwania hybrydowego, aby połączyć mocne strony wyszukiwania słów kluczowych i wektorów.
• Klasyfikowanie i dostrajanie istotności za pomocą profilów klasyfikacji semantycznej i oceniania. Można również wykorzystać składnię zapytań, która obsługuje zwiększanie priorytetów pól i zwiększanie ich priorytetów.
• Integracja danych platformy Azure (przeszukiwarki) w warstwie indeksowania.
• Integracja sztucznej inteligencji platformy Azure na potrzeby przekształceń, które umożliwiają wyszukiwanie tekstu zawartości i wektora.
• Zabezpieczenia firmy Microsoft dla zaufanych połączeń i usługi Azure Private Link dla połączeń prywatnych w scenariuszach bez Internetu.
• Pełne środowisko wyszukiwania: językoznawstwo i niestandardowa analiza tekstu w 56 językach. Tworzenie aspektów, autouzupełnianie zapytań i sugerowane wyniki oraz synonimy.
• Skalowanie, niezawodność i globalny zasięg platformy Azure.