Vektorlager i Azure Machine Learning (förhandsversion)
Viktigt!
Den här funktionen är för närvarande i allmänt tillgänglig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.
Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
Den här artikeln beskriver vektorindex i Azure Machine Learning som du kan använda för att utföra hämtningsförhöjd generering (RAG). Ett vektorindex lagrar inbäddningar som är numeriska representationer av begrepp (data) som konverteras till talsekvenser. Med inbäddningar kan stora språkmodeller (LLM) förstå relationerna mellan begreppen. Du kan skapa vektorlager för att ansluta dina data till LLM:er som GPT-4 och hämta data effektivt.
Azure Machine Learning stöder två vektorlager som innehåller tilläggsdata som används i ett RAG-arbetsflöde:
| Vektorlager | beskrivning | Funktioner och användning |
|---|---|---|
| Faiss | Bibliotek med öppen källkod | – Använda lokalt filbaserat arkiv - Medför minimala kostnader – Stöd för endast vektordata - Stöd för utveckling och testning |
| Azure AI Search | Azure PaaS-resurs | – Lagra textdata i sökindex – Hantera ett stort antal index med en enda tjänst – Stöd för affärskrav på företagsnivå – Få åtkomst till hybridinformationshämtning |
I följande avsnitt beskrivs överväganden för att arbeta med dessa vektorlager.
Faiss-bibliotek
Faiss är ett bibliotek med öppen källkod som tillhandahåller ett lokalt filbaserat arkiv. Vektorindexet lagras i Azure-lagringskontot för din Azure Machine Learning-arbetsyta. Om du vill arbeta med Faiss laddar du ned biblioteket och använder det som en komponent i din lösning. Eftersom indexet lagras lokalt är kostnaderna minimala.
Du kan använda Faiss-biblioteket som vektorarkiv och utföra följande åtgärder:
Lagra vektordata lokalt utan kostnader för att skapa ett index (endast lagringskostnad)
Skapa och fråga ett index i minnet
Dela kopior för individuell användning och konfigurera värd för indexet för ett program
Skala med underliggande index för beräkningsinläsning
Azure AI-sökning
Azure AI Search (tidigare Cognitive Search) är en dedikerad Azure PaaS-resurs som du skapar i en Azure-prenumeration. Resursen stöder informationshämtning över dina vektor- och textdata som lagras i sökindex. Ett promptflöde kan skapa, fylla i och köra frågor mot dina vektordata som lagras i Azure AI Search. En enda söktjänst kan vara värd för ett stort antal index, som kan efterfrågas och användas i ett RAG-mönster.
Här följer några viktiga punkter om hur du använder Azure AI Search för ditt vektorarkiv:
Stöd för affärskrav på företagsnivå för skalning, säkerhet och tillgänglighet.
Få åtkomst till hämtning av hybridinformation. Vektordata kan samexistera med icke-bevektordata, vilket innebär att du kan använda någon av funktionerna i Azure AI Search för indexering och frågor, inklusive hybridsökning och semantisk reranking.
Tänk på att vektorstöd finns i förhandsversion. För närvarande måste vektorer genereras externt och sedan skickas till Azure AI Search för indexering och frågekodning. Kommandotolken hanterar dessa övergångar åt dig.
Om du vill använda AI Search som ett vektorlager för Azure Machine Learning måste du ha en söktjänst. När tjänsten finns och du ger åtkomst till utvecklare kan du välja Azure AI Search som ett vektorindex i ett promptflöde. Promptflödet skapar indexet på Azure AI Search, genererar vektorer från dina källdata, skickar vektorerna till indexet, anropar likhetssökning i AI Search och returnerar svaret.