Vectorarchieven in Azure Machine Learning (preview)
Belangrijk
Deze functie is momenteel beschikbaar als openbare preview-versie. Deze preview-versie wordt geleverd zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt.
Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
In dit artikel worden vectorindexen in Azure Machine Learning beschreven die u kunt gebruiken voor het ophalen van augmented generation (RAG). In een vectorindex worden insluitingen opgeslagen die numerieke representaties zijn van concepten (gegevens) die zijn geconverteerd naar getallenreeksen. Met insluitingen kunnen grote taalmodellen (LLM's) inzicht krijgen in de relaties tussen de concepten. U kunt vectorarchieven maken om uw gegevens te verbinden met LLM's zoals GPT-4 en de gegevens efficiënt op te halen.
Azure Machine Learning ondersteunt twee vectorarchieven die aanvullende gegevens bevatten die worden gebruikt in een RAG-werkstroom:
| Vectoropslag | Beschrijving | Functies en gebruik |
|---|---|---|
| Faiss | Open source-bibliotheek | - Lokaal archief op basis van bestanden gebruiken - Minimale kosten in rekening worden gebracht - Ondersteuningsvectorgegevens - Ontwikkeling en testen ondersteunen |
| Azure AI Search | Azure PaaS-resource | - Tekstgegevens opslaan in zoekindex - Een groot aantal indexen hosten met één service - Bedrijfsvereisten op ondernemingsniveau ondersteunen - Toegang tot het ophalen van hybride gegevens |
In de volgende secties worden overwegingen besproken voor het werken met deze vectorarchieven.
Faiss-bibliotheek
Faiss is een open source-bibliotheek die een lokaal archief op basis van bestanden biedt. De vectorindex wordt opgeslagen in het Azure-opslagaccount van uw Azure Machine Learning-werkruimte. Als u met Faiss wilt werken, downloadt u de bibliotheek en gebruikt u deze als onderdeel van uw oplossing. Omdat de index lokaal wordt opgeslagen, zijn de kosten minimaal.
U kunt de Faiss-bibliotheek als vectorarchief gebruiken en de volgende acties uitvoeren:
Vectorgegevens lokaal opslaan, zonder kosten voor het maken van een index (alleen opslagkosten)
Een index bouwen en er query's op uitvoeren in het geheugen
Kopieën delen voor individueel gebruik en hosting van de index voor een toepassing configureren
Schalen met onderliggende index voor het laden van rekenkracht
Azure AI Search
Azure AI Search (voorheen Cognitive Search) is een toegewezen Azure PaaS-resource die u in een Azure-abonnement maakt. De resource ondersteunt het ophalen van informatie over uw vector- en tekstgegevens die zijn opgeslagen in zoekindexen. Een promptstroom kan uw vectorgegevens maken, vullen en er query's op uitvoeren die zijn opgeslagen in Azure AI Search. Eén zoekservice kan een groot aantal indexen hosten, die kunnen worden opgevraagd en gebruikt in een RAG-patroon.
Hier volgen enkele belangrijke punten over het gebruik van Azure AI Search voor uw vectorarchief:
Ondersteuning voor bedrijfsvereisten op ondernemingsniveau voor schaal, beveiliging en beschikbaarheid.
Toegang tot het ophalen van hybride gegevens. Vectorgegevens kunnen naast niet-vectorgegevens bestaan, wat betekent dat u alle functies van Azure AI Search kunt gebruiken voor indexering en query's, waaronder hybride zoekopdrachten en semantische rerankering.
Houd er rekening mee dat vectorondersteuning in preview is. Op dit moment moeten vectoren extern worden gegenereerd en vervolgens worden doorgegeven aan Azure AI Search voor indexering en querycodering. De promptstroom verwerkt deze overgangen voor u.
Als u AI Search wilt gebruiken als vectorarchief voor Azure Machine Learning, moet u een zoekservice hebben. Nadat de service bestaat en u toegang verleent aan ontwikkelaars, kunt u Azure AI Search kiezen als een vectorindex in een promptstroom. De promptstroom maakt de index in Azure AI Search, genereert vectoren van uw brongegevens, verzendt de vectoren naar de index, roept overeenkomsten zoeken op AI Search aan en retourneert het antwoord.