Úložiště vektorů ve službě Azure Machine Learning (Preview)
Důležité
Tato funkce je v současné době ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti.
Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Tento článek popisuje vektorové indexy ve službě Azure Machine Learning, které můžete použít k provádění generování rozšířeného načítání (RAG). Vektorový index ukládá vložené hodnoty, které jsou číselnou reprezentací konceptů (dat) převedených na číselné sekvence. Vkládání umožňuje velkým jazykovými modely (LLM) porozumět vztahům mezi koncepty. Můžete vytvořit vektorová úložiště pro připojení dat k LLM, jako je GPT-4, a efektivně načíst data.
Azure Machine Learning podporuje dvě vektorová úložiště, která obsahují doplňující data používaná v pracovním postupu RAG:
| Vektorové úložiště | Popis | Funkce a využití |
|---|---|---|
| Faiss | Open source knihovna | – Použití místního úložiště založeného na souborech - Účtují se minimální náklady - Data pouze s podpůrnými vektory - Podpora vývoje a testování |
| Azure AI Search | Prostředek Azure PaaS | – Ukládání textových dat do indexu vyhledávání – Hostování velkého počtu indexů s jednou službou – Podpora podnikových obchodních požadavků – Přístup k načítání hybridních informací |
Následující části se zabývají aspekty práce s těmito úložišti vektorů.
Knihovna Faiss
Faiss je open-sourcová knihovna, která poskytuje místní souborové úložiště. Vektorový index je uložený v účtu úložiště Azure vašeho pracovního prostoru Azure Machine Learning. Pokud chcete pracovat s Faissem, stáhněte knihovnu a použijte ji jako součást vašeho řešení. Protože je index uložený místně, náklady jsou minimální.
Jako vektorové úložiště můžete použít knihovnu Faiss a provést následující akce:
Ukládání vektorových dat místně bez nákladů na vytvoření indexu (pouze náklady na úložiště)
Sestavení a dotazování indexu v paměti
Sdílení kopií pro individuální použití a konfigurace hostování indexu pro aplikaci
Škálování s využitím základního indexu načítání výpočetních prostředků
Azure AI Vyhledávač
Azure AI Search (dříve Cognitive Search ) je vyhrazený prostředek Azure PaaS, který vytvoříte v předplatném Azure. Prostředek podporuje načítání informací přes vektorová a textová data uložená v indexech vyhledávání. Tok výzvy může vytvořit, naplnit a dotazovat vektorová data uložená ve službě Azure AI Search. Jedna vyhledávací služba může hostovat velký počet indexů, které se dají dotazovat a používat ve vzoru RAG.
Tady je několik klíčových bodů použití služby Azure AI Search pro vaše úložiště vektorů:
Podpora podnikových obchodních požadavků pro škálování, zabezpečení a dostupnost
Přístup k načítání hybridních informací Vektorová data můžou existovat společně s nevectorovými daty, což znamená, že pro indexování a dotazy, včetně hybridního vyhledávání a sémantického řazení, můžete použít některou z funkcí služby Azure AI Search.
Mějte na paměti, že podpora vektorů je ve verzi Preview. V současné době musí být vektory vygenerovány externě a následně předány službě Azure AI Search pro indexování a kódování dotazů. Tok výzvy zpracovává tyto přechody za vás.
Pokud chcete použít AI Search jako vektorové úložiště pro Azure Machine Learning, musíte mít vyhledávací službu. Jakmile služba existuje a udělíte přístup vývojářům, můžete v toku výzvy zvolit azure AI Search jako vektorový index. Tok výzvy vytvoří index ve službě Azure AI Search, vygeneruje vektory ze zdrojových dat, odešle vektory do indexu, vyvolá vyhledávání podobnosti ve službě AI Search a vrátí odpověď.