Векторные хранилища в Машинное обучение Azure (предварительная версия)
Внимание
Эта функция сейчас доступна в виде общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Ее не следует использовать для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.
Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
В этой статье описываются векторные индексы в Машинное обучение Azure, которые можно использовать для выполнения расширенного создания (RAG). Векторный индекс сохраняет внедрения, которые являются числовыми представлениями концепций (данных), преобразованных в числовые последовательности. Внедрение позволяет большим языковым моделям (LLM) понять связи между понятиями. Вы можете создавать векторные хранилища для подключения данных с помощью LLM, таких как GPT-4, и эффективно извлекать данные.
Машинное обучение Azure поддерживает два векторных хранилища, которые содержат дополнительные данные, используемые в рабочем процессе RAG:
| Векторное хранилище | Description | Функции и использование |
|---|---|---|
| Фейсс | Библиотека с открытым кодом | — Использование локального хранилища на основе файлов - Нести минимальные затраты — поддержка векторных данных — Поддержка разработки и тестирования |
| Поиск по искусственному интеллекту Azure | ресурсам Azure PaaS | — хранение текстовых данных в индексе поиска — размещение большого количества индексов с одной службой — Поддержка бизнес-требований корпоративного уровня — получение гибридной информации |
В следующих разделах рассматриваются рекомендации по работе с этими хранилищами векторов.
Библиотека Faiss
Faiss — это библиотека с открытым кодом, предоставляющая локальное хранилище на основе файлов. Векторный индекс хранится в учетной записи хранения Azure вашей рабочей области Машинное обучение Azure. Чтобы работать с Faiss, вы скачаете библиотеку и используете ее в качестве компонента решения. Так как индекс хранится локально, затраты минимальны.
Библиотеку Faiss можно использовать в качестве векторного хранилища и выполнить следующие действия:
Хранение векторных данных локально без затрат на создание индекса (только стоимость хранения)
Создание и запрос индекса в памяти
Предоставление общего доступа к копиям для отдельного использования и настройка размещения индекса для приложения
Масштабирование с помощью базового индекса загрузки вычислений
Поиск с использованием ИИ Azure
Поиск ИИ Azure (ранее — когнитивный поиск ) — это выделенный ресурс Azure PaaS, который вы создаете в подписке Azure. Ресурс поддерживает получение информации по вектору и текстовым данным, хранящимся в индексах поиска. Поток запроса может создавать, заполнять и запрашивать векторные данные, хранящиеся в службе поиска ИИ Azure. Одна служба поиска может размещать большое количество индексов, которые можно запрашивать и использовать в шаблоне RAG.
Ниже приведены некоторые ключевые моменты использования службы "Поиск ИИ Azure" для хранилища векторов:
Поддержка бизнес-требований корпоративного уровня для масштабирования, безопасности и доступности.
Доступ к гибридной информации. Векторные данные могут сосуществовать с невекторными данными, что означает, что вы можете использовать любой из функций поиска ИИ Azure для индексирования и запросов, включая гибридный поиск и семантику перераспределения.
Помните, что поддержка векторов доступна в предварительной версии. В настоящее время векторы должны создаваться внешне, а затем передаваться в поиск ИИ Azure для индексирования и кодирования запросов. Поток запроса обрабатывает эти переходы для вас.
Чтобы использовать поиск ИИ в качестве векторного хранилища для Машинное обучение Azure, необходимо иметь службу поиска. После того как служба существует, и вы предоставляете разработчикам доступ, вы можете выбрать поиск Azure AI в качестве векторного индекса в потоке запросов. Поток запросов создает индекс в поиске ИИ Azure, создает векторы из исходных данных, отправляет векторы в индекс, вызывает поиск сходства в поиске ИИ и возвращает ответ.