Получение расширенного поколения (RAG) в Azure Cosmos DB
Получение дополненного поколения (RAG) объединяет возможности больших языковых моделей (LLM) с надежными системами получения информации для создания более точных и контекстно соответствующих ответов. В отличие от традиционных формируемых моделей, которые зависят исключительно от предварительно обученных данных, архитектура RAG улучшает возможности LLM путем интеграции получения информации в режиме реального времени. Это расширение гарантирует, что ответы не только генерируются, но и создаются в наиболее актуальных доступных данных.
Azure Cosmos DB, операционная база данных, которая поддерживает векторный поиск, выделяется отличной платформой для реализации RAG. Ее возможность обрабатывать рабочие нагрузки как в операционной, так и аналитической рабочей нагрузке в одной базе данных, а также расширенными функциями, такими как мультитенантность и иерархические ключи секций, обеспечивает надежную основу для создания сложных приложений искусственного интеллекта.
Основные преимущества использования Azure Cosmos DB
Единое хранилище данных и извлечение
Azure Cosmos DB обеспечивает простую интеграцию возможностей поиска векторов в единой системе баз данных. Это означает, что операционные данные и векторизованные данные сосуществуют, устраняя необходимость отдельных систем индексирования.
Прием и запросы данных в режиме реального времени
Azure Cosmos DB поддерживает прием и запросы в режиме реального времени, что делает его идеальным для приложений ИИ. Это важно для архитектур RAG, где свежесть данных может значительно повлиять на релевантность созданных ответов.
Масштабируемость и глобальное распределение
Предназначено для крупномасштабных приложений, Azure Cosmos DB предлагает глобальное распределение и мгновенное автомасштабирование. Это гарантирует, что приложение с поддержкой RAG может обрабатывать большие объемы запросов и обеспечивать согласованную производительность независимо от расположения пользователя.
Высокий уровень доступности и надежности
Azure Cosmos DB предлагает комплексные соглашения об уровне обслуживания для пропускной способности, задержки и доступности. Эта надежность гарантирует, что система RAG всегда доступна для создания ответов с минимальным временем простоя.
Многотенантность с помощью иерархических ключей секций
Azure Cosmos DB поддерживает мультитенантность с помощью различных моделей изоляции производительности и безопасности, что упрощает управление данными для разных клиентов или групп пользователей в одной базе данных. Эта функция особенно полезна для приложений SaaS, где разделение данных клиента имеет решающее значение для обеспечения безопасности и соответствия требованиям.
Комплексные функции безопасности
Благодаря встроенным функциям, таким как сквозное шифрование, управление доступом на основе ролей (RBAC) и интеграция виртуальной сети ( виртуальная сеть), Azure Cosmos DB гарантирует, что ваши данные остаются безопасными. Эти меры безопасности важны для корпоративных приложений RAG, обрабатывающих конфиденциальную информацию.
Реализация RAG с помощью Azure Cosmos DB
Совет
Примеры RAG см. в статье AzureDataRetrievalAugmentedGenerationSamples
Ниже приведен упрощенный процесс создания приложения RAG с помощью Azure Cosmos DB:
- Прием данных. Хранение документов, изображений и других типов контента в Azure Cosmos DB. Используйте поддержку векторного поиска базы данных для индексирования и получения векторизованного содержимого.
- Выполнение запроса. Когда пользователь отправляет запрос, Azure Cosmos DB может быстро получить наиболее релевантные данные с помощью возможностей поиска векторов.
- Интеграция LLM: передайте полученные данные в LLM (например, Azure OpenAI) для создания ответа. Хорошо структурированные данные, предоставляемые Cosmos DB, повышают качество выходных данных модели.
- Создание ответов: LLM обрабатывает данные и создает комплексный ответ, который затем передается пользователю.