Использование конвейеров Машинное обучение Azure без кода для создания конвейеров RAG (предварительная версия)
В этой статье приведены примеры создания конвейера RAG. Для расширенных сценариев можно создавать собственные конвейеры Машинное обучение Azure из кода (обычно записных книжек), которые позволяют детально контролировать рабочий процесс RAG. Машинное обучение Azure предоставляет несколько встроенных компонентов конвейера для блокирования данных, внедрения данных, создания тестовых данных, автоматического создания запросов, оценки запросов. Эти компоненты можно использовать в соответствии с вашими потребностями с помощью записных книжек. Можно даже использовать векторный индекс, созданный в Машинное обучение Azure в LangChain.
Внимание
Эта функция сейчас доступна в виде общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Ее не следует использовать для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.
Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Необходимые компоненты
Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись.
Доступ к Azure OpenAI.
Включение потока запроса в рабочей области Машинное обучение Azure
В рабочей области Машинное обучение Azure можно включить поток запроса, включив решения для сборки ИИ с помощью потока запроса на панели функций "Управление предварительными версиями".
Пример репозитория записной книжки конвейера потока запросов
Машинное обучение Azure предлагает руководства по записным книжкам для нескольких вариантов использования с конвейерами потоков запросов.
Создание данных QA
Создание данных контроля качества можно использовать для получения оптимального запроса для RAG, а также с целью оценки метрик для RAG. В этой записной книжке показана процедура создания набора данных QA из репозитория Git.
Тестирование создания данных и автоматического запроса
Используйте векторные индексы для создания модели генерации извлекаемыми данными и для оценки потока запросов в тестовом наборе данных.
Создание векторного индекса на основе FAISS
Настройте конвейер машинного обучения Azure для извлечения репозитория Git, обработки данных в блоки, внедрения блоков и создания цепочки langchain, совместимой с векторным индексом на основе FAISS.
Следующие шаги
Создание векторного индекса в потоке запросов Машинное обучение Azure (предварительная версия)
Использование векторных хранилищ с Машинное обучение Azure (предварительная версия)