Шаг 2. Развертывание POC для сбора отзывов заинтересованных лиц
В конце этого шага вы развернете приложение проверки оценки агента, которое позволяет заинтересованным лицам тестировать и предоставлять отзывы о POC. Подробные журналы использования заинтересованных лиц и их отзывы будут передаваться в Delta Tables в Lakehouse.
Требования
- Выполните шаг 1. Клонирование репозитория кода и создание шагов вычислений
- Данные из предварительных требований. Требования к сбору доступны в Lakehouse в томе каталога Unity.
См. репозиторий GitHub для примера кода в этом разделе.
Подтверждение концепции приложения RAG
Первым шагом в разработке на основе оценки является создание подтверждения концепции (POC). POC предлагает следующие преимущества:
- Предоставляет направление представления о возможном варианте использования с помощью RAG
- Позволяет собирать первоначальные отзывы от заинтересованных лиц, что, в свою очередь, позволяет создавать первую версию оценочного набора.
- Устанавливает базовое измерение качества для начала итерации
Databricks рекомендует создавать POC с помощью простейшей архитектуры RAG и рекомендуемых значений по умолчанию для каждого параметра.
Эта рекомендация обусловлена тем, что существуют сотни возможных сочетаний параметров, которые можно настроить в приложении RAG. Вы можете легко тратить недели настройки, но если вы делаете это, прежде чем вы сможете систематически оценить свою RAG, вы в конечном итоге в том, что называется циклом doom POC, итерации по параметрам, но без способа объективно знать, если вы сделали улучшение , все время как ваши заинтересованные лица сидят вокруг нетерпеливо ожидая просмотра.
Шаблоны POC в этом руководстве разработаны с учетом качества итерации. Они параметризованы на основе того, что показывает исследовательская группа Databricks, важно настроить для улучшения качества RAG. Эти шаблоны не являются "3 строками кода, которые волшебно делают RAG", но являются хорошо структурированным приложением RAG, которое можно настроить для качества в следующих шагах рабочего процесса разработки на основе оценки.
Это позволяет быстро развернуть POC, но быстро перейти к качественной итерации без необходимости переписать код.
Ниже приведена техническая архитектура приложения POC:
Примечание.
По умолчанию POC использует модели открытый код, доступные в Службе моделей ИИ Мозаики. Тем не менее, так как POC использует службу Модели ИИ Мозаики, которая поддерживает любую базовую модель, используя другую модель, легко — просто настройте ее в Службе моделей, а затем замените embedding_endpoint_name
ее и llm_endpoint_name
в записной книжке 00_config
.
- Следуйте api-интерфейсам модели модели подготовленной пропускной способности для других открытый код моделей, доступных в Databricks Marketplace.
- Следите за Create_OpenAI_External_Model записной книжкой или внешними моделями в Модели ИИ Для мозаики для поддерживаемых сторонних размещенных моделей, таких как Azure OpenAI, OpenAI, Cohere, Anthropic и Google Gemini.
Действия по развертыванию POC для сбора отзывов
В следующих шагах показано, как запустить и развернуть приложение POC для создания ИИ. После развертывания вы получите URL-адрес в приложении проверки, которое можно поделиться с заинтересованными лицами для сбора отзывов.
Откройте папку кода POC в A_POC_app на основе типа данных:
- Для PDF-файлов используйте pdf_uc_volume.
- Для файлов Powerpoint используйте pptx_uc_volume.
- Для файлов DOCX используйте docx_uc_volume.
- JSON-файлы с текстом, markdown, HTML-содержимым и метаданными, используйте json_uc_volume
Если данные не соответствуют одному из указанных выше требований, можно настроить функцию синтаксического анализа (
parser_udf
) в02_poc_data_pipeline
указанных выше каталогах POC для работы с типами файлов.В папке POC отображаются следующие записные книжки:
Примечание.
Эти записные книжки относятся к определенному выбранному POC. Например, если вы видите ссылку
00_config
иpdf_uc_volume
выбрали ее, вы можете найти соответствующую00_config
записную книжку по адресу A_POC_app/pdf_uc_volume/00_config.При необходимости просмотрите параметры по умолчанию.
00_config
Откройте записную книжку в каталоге POC, выбранном выше, чтобы просмотреть параметры приложений POC по умолчанию для конвейера данных и RAG.Внимание
Рекомендуемые параметры по умолчанию Databricks не предназначены для идеального, но являются местом для начала. Следующие шаги этого рабочего процесса помогут вам выполнить итерацию этих параметров.
Проверьте конфигурацию.
01_validate_config
Выполните проверку допустимости конфигурации и доступны все ресурсы. Файлrag_chain_config.yaml
отображается в каталоге, который используется для развертывания приложения.Запустите конвейер данных.
Конвейер данных POC — это записная книжка Databricks на основе Apache Spark. Откройте записную книжку
02_poc_data_pipeline
и нажмите клавишу "Выполнить все ", чтобы запустить конвейер. Конвейер выполняет следующие действия:- Загружает необработанные документы из тома UC
- Анализирует каждый документ, сохраняя результаты в разностную таблицу
- Блоки каждого документа, сохраняя результаты в разностную таблицу
- Внедряет документы и создает векторный индекс с помощью векторного поиска мозаики ИИ
Метаданные, такие как выходные таблицы и конфигурация, о конвейере данных записываются в MLflow:
Выходные данные можно проверить, найдите ссылки на разностные таблицы или векторные индексы в нижней части записной книжки:
Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index Output tables: Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold
Разверните цепочку POC в приложении проверки.
Цепочка POC по умолчанию — это цепочка RAG, созданная с помощью LangChain.
Примечание.
В цепочке POC используется ведение журнала на основе кода MLflow. Дополнительные сведения о ведении журнала на основе кода см. в разделе "Журнал и регистрация агентов ИИ".
Открытие записной книжки
03_deploy_poc_to_review_app
Запустите каждую ячейку записной книжки.
Трассировка MLflow показывает, как работает приложение POC. Измените входной вопрос на тот, который относится к вашему варианту использования, и повторно запустите ячейку, чтобы "проверить" приложение.
Измените инструкции по умолчанию, чтобы иметь отношение к вашему варианту использования. Они отображаются в приложении проверки.
instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC) Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement. 1. **Variety of Questions**: - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively. 2. **Feedback on Answers**: - After asking each question, use the feedback widgets provided to review the answer given by the application. - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy. 3. **Review of Returned Documents**: - Carefully review each document that the system returns in response to your question. - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful. Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users.""" print(instructions_to_reviewer)
Запустите ячейку развертывания, чтобы получить ссылку на приложение проверки.
Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>
Предоставьте отдельным пользователям разрешения на доступ к приложению проверки.
Вы можете предоставить доступ пользователям без Databricks, выполнив действия, описанные в разделе "Настройка разрешений для использования приложения проверки".
Протестируйте приложение проверки, задав несколько вопросов и предоставив отзыв.
Примечание.
Трассировки MLflow и отзыв пользователя из приложения проверки отображаются в разностных таблицах в настроенной схеме каталога. Журналы могут отображаться до 2 часов в этих разностных таблицах.
Предоставление общего доступа к приложению проверки заинтересованным лицам
Теперь вы можете поделиться приложением POC RAG с заинтересованными лицами, чтобы получить свои отзывы.
Внимание
Databricks предлагает распределить POC по крайней мере трем заинтересованным лицам и задавать им 10 - 20 вопросов. Важно протестировать несколько заинтересованных сторон, чтобы вы могли иметь разнообразный набор перспектив для включения в набор оценки.
Следующий шаг
Перейдите к шагу 3. Курировать набор оценки из отзывов заинтересованных лиц.
< Предыдущий: шаг 1. Клонирование репозитория и создание вычислений