Поделиться через

Шаг 2. Развертывание POC для сбора отзывов заинтересованных лиц

  • Статья

В конце этого шага вы развернете приложение проверки оценки агента, которое позволяет заинтересованным лицам тестировать и предоставлять отзывы о POC. Подробные журналы использования ваших заинтересованных сторон и их отзывы будут перенаправлены в Delta Tables в вашей системе Lakehouse.

Подтверждение концепции приложения RAG

Требования

См. репозиторий GitHub для примера кода в этом разделе.

Подтверждение концепции приложения RAG

Первым шагом в разработке на основе оценки является создание подтверждения концепции (POC). POC предлагает следующие преимущества:

  • Предоставляет направление представления о возможном варианте использования с помощью RAG
  • Позволяет собирать первоначальные отзывы от заинтересованных лиц, что, в свою очередь, позволяет создавать первую версию оценочного набора.
  • Устанавливает базовое измерение качества для начала итерации

Databricks рекомендует создавать POC с помощью простейшей архитектуры RAG и рекомендуемых значений по умолчанию для каждого параметра.

Эта рекомендация обусловлена тем, что существуют сотни возможных сочетаний параметров, которые можно настроить в приложении RAG. Вы можете легко тратить недели настройки, но если вы делаете это, прежде чем вы сможете систематически оценить свою RAG, вы в конечном итоге в том, что называется циклом doom POC, итерации по параметрам, но без способа объективно знать, если вы сделали улучшение , все время как ваши заинтересованные лица сидят вокруг нетерпеливо ожидая просмотра.

Шаблоны POC в этом руководстве разработаны с учетом качества итерации. Они параметризованы на основе того, что показывает исследовательская группа Databricks, важно настроить для улучшения качества RAG. Эти шаблоны не являются "3 строками кода, которые волшебно делают RAG", но являются хорошо структурированным приложением RAG, которое можно настроить для качества в следующих шагах рабочего процесса разработки на основе оценки.

Это позволяет быстро развернуть POC, но быстро перейти к качественной итерации без необходимости переписать код.

Ниже приведена техническая архитектура приложения POC:

Архитектура приложения POC

Примечание.

По умолчанию POC использует модели открытый код, доступные в Службе моделей ИИ Мозаики. Тем не менее, так как POC использует службу Модели ИИ Мозаики, которая поддерживает любую базовую модель, используя другую модель, легко — просто настройте ее в Службе моделей, а затем замените embedding_endpoint_name ее и llm_endpoint_name в записной книжке 00_config .

Действия по развертыванию POC для сбора отзывов

В следующих шагах показано, как запустить и развернуть приложение POC для создания ИИ. После развертывания вы получите URL-адрес в приложении проверки, которое можно поделиться с заинтересованными лицами для сбора отзывов.

  1. Откройте папку кода POC в A_POC_app на основе типа данных:

    • Для PDF-файлов используйте pdf_uc_volume.
    • Для файлов Powerpoint используйте pptx_uc_volume.
    • Для файлов DOCX используйте docx_uc_volume.
    • JSON-файлы с текстом, markdown, HTML-содержимым и метаданными, используйте json_uc_volume

    Если данные не соответствуют одному из указанных выше требований, можно настроить функцию синтаксического анализа (parser_udf) в 02_poc_data_pipeline указанных выше каталогах POC для работы с типами файлов.

    В папке POC отображаются следующие записные книжки:

    Файлы записных книжек

    Примечание.

    Эти записные книжки относятся к определенному выбранному POC. Например, если вы видите ссылку 00_config и pdf_uc_volumeвыбрали ее, вы можете найти соответствующую 00_config записную книжку по адресу A_POC_app/pdf_uc_volume/00_config.

  2. При необходимости просмотрите параметры по умолчанию.

    Откройте записную книжку 00_config в каталоге POC, выбранном выше, чтобы просмотреть параметры приложений POC по умолчанию для конвейера данных и RAG.

    Внимание

    Рекомендуемые параметры по умолчанию Databricks не являются идеальными, но являются отправной точкой. Следующие шаги этого рабочего процесса помогут вам производить изменения этих параметров.

  3. Проверьте конфигурацию.

    01_validate_config Выполните проверку допустимости конфигурации и доступны все ресурсы. Файл rag_chain_config.yaml отображается в каталоге, который используется для развертывания приложения.

  4. Запустите конвейер данных.

    Конвейер данных POC — это записная книжка Databricks на основе Apache Spark. Откройте записную книжку 02_poc_data_pipeline и нажмите клавишу "Выполнить все ", чтобы запустить конвейер. Конвейер выполняет следующие действия:

    • Загружает необработанные документы из тома UC
    • Анализирует каждый документ, сохраняя результаты в разностную таблицу
    • Разделяет документ на части, сохраняя результаты в Delta Table
    • Внедряет документы и создает векторный индекс с помощью векторного поиска мозаики ИИ

    Метаданные, такие как выходные таблицы и конфигурация, о конвейере данных записываются в MLflow:

    GIF-файл для отображения конвейера данных

    Выходные данные можно проверить, найдите ссылки на разностные таблицы или векторные индексы в нижней части записной книжки:

    Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index

Output tables:

Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze
Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver
Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold

  5. Разверните цепочку POC в приложении проверки.

    Цепочка POC по умолчанию — это цепочка RAG, созданная с помощью LangChain.

    Примечание.

    В цепочке POC используется ведение журнала на основе кода MLflow. Дополнительные сведения о ведении журнала на основе кода см. в разделе "Журнал и регистрация агентов ИИ".

    1. Открытие записной книжки 03_deploy_poc_to_review_app

    2. Запустите каждую ячейку записной книжки.

    3. Трассировка MLflow показывает, как работает приложение POC. Измените входной вопрос на тот, который относится к вашему варианту использования, и повторно запустите ячейку, чтобы "проверить" приложение.

      GIF-файл, показывающий трассировку MLflow

    4. Измените инструкции по умолчанию, чтобы иметь отношение к вашему варианту использования. Они отображаются в приложении проверки.

         instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC)

   Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement.

   1. **Variety of Questions**:
      - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively.

   2. **Feedback on Answers**:
      - After asking each question, use the feedback widgets provided to review the answer given by the application.
      - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy.

   3. **Review of Returned Documents**:
      - Carefully review each document that the system returns in response to your question.
      - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful.

   Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users."""

   print(instructions_to_reviewer)

    5. Запустите ячейку развертывания, чтобы получить ссылку на приложение проверки.

      Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>

  6. Предоставьте отдельным пользователям разрешения на доступ к приложению проверки.

    Вы можете предоставить доступ пользователям, не имеющим отношения к Databricks, следуя шагам, описанным в разделе Настройка разрешений для использования приложения обзора.

  7. Протестируйте приложение проверки, задав несколько вопросов и предоставив отзыв.

    Примечание.

    Трассировки MLflow и отзывы пользователя из приложения для проверки отображаются в таблицах Delta в схеме каталога, которую вы настроили. Журналы могут появляться в течение до 2 часов в этих таблицах Delta.

  8. Предоставление общего доступа к приложению проверки заинтересованным лицам

    Теперь вы можете поделиться приложением POC RAG с заинтересованными лицами, чтобы получить свои отзывы.

    Внимание

    Databricks предлагает распределить POC по крайней мере трем заинтересованным лицам и задавать им 10 - 20 вопросов. Важно дать нескольким заинтересованным сторонам протестировать вашу концепцию (PoC), чтобы вы могли иметь разнообразный набор точек зрения для включения в процесс оценки.

Следующий шаг

Продолжайте с шагом 3 . Составьте оценочный набор на основе отзывов заинтересованных лиц.

< Предыдущий: шаг 1. Клонирование репозитория и создание вычислений

Далее: шаг 3. Курировать оценочный набор >