Начало работы с чатом с помощью собственного примера данных для Java

В этой статье показано, как развернуть и запустить чат с примером данных для Java. В этом примере реализовано приложение чата с помощью Java, Azure OpenAI Service и извлечения дополненного поколения (RAG) в службе поиска искусственного интеллекта Azure, чтобы получить ответы о преимуществах сотрудников в вымышленной компании. Приложение заполнено PDF-файлами, включая руководство сотрудника, документ о преимуществах и список ролей и ожиданий компании.

• Демонстрационное видео

В этой статье вы выполните следующие задачи:

• Разверните приложение чата в Azure.
• Получите ответы о преимуществах сотрудников.
• Измените параметры, чтобы изменить поведение ответов.

Завершив эту статью, вы можете начать изменение нового проекта с помощью пользовательского кода.

Эта статья является частью коллекции статей, демонстрирующих создание приложения чата с помощью Службы OpenAI Azure и поиска ИИ Azure. Другие статьи в коллекции включают:

• .NET
• JavaScript
• Python

Примечание.

В этой статье используется один или несколько шаблонов приложений ИИ в качестве основы для примеров и рекомендаций в этой статье. Шаблоны приложений ИИ предоставляют вам хорошо поддерживаемые и простые в развертывании эталонные реализации, которые помогают обеспечить высококачественную отправную точку для приложений ИИ.

Обзор архитектуры

Простая архитектура приложения чата показана на следующей схеме:

Схема, показывающая архитектуру от клиента к внутреннему приложению.

Ключевые компоненты архитектуры:

• Веб-приложение для размещения интерактивного чата.
• Ресурс поиска ИИ Azure для получения ответов из собственных данных.
• Служба Azure OpenAI для предоставления:
  • Ключевые слова для улучшения поиска по собственным данным.
  • Ответы из модели OpenAI.
  • Внедрение из модели ada

Себестоимость

Большинство ресурсов в этой архитектуре используют базовую или ценовую категорию потребления. Цены на потребление основаны на использовании, что означает, что вы оплачиваете только то, что вы используете. За завершение этой статьи взимается плата, но она минимальная. Когда вы закончите работу со статьей, вы можете удалить ресурсы для прекращения расходов.

Дополнительные сведения о затратах в примере репозитория.

Необходимые компоненты

Среда контейнера разработки доступна со всеми зависимостями, необходимыми для выполнения этой статьи. Контейнер разработки можно запустить в GitHub Codespaces (в браузере) или локально с помощью Visual Studio Code.

Чтобы использовать эту статью, вам потребуются следующие предварительные требования:

Пространства кода (рекомендуется)

• Подписка Azure— создать ее бесплатно.
• Разрешения учетной записи Azure — у вашей учетной записи Azure должны быть разрешения Microsoft.Authorization/roleAssignments/write, например, администратора доступа пользователей или владельца.
• Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется только приложением. Вы можете подать заявку на доступ к Azure OpenAI, выполнив форму по адресу https://aka.ms/oai/access. Если у вас возникли проблемы, создайте соответствующий запрос в этом репозитории, чтобы связаться с нами.
• Учетная запись GitHub.

Visual Studio Code

• подписка Azure — создайте бесплатную учетную запись.
• Разрешения учетной записи Azure. У вашей учетной записи Azure должны быть разрешения Microsoft.Authorization/roleAssignments/write, такие как администратор доступа пользователей или владелец.
• Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется только приложением. Вы можете подать заявку на доступ к Azure OpenAI, выполнив форму по адресу https://aka.ms/oai/access. Если у вас возникли проблемы, создайте соответствующий запрос в этом репозитории, чтобы связаться с нами.
• Интерфейс командной строки разработчика Azure
• Docker Desktop — запустите Docker Desktop , если он еще не запущен
• Visual Studio Code
• Расширение контейнера разработки

Открытие среды разработки

Начните с среды разработки, которая содержит все зависимости, установленные для выполнения этой статьи.

Пространства кода GitHub (рекомендуется)

GitHub Codespaces запускает контейнер разработки, управляемый GitHub, с Помощью Visual Studio Code для Интернета в качестве пользовательского интерфейса. Для наиболее простой среды разработки используйте GitHub Codespaces, чтобы у вас были правильные средства разработчика и зависимости, предварительно установленные для выполнения этой статьи.

Внимание

Все учетные записи GitHub могут использовать пространства Кода до 60 часов бесплатно каждый месяц с 2 основными экземплярами. Дополнительные сведения см. в GitHub Codespaces ежемесячно включаемых в хранилище и основные часы.

1. Щелкните правой кнопкой мыши следующую кнопку и выберите "Открыть ссылку" в новых окнах , чтобы одновременно иметь среду разработки и документацию.

   Открытие в GitHub Codespaces

2. На странице "Создание пространства кода" просмотрите параметры конфигурации пространства кода и выберите "Создать пространство кода".

   Снимок экрана подтверждения перед созданием нового пространства кода.

3. Дождитесь запуска пространства кода. Этот процесс запуска может занять несколько минут.

4. В терминале в нижней части экрана войдите в Azure с помощью Интерфейса командной строки разработчика Azure.

   azd auth login
   

5. Скопируйте код из терминала и вставьте его в браузер. Следуйте инструкциям по проверке подлинности с помощью учетной записи Azure.

6. Остальные задачи в этой статье выполняются в контексте этого контейнера разработки.

Расширение "Контейнеры разработки" для Visual Studio Code требует установки Docker на локальном компьютере. Расширение размещает контейнер разработки локально с помощью узла Docker с правильными средствами разработчика и предустановленными зависимостями для выполнения этой статьи.

1. Создайте локальный каталог на компьютере для проекта.

   mkdir my-intelligent-app && cd my-intelligent-app
   

2. Откройте Visual Studio Code в этом каталоге:

   code .
   

3. Откройте новый терминал в Visual Studio Code.

4. Выполните следующую команду AZD, чтобы перенести репозиторий GitHub на локальный компьютер.

   azd init -t azure-search-openai-demo-java
   

5. Откройте палитру команд, найдите и выберите "Контейнеры разработки": откройте папку в контейнере, чтобы открыть проект в контейнере разработки. Дождитесь, пока контейнер разработки не откроется, прежде чем продолжить.

6. Войдите в Azure с помощью Интерфейса командной строки разработчика Azure.

   azd auth login
   

   Скопируйте код из терминала и вставьте его в браузер. Следуйте инструкциям по проверке подлинности с помощью учетной записи Azure.

7. Остальные упражнения в этом проекте происходят в контексте этого контейнера разработки.

Развертывание и запуск

Пример репозитория содержит все файлы кода и конфигурации, необходимые для развертывания приложения чата в Azure. Ниже приведены инструкции по развертыванию примера в Azure.

Развертывание приложения чата в Azure

Внимание

Ресурсы Azure, созданные в этом разделе, несут немедленные затраты, в первую очередь из ресурса поиска ИИ Azure. Эти ресурсы могут начислять затраты, даже если вы прерываете команду до его полного выполнения.

1. Подготовьте ресурсы Azure и разверните исходный код, выполнив следующую команду:

   azd up
   

2. Если вам будет предложено ввести имя среды, сохраните его в коротком и нижнем регистре, например, myenv. Он используется в качестве части имени группы ресурсов.

3. При появлении запроса выберите подписку, чтобы создать ресурсы.

4. Когда появится запрос на выбор расположения в первый раз, выберите расположение рядом с вами. Это расположение используется для большинства ресурсов, включая размещение.

5. Если вам будет предложено указать расположение для модели OpenAI, выберите расположение, которое находится рядом с вами. Если то же расположение доступно в качестве первого расположения, выберите это.

6. Дождитесь развертывания приложения, которое может занять 5–10 минут.

7. После успешного развертывания приложения в терминале отображается URL-адрес.

8. Выберите этот URL-адрес, чтобы Deploying service web открыть приложение чата в браузере.

   

Использование приложения чата для получения ответов из PDF-файлов

Приложение чата предварительно загружено с информацией о преимуществах сотрудников из PDF-файлов. Вы можете использовать приложение чата, чтобы задать вопросы о преимуществах. В следующих шагах описан процесс использования приложения чата.

1. В браузере выберите или введите Что входит в план Northwind Health Plus, который не входит в стандартный план? в текстовом поле чата.

   Снимок экрана: первый ответ приложения чата.

2. В ответе выберите один из ссылок.

   Снимок экрана: первый ответ приложения чата с выделенной ссылкой в красном поле.

3. На правой панели используйте вкладки, чтобы понять, как был создан ответ.

   Вкладка	Описание
   Процесс мысли	Скрипт взаимодействия в чате.
   Вспомогательное содержимое	Содержит сведения для ответа на ваш вопрос и исходный материал.
   Источник	Отображает pdf-страницу, содержащую ссылку.

4. По завершении выберите выбранную вкладку, чтобы закрыть панель.

Использование параметров приложения чата для изменения поведения ответов

Модель OpenAI и параметры, используемые для взаимодействия с моделью, определяют аналитику приложения чата.

Снимок экрана: параметры разработчика чата.

Параметр	Описание
Переопределение шаблона запроса	Запрос, используемый для создания ответа.
Получение этого большого количества результатов поиска	Количество результатов поиска, используемых для создания ответа. Эти источники отображаются в процессе мысли и вкладках содержимого поддержки ссылки.
Исключить категорию	Категория документов, исключенных из результатов поиска.
Использование семантического ранга для извлечения	Функция поиска ИИ Azure , использующая машинное обучение для повышения релевантности результатов поиска.
Использование сводок в контекстном запросе вместо целых документов	Use semantic rankerUse query-contextual summaries При проверке в LLM используются заголовки, извлеченные из ключевых проходов, а не все проходы, в документах с наивысшим рейтингом.
Советы по дальнейшим вопросам	Предложите в приложении чата дальнейшие вопросы на основе ответа.
Режим извлечения	Vectors + Text означает, что результаты поиска основаны на тексте документов и внедрении документов. Векторы означает, что результаты поиска основаны на внедрениях документов. Текст означает, что результаты поиска основаны на тексте документов.
Ответы на завершение чата потоковой передачи	Поток ответа вместо ожидания, пока полный ответ не будет доступен для ответа.

Ниже описан процесс изменения параметров.

1. В браузере перейдите на вкладку "Параметры разработчика ".

2. Установите флажок Предложить дальнейшие вопросы и задайте один и тот же вопрос еще раз.

   What is my deductible?
   

   Чат возвращает предлагаемые дополнительные вопросы, такие как эти:

   1. What is the cost sharing for out-of-network services?
   2. Are preventive care services subject to the deductible?
   3. How does the prescription drug deductible work?
   

3. На вкладке "Параметры" отмените выбор семантического рангера для извлечения.

4. Задайте тот же вопрос снова?

   What is my deductible?
   

5. Что такое разница в ответах?

   Например, ответ, который использовал семантический рангер, предоставил один ответ: The deductible for the Northwind Health Plus plan is $2,000 per year

   Ответ без семантического ранжирования вернул ответ, который требовал больше работы для получения ответа: Based on the information provided, it is unclear what your specific deductible is. The Northwind Health Plus plan has different deductible amounts for in-network and out-of-network services, and there is also a separate prescription drug deductible. I would recommend checking with your provider or referring to the specific benefits details for your plan to determine your deductible amount

Очистка ресурсов

Очистка ресурсов Azure

Ресурсы Azure, созданные в этой статье, выставляются в подписку Azure. Если вы не ожидаете, что эти ресурсы потребуются в будущем, удалите их, чтобы избежать дополнительных расходов. Используйте следующую команду, чтобы удалить ресурсы Azure и удалить исходный код:

azd down --purge

Очистка GitHub Codespaces

GitHub Codespaces

Удаление среды GitHub Codespaces гарантирует, что вы можете максимально увеличить объем бесплатных прав на базовые часы, которые вы получаете для вашей учетной записи.

Внимание

Дополнительные сведения о правах учетной записи GitHub см . в GitHub Codespaces ежемесячно включено в хранилище и основные часы.

1. Войдите на панель мониторинга GitHub Codespaces.

2. Найдите ваши запущенные в данный момент рабочие пространства Codespaces, полученные из репозитория Azure-Samples/azure-search-openai-demo-java на GitHub.

   Снимок экрана: все запущенные пространства Codespace, включая их состояние и шаблоны.

3. Откройте контекстное меню для пространства кода и нажмите кнопку "Удалить".

   Снимок экрана: контекстное меню для одного пространства кода с выделенным параметром удаления.

Для очистки локальной среды не обязательно требуется, но вы можете остановить запущенный контейнер разработки и вернуться к запуску Visual Studio Code в контексте локальной рабочей области.

Откройте палитру команд, найдите команды "Контейнеры разработки", а затем выберите "Контейнеры разработки: открыть папку локально".

Снимок экрана: параметр палитры команд для повторного открытия текущей папки в локальной среде.

Совет

Visual Studio Code остановит запущенный контейнер разработки, но контейнер по-прежнему существует в Docker в остановленном состоянии. Вы всегда можете удалить экземпляр контейнера, образ контейнера и тома из Docker, чтобы освободить больше места на локальном компьютере.

Как ответить на вопрос?

Приложение делится на два отдельных приложения.

• Интерфейсное приложение JavaScript с помощью платформы React с инструментом сборки Vite.
• Серверное приложение Java отвечает на вопрос.

Внутренний /chat API выполняет шаги по получению ответа:

• Создание параметров RAG: создание ряда параметров, используемых для формирования ответа.
• Создание подхода с помощью RAG: используйте сочетание моделей на основе извлечения и создания, чтобы создать подход для создания точного и естественного отклика.
• Запустите подход с параметрами RAG и предыдущей беседой: используйте подход и параметры RAG для создания ответа на основе предыдущей беседы. Ответ содержит сведения о том, какие документы использовались для создания ответа.

Получить помощь

Этот пример репозитория предлагает сведения об устранении неполадок. Если ваша проблема не устранена, зарегистрируйте её в разделе Проблемырепозитория.

Следующие шаги

• Получение исходного кода для примера, используемого в этой статье
• Создание приложения чата с помощью архитектуры решения Azure OpenAI
• Управление доступом в созданных приложениях ИИ с помощью службы "Поиск ИИ Azure"
• Создание готового решения OpenAI enterprise с помощью Azure Управление API
• Перебор векторного поиска с гибридными возможностями извлечения и ранжирования
• Дополнительные комплексные шаблоны azure AI