Использование конечных точек API без сервера из другой рабочей области

Из этой статьи вы узнаете, как настроить существующую конечную точку API без сервера в другой рабочей области, отличной от той, в которой она была развернута.

Некоторые модели в каталоге моделей можно развернуть как бессерверные API. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

Необходимость использования конечной точки БЕССерверного API в другой рабочей области, отличной от используемой для создания развертывания, может возникнуть в таких ситуациях:

• Вы хотите централизировать развертывания в данной рабочей области и использовать их из разных рабочих областей в организации.
• Необходимо развернуть модель в рабочей области в определенном регионе Azure, где доступно бессерверное развертывание для этой модели. Однако его необходимо использовать из другого региона, где бессерверное развертывание недоступно для конкретных моделей.

Необходимые компоненты

• Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

• Рабочая область Машинное обучение Azure, в которой требуется использовать существующее развертывание.

• Модель , развернутая в конечной точке API без сервера. В этой статье предполагается, что вы ранее развернули модель Meta-Llama-3-8B-Instruct . Сведения о развертывании этой модели в качестве бессерверного API см. в статье "Развертывание моделей как бессерверных API".

• Для работы с Машинное обучение Azure необходимо установить следующее программное обеспечение:

  Studio

  Для навигации по Студия машинного обучения Azure можно использовать любой совместимый веб-браузер.

  Azure CLI

  Azure CLI и расширение ml для Машинное обучение Azure.

  az extension add -n ml
  

  Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.

  az extension update -n ml
  

  После установки расширения настройте его:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Пакет SDK для Python

  Установите пакет SDK Машинное обучение Azure для Python.

  pip install -U azure-ai-ml
  

  После установки импортируйте необходимые пространства имен:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Создание подключения конечной точки API без сервера

Выполните следующие действия, чтобы создать подключение:

1. Подключитесь к рабочей области, в которой развернута конечная точка:

   Studio

   Перейдите к Студия машинного обучения Azure и перейдите в рабочую область, к которой будет развернута конечная точка, к которой требуется подключиться.

   Azure CLI

   Настройте интерфейс командной строки, чтобы указать рабочую область:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Пакет SDK для Python

   Создайте клиент, подключенный к рабочей области:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Получите URL-адрес и учетные данные конечной точки, к которой вы хотите подключиться. В этом примере вы получите сведения о имени конечной точки meta-llama3-8b-qwerty.

   Studio

   1. Выберите конечные точки на левой боковой панели.

   2. Перейдите на вкладку "Бессерверные конечные точки", чтобы отобразить конечные точки API без сервера.

   3. Выберите конечную точку, к которой нужно подключиться.

   4. На вкладке сведений конечной точки скопируйте значения для целевого URI и ключа.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Пакет SDK для Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Теперь подключитесь к рабочей области , в которой необходимо создать подключение и использовать конечную точку.

4. Создайте подключение в рабочей области:

   Studio

   1. Перейдите в рабочую область, в которой необходимо создать подключение.

   2. Перейдите в раздел "Управление" в левой панели навигации и выберите "Подключения".

   3. Нажмите кнопку создания.

   4. Выберите бессерверную модель.

   5. Для целевого URI вставьте скопированное ранее значение.

   6. Для ключа вставьте скопированное ранее значение.

   7. Присвойте соединению имя, в данном случае мета-лама3-8b-соединение.

   8. Выберите Добавить подключение.

   Azure CLI

   Создайте определение подключения:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Пакет SDK для Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. На этом этапе подключение доступно для потребления.

6. Чтобы убедиться, что подключение работает, выполните следующие действия.

   1. В левой панели навигации Студия машинного обучения Azure перейдите в поток запроса разработки>.

   2. Нажмите кнопку "Создать" , чтобы создать новый поток.

   3. Выберите "Создать" в поле потока чата.

   4. Присвойте потоку запроса имя и нажмите кнопку "Создать".

   5. Выберите узел чата из графа, чтобы перейти к разделу чата.

   6. Для подключения откройте раскрывающийся список, чтобы выбрать только что созданное соединение, в данном случае мета-ллома3-8b-соединение.

   7. Выберите "Пуск сеанса вычислений " на верхней панели навигации, чтобы запустить автоматическую среду выполнения потока запросов.

   8. Выберите параметр "Чат". Теперь вы можете отправлять сообщения и получать ответы.

Связанный контент

• Каталог моделей и коллекции
• Развертывание моделей в качестве конечных точек API без сервера