Использование конечных точек бессерверного API из другого проекта или концентратора Azure AI Foundry

Статья
12/20/2024

В этой статье вы узнаете, как настроить существующую конечную точку API без сервера в другом проекте или концентраторе, отличном от используемой для создания развертывания.

Внимание

Модели, которые находятся в предварительной версии, помечены как предварительный просмотр на своих карточках моделей в каталоге моделей.

Некоторые модели в каталоге моделей можно развернуть как бессерверные API. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

Необходимость использовать конечную точку API без сервера в другом проекте или концентраторе, отличном от используемой для создания развертывания, может возникнуть в таких ситуациях, как следующие:

Вы хотите централизировать развертывания в определенном проекте или центре и использовать их из разных проектов или центров в вашей организации.
Необходимо развернуть модель в концентраторе в определенном регионе Azure, где доступно бессерверное развертывание для этой модели. Однако его необходимо использовать из другого региона, где бессерверное развертывание недоступно для конкретных моделей.

Необходимые компоненты

Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.
Центр Azure AI Foundry.
Проект Azure AI Foundry.
Модель , развернутая в конечной точке API без сервера. В этой статье предполагается, что вы ранее развернули модель Meta-Llama-3-8B-Instruct . Сведения о развертывании этой модели в качестве бессерверного API см. в статье "Развертывание моделей как бессерверных API".
Для работы с Azure AI Foundry необходимо установить следующее программное обеспечение:
Вы можете использовать любой совместимый веб-браузер для навигации по Azure AI Foundry.
Azure CLI и расширение ml для Машинное обучение Azure.
```
az extension add -n ml
```
Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.
```
az extension update -n ml
```
После установки расширения настройте его:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Установите пакет SDK Машинное обучение Azure для Python.
```
pip install -U azure-ai-ml
```
После установки импортируйте необходимые пространства имен:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
```

Создание подключения конечной точки API без сервера

Выполните следующие действия, чтобы создать подключение:

Подключитесь к проекту или концентратору, где развернута конечная точка:
Перейдите в Azure AI Foundry и перейдите к проекту, к которому будет развернута конечная точка, к которой требуется подключиться.
Настройте интерфейс командной строки для указания проекта:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Создайте клиент, подключенный к проекту:
```
client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Получите URL-адрес и учетные данные конечной точки, к которой вы хотите подключиться. В этом примере вы получите сведения о имени конечной точки meta-llama3-8b-qwerty.
1. На левой боковой панели проекта на портале Azure AI Foundry перейдите в раздел "Мои активы>" Модели и конечные точки", чтобы просмотреть список развертываний в проекте.
2. Выберите развертывание, к которому нужно подключиться.
3. Скопируйте значения для целевого URI и ключа.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_name = "meta-llama3-8b-qwerty"
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Теперь подключитесь к проекту или концентратору , где необходимо создать подключение:
Перейдите в проект, в котором необходимо создать подключение.
Настройте интерфейс командной строки для указания проекта:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Создайте клиент, подключенный к проекту:
```
client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Создайте подключение в проекте:
1. В проекте на портале Azure AI Foundry перейдите в нижнюю часть левой боковой панели и выберите центр управления.
2. В левой боковой панели центра управления выберите подключенные ресурсы.
3. Выберите Новое подключение.
4. Выберите бессерверную модель.
5. Для целевого URI вставьте скопированное ранее значение.
6. Для ключа вставьте скопированное ранее значение.
7. Присвойте соединению имя, в данном случае мета-лама3-8b-соединение.
8. Выберите Добавить подключение.
Создайте определение подключения:

connection.yml
```
name: meta-llama3-8b-connection
type: serverless
endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
api_key: 1234567890qwertyuiop
```
```
az ml connection create -f connection.yml
```
```
client.connections.create_or_update(ServerlessConnection(
    name="meta-llama3-8b-connection",
    endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
    api_key="1234567890qwertyuiop"
))
```
На этом этапе подключение доступно для потребления.
Чтобы убедиться, что подключение работает, выполните следующие действия.
1. Вернитесь к проекту на портале Azure AI Foundry.
2. В левой боковой панели проекта перейдите к разделу "Сборка и настройка>потока запроса".
3. Нажмите кнопку "Создать" , чтобы создать новый поток.
4. Выберите "Создать" в поле потока чата.
5. Присвойте потоку запроса имя и нажмите кнопку "Создать".
6. Выберите узел чата из графа, чтобы перейти к разделу чата.
7. Для подключения откройте раскрывающийся список, чтобы выбрать только что созданное соединение, в данном случае мета-ллома3-8b-соединение.
8. Выберите "Пуск сеанса вычислений " на верхней панели навигации, чтобы запустить автоматическую среду выполнения потока запросов.
9. Выберите параметр "Чат". Теперь вы можете отправлять сообщения и получать ответы.

Поделиться через

Использование конечных точек бессерверного API из другого проекта или концентратора Azure AI Foundry

Необходимые компоненты

Создание подключения конечной точки API без сервера

Обратная связь

Дополнительные ресурсы

Поделиться через

Использование конечных точек бессерверного API из другого проекта или концентратора Azure AI Foundry

Необходимые компоненты

Создание подключения конечной точки API без сервера

Связанный контент

Обратная связь

Дополнительные ресурсы