Рабочие области Microsoft.MachineLearningServices/onlineEndpoints/deployments 2023-08-01-preview
- Самый поздний
- 2024-10-01
- 2024-10-01-preview
- 2024-07-01-preview
- 2024-04-01
- 2024-04-01-preview
- 2024-01-01-preview
- 2023-10-01
- 2023-08-01-preview
- 2023-06-01-preview
- 2023-04-01
- 2023-04-01-preview
- 2023-02-01-preview
- 2022-12-01-preview
- 2022-10-01
- 2022-10-01-preview
- 2022-06-01-preview
- 2022-05-01
- 2022-02-01-preview
- 2021-03-01-preview
Определение ресурсов Bicep
Тип ресурсов рабочих областей/onlineEndpoints/deployments можно развернуть с помощью операций, предназначенных для следующих операций:
- группы ресурсов . См. команды развертывания группы ресурсов
Список измененных свойств в каждой версии API см. в журнала изменений.
Формат ресурса
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, добавьте следующий Bicep в шаблон.
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview' = {
identity: {
type: 'string'
userAssignedIdentities: {
{customized property}: {}
}
}
kind: 'string'
location: 'string'
name: 'string'
properties: {
appInsightsEnabled: bool
codeConfiguration: {
codeId: 'string'
scoringScript: 'string'
}
dataCollector: {
collections: {
{customized property}: {
clientId: 'string'
dataCollectionMode: 'string'
dataId: 'string'
samplingRate: int
}
}
requestLogging: {
captureHeaders: [
'string'
]
}
rollingRate: 'string'
}
description: 'string'
egressPublicNetworkAccess: 'string'
environmentId: 'string'
environmentVariables: {
{customized property}: 'string'
}
instanceType: 'string'
livenessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
model: 'string'
modelMountPath: 'string'
properties: {
{customized property}: 'string'
}
readinessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
requestSettings: {
maxConcurrentRequestsPerInstance: int
maxQueueWait: 'string'
requestTimeout: 'string'
}
scaleSettings: {
scaleType: 'string'
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType: 'string'
// For remaining properties, see OnlineDeploymentProperties objects
}
sku: {
capacity: int
family: 'string'
name: 'string'
size: 'string'
tier: 'string'
}
tags: {
{customized property}: 'string'
}
}
Объекты OnlineDeploymentProperties
Задайте свойство endpointComputeType, чтобы указать тип объекта.
Для Kubernetesиспользуйте:
{
containerResourceRequirements: {
containerResourceLimits: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
containerResourceRequests: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
}
endpointComputeType: 'Kubernetes'
}
Для управляемых
{
endpointComputeType: 'Managed'
}
Объекты OnlineScaleSettings
Задайте свойство scaleType, чтобы указать тип объекта.
Для по умолчаниюиспользуйте:
{
scaleType: 'Default'
}
Для TargetUtilizationиспользуйте:
{
maxInstances: int
minInstances: int
pollingInterval: 'string'
scaleType: 'TargetUtilization'
targetUtilizationPercentage: int
}
Значения свойств
CodeConfiguration
| Имя | Описание | Ценность |
|---|---|---|
| codeId | Идентификатор ресурса ARM ресурса ресурса кода. | струна |
| оценкаScript | [Обязательный] Скрипт, выполняемый при запуске. Например. "score.py" | струна Ограничения целостности: Минимальная длина = 1 Pattern = [a-zA-Z0-9_] (обязательно) |
Коллекция
| Имя | Описание | Ценность |
|---|---|---|
| clientId | Идентификатор клиента MSI, используемый для сбора журналов в хранилище BLOB-объектов. Если это значение NULL, серверная часть выберет зарегистрированное удостоверение конечной точки для проверки подлинности. | струна |
| dataCollectionMode | Включение или отключение сбора данных. | "Отключено" "Включено" |
| dataId | Идентификатор ресурса Клиентская сторона гарантирует, что ресурс данных указывает на хранилище BLOB-объектов, а серверная часть собирает данные в хранилище BLOB-объектов. | струна |
| выборка | Частота выборки для коллекции. Частота выборки 1.0 означает, что по умолчанию мы собираем 100% данных. | int |
ContainerResourceRequirements
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceLimits | Сведения об ограничении ресурсов контейнера: | ContainerResourceSettings |
| containerResourceRequests | Сведения о запросе ресурса контейнера: | ContainerResourceSettings |
ContainerResourceSettings
| Имя | Описание | Ценность |
|---|---|---|
| ЦПУ | Количество запросов и ограничений виртуальных ЦП для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| Графический процессор | Количество запросов и ограничений карт NVIDIA GPU для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| память | Запрос или ограничение размера памяти для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
DataCollector
| Имя | Описание | Ценность |
|---|---|---|
| Коллекции | [Обязательный] Конфигурация коллекции. Каждая коллекция имеет собственную конфигурацию для сбора данных модели, а имя коллекции может быть произвольной строкой. Сборщик данных модели можно использовать для ведения журнала полезных данных или пользовательского ведения журнала или обоих из них. Запросы и ответы коллекции зарезервированы для ведения журнала полезных данных, другие — для пользовательского ведения журнала. |
DataCollectorCollections (обязательно) |
| requestLogging | Конфигурация ведения журнала запросов для MDC включает расширенные параметры ведения журнала для всех коллекций. Это необязательно. | RequestLogging |
| скользящей скорости | При сборе данных модели в хранилище BLOB-объектов необходимо свернуть данные в другой путь, чтобы избежать ведения журнала всех данных в одном файле BLOB-объектов. Если скорость передачи составляет час, все данные будут собираться в пути к BLOB-объектам /гггг/ММ/дд/HH/. Если это день, все данные будут собираться в пути к BLOB-объекту /гггг/ММ/dd/. Другим преимуществом скользящего пути является то, что пользовательский интерфейс мониторинга модели может быстро выбрать диапазон времени данных. |
"День" "Час" "Минута" "Месяц" "Год" |
DataCollectorCollections
| Имя | Описание | Ценность |
|---|
DefaultScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | Default (обязательно) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Имя | Описание | Ценность |
|---|
EndpointDeploymentPropertiesBaseProperties
| Имя | Описание | Ценность |
|---|
KubernetesOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceRequirements | Требования к ресурсам для контейнера (ЦП и памяти). | ContainerResourceRequirements |
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Kubernetes (обязательно) |
ManagedOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Managed (обязательный) |
ManagedServiceIdentity
| Имя | Описание | Ценность |
|---|---|---|
| тип | Тип управляемого удостоверения службы (где разрешены типы SystemAssigned и UserAssigned). | "Нет" SystemAssigned SystemAssigned, UserAssigned UserAssigned (обязательно) |
| userAssignedIdentities | Набор назначенных пользователем удостоверений, связанных с ресурсом. Ключи словаря userAssignedIdentities будут идентификаторами ресурсов ARM в форме: "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Значения словаря могут быть пустыми объектами ({}) в запросах. | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Имя | Описание | Ценность |
|---|---|---|
| тождество | Управляемое удостоверение службы (назначенные системой удостоверения и (или) назначенные пользователем удостоверения | ManagedServiceIdentity |
| добрый | Метаданные, используемые порталом или инструментом и т. д., для отображения различных интерфейсов пользовательского интерфейса для ресурсов одного типа. | струна |
| местоположение | Географическое расположение, в котором находится ресурс | строка (обязательно) |
| имя | Имя ресурса | струна Ограничения целостности: Pattern = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (обязательно) |
| родитель | В Bicep можно указать родительский ресурс для дочернего ресурса. Это свойство необходимо добавить, только если дочерний ресурс объявлен за пределами родительского ресурса. Дополнительные сведения см. в разделе Дочерний ресурс за пределами родительского ресурса. |
Символьное имя ресурса типа: рабочих областей/onlineEndpoints |
| свойства | [Обязательный] Дополнительные атрибуты сущности. | OnlineDeploymentProperties (обязательно) |
| SKU | Сведения о SKU, необходимые для контракта ARM для автомасштабирования. | SKU |
| Теги | Теги ресурсов | Словарь имен и значений тегов. См. теги в шаблонах |
OnlineDeploymentProperties
| Имя | Описание | Ценность |
|---|---|---|
| appInsightsEnabled | Если значение true, включает ведение журнала Application Insights. | bool |
| codeConfiguration | Конфигурация кода для развертывания конечной точки. | CodeConfiguration |
| dataCollector | Конфигурация mdc отключается при значении NULL. | DataCollector |
| описание | Описание развертывания конечной точки. | струна |
| исходящий трафикPublicNetworkAccess | Если этот параметр включен, разрешите исходящий доступ к общедоступной сети. При отключении это приведет к созданию безопасного исходящего трафика. Значение по умолчанию: включено. | "Отключено" "Включено" |
| endpointComputeType | Установите значение Kubernetes для типа KubernetesOnlineDeployment. Установите значение Managed для типа ManagedOnlineDeployment. | Kubernetes Managed (обязательный) |
| environmentId | Идентификатор ресурса ARM спецификации среды для развертывания конечной точки. | струна |
| environmentVariables | Конфигурация переменных среды для развертывания. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Тип вычислительного экземпляра. | струна |
| livenessProbe | Проба динамической активности регулярно отслеживает работоспособность контейнера. | ProbeSettings |
| модель | Путь URI к модели. | струна |
| modelMountPath | Путь к подключению модели в пользовательском контейнере. | струна |
| свойства | Словарь свойств. Свойства можно добавлять, но не удалять или изменять. | EndpointDeploymentPropertiesBaseProperties |
| готовностьProbe | Проверка готовности проверяет, готов ли контейнер обслуживать трафик. Свойства и значения по умолчанию совпадают с пробой активности. | ProbeSettings |
| requestSettings | Параметры запроса для развертывания. | OnlineRequestSettings |
| scaleSettings | Параметры масштабирования развертывания. Если значение равно null или не указано, По умолчанию значение TargetUtilizationScaleSettings для KubernetesOnlineDeployment и значение DefaultScaleSettings для ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxConcurrentRequestsPerInstance | Количество одновременных запросов на узел, разрешенных для каждого развертывания. Значение по умолчанию — 1. | int |
| maxQueueWait | Максимальное время пребывания запроса в очереди в формате ISO 8601. Значение по умолчанию — 500 мс. |
струна |
| requestTimeout | Время ожидания оценки в формате ISO 8601. Значение по умолчанию — 5000 мс. |
струна |
OnlineScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | Установите значение Default для типа DefaultScaleSettings. Установите значение TargetUtilization для типа TargetUtilizationScaleSettings. | По умолчанию TargetUtilization (обязательный) |
ПробыSettings
| Имя | Описание | Ценность |
|---|---|---|
| failureThreshold | Количество сбоев, которые необходимо разрешить, прежде чем возвращать неработоспособное состояние. | int |
| initialDelay | Задержка перед первой пробой в формате ISO 8601. | струна |
| период | Продолжительность времени между пробами в формате ISO 8601. | струна |
| successThreshold | Количество успешных проб перед возвратом работоспособного состояния. | int |
| Времени ожидания | Время ожидания пробы в формате ISO 8601. | струна |
RequestLogging
| Имя | Описание | Ценность |
|---|---|---|
| captureHeaders | Для ведения журнала полезных данных мы собираем полезные данные только по умолчанию. Если клиенты также хотят собирать указанные заголовки, они могут задать их в captureHeaders, чтобы серверная часть собирала эти заголовки вместе с полезными данными. | string[] |
Sku
| Имя | Описание | Ценность |
|---|---|---|
| способность | Если номер SKU поддерживает горизонтальное масштабирование или в, то целое число емкости должно быть включено. Если горизонтальное масштабирование невозможно для ресурса, это может быть опущено. | int |
| семья | Если служба имеет разные поколения оборудования для одного номера SKU, это можно записать здесь. | струна |
| имя | Имя номера SKU. Ex - P3. Обычно это код буквы и числа | строка (обязательно) |
| размер | Размер номера SKU. Если поле имени является сочетанием уровня и другого значения, это будет автономный код. | струна |
| ярус | Это поле необходимо реализовать поставщиком ресурсов, если служба имеет несколько уровней, но не требуется для PUT. | "Базовый" "Бесплатный" "Премиум" "Стандартный" |
TargetUtilizationScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxInstances | Максимальное количество экземпляров, в которых развертывание может масштабироваться. Квота будет зарезервирована для max_instances. | int |
| minInstances | Минимальное количество экземпляров, которые всегда должны присутствовать. | int |
| pollingInterval | Интервал опроса в формате ISO 8691. Поддерживается только длительность с точностью до секунд. | струна |
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | TargetUtilization (обязательный) |
| targetUtilizationPercentage | Целевое использование ЦП для автомасштабирования. | int |
TrackedResourceTags
| Имя | Описание | Ценность |
|---|
UserAssignedIdentities
| Имя | Описание | Ценность |
|---|
UserAssignedIdentity
| Имя | Описание | Ценность |
|---|
Определение ресурса шаблона ARM
Тип ресурсов рабочих областей/onlineEndpoints/deployments можно развернуть с помощью операций, предназначенных для следующих операций:
- группы ресурсов . См. команды развертывания группы ресурсов
Список измененных свойств в каждой версии API см. в журнала изменений.
Формат ресурса
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, добавьте следующий код JSON в шаблон.
{
"type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
"apiVersion": "2023-08-01-preview",
"name": "string",
"identity": {
"type": "string",
"userAssignedIdentities": {
"{customized property}": {
}
}
},
"kind": "string",
"location": "string",
"properties": {
"appInsightsEnabled": "bool",
"codeConfiguration": {
"codeId": "string",
"scoringScript": "string"
},
"dataCollector": {
"collections": {
"{customized property}": {
"clientId": "string",
"dataCollectionMode": "string",
"dataId": "string",
"samplingRate": "int"
}
},
"requestLogging": {
"captureHeaders": [ "string" ]
},
"rollingRate": "string"
},
"description": "string",
"egressPublicNetworkAccess": "string",
"environmentId": "string",
"environmentVariables": {
"{customized property}": "string"
},
"instanceType": "string",
"livenessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"model": "string",
"modelMountPath": "string",
"properties": {
"{customized property}": "string"
},
"readinessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"requestSettings": {
"maxConcurrentRequestsPerInstance": "int",
"maxQueueWait": "string",
"requestTimeout": "string"
},
"scaleSettings": {
"scaleType": "string"
// For remaining properties, see OnlineScaleSettings objects
},
"endpointComputeType": "string"
// For remaining properties, see OnlineDeploymentProperties objects
},
"sku": {
"capacity": "int",
"family": "string",
"name": "string",
"size": "string",
"tier": "string"
},
"tags": {
"{customized property}": "string"
}
}
Объекты OnlineDeploymentProperties
Задайте свойство endpointComputeType, чтобы указать тип объекта.
Для Kubernetesиспользуйте:
{
"containerResourceRequirements": {
"containerResourceLimits": {
"cpu": "string",
"gpu": "string",
"memory": "string"
},
"containerResourceRequests": {
"cpu": "string",
"gpu": "string",
"memory": "string"
}
},
"endpointComputeType": "Kubernetes"
}
Для управляемых
{
"endpointComputeType": "Managed"
}
Объекты OnlineScaleSettings
Задайте свойство scaleType, чтобы указать тип объекта.
Для по умолчаниюиспользуйте:
{
"scaleType": "Default"
}
Для TargetUtilizationиспользуйте:
{
"maxInstances": "int",
"minInstances": "int",
"pollingInterval": "string",
"scaleType": "TargetUtilization",
"targetUtilizationPercentage": "int"
}
Значения свойств
CodeConfiguration
| Имя | Описание | Ценность |
|---|---|---|
| codeId | Идентификатор ресурса ARM ресурса ресурса кода. | струна |
| оценкаScript | [Обязательный] Скрипт, выполняемый при запуске. Например. "score.py" | струна Ограничения целостности: Минимальная длина = 1 Pattern = [a-zA-Z0-9_] (обязательно) |
Коллекция
| Имя | Описание | Ценность |
|---|---|---|
| clientId | Идентификатор клиента MSI, используемый для сбора журналов в хранилище BLOB-объектов. Если это значение NULL, серверная часть выберет зарегистрированное удостоверение конечной точки для проверки подлинности. | струна |
| dataCollectionMode | Включение или отключение сбора данных. | "Отключено" "Включено" |
| dataId | Идентификатор ресурса Клиентская сторона гарантирует, что ресурс данных указывает на хранилище BLOB-объектов, а серверная часть собирает данные в хранилище BLOB-объектов. | струна |
| выборка | Частота выборки для коллекции. Частота выборки 1.0 означает, что по умолчанию мы собираем 100% данных. | int |
ContainerResourceRequirements
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceLimits | Сведения об ограничении ресурсов контейнера: | ContainerResourceSettings |
| containerResourceRequests | Сведения о запросе ресурса контейнера: | ContainerResourceSettings |
ContainerResourceSettings
| Имя | Описание | Ценность |
|---|---|---|
| ЦПУ | Количество запросов и ограничений виртуальных ЦП для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| Графический процессор | Количество запросов и ограничений карт NVIDIA GPU для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| память | Запрос или ограничение размера памяти для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
DataCollector
| Имя | Описание | Ценность |
|---|---|---|
| Коллекции | [Обязательный] Конфигурация коллекции. Каждая коллекция имеет собственную конфигурацию для сбора данных модели, а имя коллекции может быть произвольной строкой. Сборщик данных модели можно использовать для ведения журнала полезных данных или пользовательского ведения журнала или обоих из них. Запросы и ответы коллекции зарезервированы для ведения журнала полезных данных, другие — для пользовательского ведения журнала. |
DataCollectorCollections (обязательно) |
| requestLogging | Конфигурация ведения журнала запросов для MDC включает расширенные параметры ведения журнала для всех коллекций. Это необязательно. | RequestLogging |
| скользящей скорости | При сборе данных модели в хранилище BLOB-объектов необходимо свернуть данные в другой путь, чтобы избежать ведения журнала всех данных в одном файле BLOB-объектов. Если скорость передачи составляет час, все данные будут собираться в пути к BLOB-объектам /гггг/ММ/дд/HH/. Если это день, все данные будут собираться в пути к BLOB-объекту /гггг/ММ/dd/. Другим преимуществом скользящего пути является то, что пользовательский интерфейс мониторинга модели может быстро выбрать диапазон времени данных. |
"День" "Час" "Минута" "Месяц" "Год" |
DataCollectorCollections
| Имя | Описание | Ценность |
|---|
DefaultScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | Default (обязательно) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Имя | Описание | Ценность |
|---|
EndpointDeploymentPropertiesBaseProperties
| Имя | Описание | Ценность |
|---|
KubernetesOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceRequirements | Требования к ресурсам для контейнера (ЦП и памяти). | ContainerResourceRequirements |
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Kubernetes (обязательно) |
ManagedOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Managed (обязательный) |
ManagedServiceIdentity
| Имя | Описание | Ценность |
|---|---|---|
| тип | Тип управляемого удостоверения службы (где разрешены типы SystemAssigned и UserAssigned). | "Нет" SystemAssigned SystemAssigned, UserAssigned UserAssigned (обязательно) |
| userAssignedIdentities | Набор назначенных пользователем удостоверений, связанных с ресурсом. Ключи словаря userAssignedIdentities будут идентификаторами ресурсов ARM в форме: "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Значения словаря могут быть пустыми объектами ({}) в запросах. | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Имя | Описание | Ценность |
|---|---|---|
| apiVersion | Версия API | '2023-08-01-preview' |
| тождество | Управляемое удостоверение службы (назначенные системой удостоверения и (или) назначенные пользователем удостоверения | ManagedServiceIdentity |
| добрый | Метаданные, используемые порталом или инструментом и т. д., для отображения различных интерфейсов пользовательского интерфейса для ресурсов одного типа. | струна |
| местоположение | Географическое расположение, в котором находится ресурс | строка (обязательно) |
| имя | Имя ресурса | струна Ограничения целостности: Pattern = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (обязательно) |
| свойства | [Обязательный] Дополнительные атрибуты сущности. | OnlineDeploymentProperties (обязательно) |
| SKU | Сведения о SKU, необходимые для контракта ARM для автомасштабирования. | SKU |
| Теги | Теги ресурсов | Словарь имен и значений тегов. См. теги в шаблонах |
| тип | Тип ресурса | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments" |
OnlineDeploymentProperties
| Имя | Описание | Ценность |
|---|---|---|
| appInsightsEnabled | Если значение true, включает ведение журнала Application Insights. | bool |
| codeConfiguration | Конфигурация кода для развертывания конечной точки. | CodeConfiguration |
| dataCollector | Конфигурация mdc отключается при значении NULL. | DataCollector |
| описание | Описание развертывания конечной точки. | струна |
| исходящий трафикPublicNetworkAccess | Если этот параметр включен, разрешите исходящий доступ к общедоступной сети. При отключении это приведет к созданию безопасного исходящего трафика. Значение по умолчанию: включено. | "Отключено" "Включено" |
| endpointComputeType | Установите значение Kubernetes для типа KubernetesOnlineDeployment. Установите значение Managed для типа ManagedOnlineDeployment. | Kubernetes Managed (обязательный) |
| environmentId | Идентификатор ресурса ARM спецификации среды для развертывания конечной точки. | струна |
| environmentVariables | Конфигурация переменных среды для развертывания. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Тип вычислительного экземпляра. | струна |
| livenessProbe | Проба динамической активности регулярно отслеживает работоспособность контейнера. | ProbeSettings |
| модель | Путь URI к модели. | струна |
| modelMountPath | Путь к подключению модели в пользовательском контейнере. | струна |
| свойства | Словарь свойств. Свойства можно добавлять, но не удалять или изменять. | EndpointDeploymentPropertiesBaseProperties |
| готовностьProbe | Проверка готовности проверяет, готов ли контейнер обслуживать трафик. Свойства и значения по умолчанию совпадают с пробой активности. | ProbeSettings |
| requestSettings | Параметры запроса для развертывания. | OnlineRequestSettings |
| scaleSettings | Параметры масштабирования развертывания. Если значение равно null или не указано, По умолчанию значение TargetUtilizationScaleSettings для KubernetesOnlineDeployment и значение DefaultScaleSettings для ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxConcurrentRequestsPerInstance | Количество одновременных запросов на узел, разрешенных для каждого развертывания. Значение по умолчанию — 1. | int |
| maxQueueWait | Максимальное время пребывания запроса в очереди в формате ISO 8601. Значение по умолчанию — 500 мс. |
струна |
| requestTimeout | Время ожидания оценки в формате ISO 8601. Значение по умолчанию — 5000 мс. |
струна |
OnlineScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | Установите значение Default для типа DefaultScaleSettings. Установите значение TargetUtilization для типа TargetUtilizationScaleSettings. | По умолчанию TargetUtilization (обязательный) |
ПробыSettings
| Имя | Описание | Ценность |
|---|---|---|
| failureThreshold | Количество сбоев, которые необходимо разрешить, прежде чем возвращать неработоспособное состояние. | int |
| initialDelay | Задержка перед первой пробой в формате ISO 8601. | струна |
| период | Продолжительность времени между пробами в формате ISO 8601. | струна |
| successThreshold | Количество успешных проб перед возвратом работоспособного состояния. | int |
| Времени ожидания | Время ожидания пробы в формате ISO 8601. | струна |
RequestLogging
| Имя | Описание | Ценность |
|---|---|---|
| captureHeaders | Для ведения журнала полезных данных мы собираем полезные данные только по умолчанию. Если клиенты также хотят собирать указанные заголовки, они могут задать их в captureHeaders, чтобы серверная часть собирала эти заголовки вместе с полезными данными. | string[] |
Sku
| Имя | Описание | Ценность |
|---|---|---|
| способность | Если номер SKU поддерживает горизонтальное масштабирование или в, то целое число емкости должно быть включено. Если горизонтальное масштабирование невозможно для ресурса, это может быть опущено. | int |
| семья | Если служба имеет разные поколения оборудования для одного номера SKU, это можно записать здесь. | струна |
| имя | Имя номера SKU. Ex - P3. Обычно это код буквы и числа | строка (обязательно) |
| размер | Размер номера SKU. Если поле имени является сочетанием уровня и другого значения, это будет автономный код. | струна |
| ярус | Это поле необходимо реализовать поставщиком ресурсов, если служба имеет несколько уровней, но не требуется для PUT. | "Базовый" "Бесплатный" "Премиум" "Стандартный" |
TargetUtilizationScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxInstances | Максимальное количество экземпляров, в которых развертывание может масштабироваться. Квота будет зарезервирована для max_instances. | int |
| minInstances | Минимальное количество экземпляров, которые всегда должны присутствовать. | int |
| pollingInterval | Интервал опроса в формате ISO 8691. Поддерживается только длительность с точностью до секунд. | струна |
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | TargetUtilization (обязательный) |
| targetUtilizationPercentage | Целевое использование ЦП для автомасштабирования. | int |
TrackedResourceTags
| Имя | Описание | Ценность |
|---|
UserAssignedIdentities
| Имя | Описание | Ценность |
|---|
UserAssignedIdentity
| Имя | Описание | Ценность |
|---|
Определение ресурса Terraform (поставщик AzAPI)
Тип ресурсов рабочих областей/onlineEndpoints/deployments можно развернуть с помощью операций, предназначенных для следующих операций:
- групп ресурсов
Список измененных свойств в каждой версии API см. в журнала изменений.
Формат ресурса
Чтобы создать ресурс Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, добавьте следующий объект Terraform в шаблон.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview"
name = "string"
identity = {
type = "string"
userAssignedIdentities = {
{customized property} = {
}
}
}
kind = "string"
location = "string"
body = jsonencode({
properties = {
appInsightsEnabled = bool
codeConfiguration = {
codeId = "string"
scoringScript = "string"
}
dataCollector = {
collections = {
{customized property} = {
clientId = "string"
dataCollectionMode = "string"
dataId = "string"
samplingRate = int
}
}
requestLogging = {
captureHeaders = [
"string"
]
}
rollingRate = "string"
}
description = "string"
egressPublicNetworkAccess = "string"
environmentId = "string"
environmentVariables = {
{customized property} = "string"
}
instanceType = "string"
livenessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
model = "string"
modelMountPath = "string"
properties = {
{customized property} = "string"
}
readinessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
requestSettings = {
maxConcurrentRequestsPerInstance = int
maxQueueWait = "string"
requestTimeout = "string"
}
scaleSettings = {
scaleType = "string"
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType = "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
})
sku = {
capacity = int
family = "string"
name = "string"
size = "string"
tier = "string"
}
tags = {
{customized property} = "string"
}
}
Объекты OnlineDeploymentProperties
Задайте свойство endpointComputeType, чтобы указать тип объекта.
Для Kubernetesиспользуйте:
{
containerResourceRequirements = {
containerResourceLimits = {
cpu = "string"
gpu = "string"
memory = "string"
}
containerResourceRequests = {
cpu = "string"
gpu = "string"
memory = "string"
}
}
endpointComputeType = "Kubernetes"
}
Для управляемых
{
endpointComputeType = "Managed"
}
Объекты OnlineScaleSettings
Задайте свойство scaleType, чтобы указать тип объекта.
Для по умолчаниюиспользуйте:
{
scaleType = "Default"
}
Для TargetUtilizationиспользуйте:
{
maxInstances = int
minInstances = int
pollingInterval = "string"
scaleType = "TargetUtilization"
targetUtilizationPercentage = int
}
Значения свойств
CodeConfiguration
| Имя | Описание | Ценность |
|---|---|---|
| codeId | Идентификатор ресурса ARM ресурса ресурса кода. | струна |
| оценкаScript | [Обязательный] Скрипт, выполняемый при запуске. Например. "score.py" | струна Ограничения целостности: Минимальная длина = 1 Pattern = [a-zA-Z0-9_] (обязательно) |
Коллекция
| Имя | Описание | Ценность |
|---|---|---|
| clientId | Идентификатор клиента MSI, используемый для сбора журналов в хранилище BLOB-объектов. Если это значение NULL, серверная часть выберет зарегистрированное удостоверение конечной точки для проверки подлинности. | струна |
| dataCollectionMode | Включение или отключение сбора данных. | "Отключено" "Включено" |
| dataId | Идентификатор ресурса Клиентская сторона гарантирует, что ресурс данных указывает на хранилище BLOB-объектов, а серверная часть собирает данные в хранилище BLOB-объектов. | струна |
| выборка | Частота выборки для коллекции. Частота выборки 1.0 означает, что по умолчанию мы собираем 100% данных. | int |
ContainerResourceRequirements
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceLimits | Сведения об ограничении ресурсов контейнера: | ContainerResourceSettings |
| containerResourceRequests | Сведения о запросе ресурса контейнера: | ContainerResourceSettings |
ContainerResourceSettings
| Имя | Описание | Ценность |
|---|---|---|
| ЦПУ | Количество запросов и ограничений виртуальных ЦП для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| Графический процессор | Количество запросов и ограничений карт NVIDIA GPU для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
| память | Запрос или ограничение размера памяти для контейнера. Дополнительные сведения: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
струна |
DataCollector
| Имя | Описание | Ценность |
|---|---|---|
| Коллекции | [Обязательный] Конфигурация коллекции. Каждая коллекция имеет собственную конфигурацию для сбора данных модели, а имя коллекции может быть произвольной строкой. Сборщик данных модели можно использовать для ведения журнала полезных данных или пользовательского ведения журнала или обоих из них. Запросы и ответы коллекции зарезервированы для ведения журнала полезных данных, другие — для пользовательского ведения журнала. |
DataCollectorCollections (обязательно) |
| requestLogging | Конфигурация ведения журнала запросов для MDC включает расширенные параметры ведения журнала для всех коллекций. Это необязательно. | RequestLogging |
| скользящей скорости | При сборе данных модели в хранилище BLOB-объектов необходимо свернуть данные в другой путь, чтобы избежать ведения журнала всех данных в одном файле BLOB-объектов. Если скорость передачи составляет час, все данные будут собираться в пути к BLOB-объектам /гггг/ММ/дд/HH/. Если это день, все данные будут собираться в пути к BLOB-объекту /гггг/ММ/dd/. Другим преимуществом скользящего пути является то, что пользовательский интерфейс мониторинга модели может быстро выбрать диапазон времени данных. |
"День" "Час" "Минута" "Месяц" "Год" |
DataCollectorCollections
| Имя | Описание | Ценность |
|---|
DefaultScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | Default (обязательно) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Имя | Описание | Ценность |
|---|
EndpointDeploymentPropertiesBaseProperties
| Имя | Описание | Ценность |
|---|
KubernetesOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| containerResourceRequirements | Требования к ресурсам для контейнера (ЦП и памяти). | ContainerResourceRequirements |
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Kubernetes (обязательно) |
ManagedOnlineDeployment
| Имя | Описание | Ценность |
|---|---|---|
| endpointComputeType | [Обязательный] Тип вычислений конечной точки. | Managed (обязательный) |
ManagedServiceIdentity
| Имя | Описание | Ценность |
|---|---|---|
| тип | Тип управляемого удостоверения службы (где разрешены типы SystemAssigned и UserAssigned). | "Нет" SystemAssigned SystemAssigned, UserAssigned UserAssigned (обязательно) |
| userAssignedIdentities | Набор назначенных пользователем удостоверений, связанных с ресурсом. Ключи словаря userAssignedIdentities будут идентификаторами ресурсов ARM в форме: "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Значения словаря могут быть пустыми объектами ({}) в запросах. | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Имя | Описание | Ценность |
|---|---|---|
| тождество | Управляемое удостоверение службы (назначенные системой удостоверения и (или) назначенные пользователем удостоверения | ManagedServiceIdentity |
| добрый | Метаданные, используемые порталом или инструментом и т. д., для отображения различных интерфейсов пользовательского интерфейса для ресурсов одного типа. | струна |
| местоположение | Географическое расположение, в котором находится ресурс | строка (обязательно) |
| имя | Имя ресурса | струна Ограничения целостности: Pattern = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (обязательно) |
| parent_id | Идентификатор ресурса, который является родительским для этого ресурса. | Идентификатор ресурса типа: рабочих областей/onlineEndpoints |
| свойства | [Обязательный] Дополнительные атрибуты сущности. | OnlineDeploymentProperties (обязательно) |
| SKU | Сведения о SKU, необходимые для контракта ARM для автомасштабирования. | SKU |
| Теги | Теги ресурсов | Словарь имен и значений тегов. |
| тип | Тип ресурса | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview" |
OnlineDeploymentProperties
| Имя | Описание | Ценность |
|---|---|---|
| appInsightsEnabled | Если значение true, включает ведение журнала Application Insights. | bool |
| codeConfiguration | Конфигурация кода для развертывания конечной точки. | CodeConfiguration |
| dataCollector | Конфигурация mdc отключается при значении NULL. | DataCollector |
| описание | Описание развертывания конечной точки. | струна |
| исходящий трафикPublicNetworkAccess | Если этот параметр включен, разрешите исходящий доступ к общедоступной сети. При отключении это приведет к созданию безопасного исходящего трафика. Значение по умолчанию: включено. | "Отключено" "Включено" |
| endpointComputeType | Установите значение Kubernetes для типа KubernetesOnlineDeployment. Установите значение Managed для типа ManagedOnlineDeployment. | Kubernetes Managed (обязательный) |
| environmentId | Идентификатор ресурса ARM спецификации среды для развертывания конечной точки. | струна |
| environmentVariables | Конфигурация переменных среды для развертывания. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Тип вычислительного экземпляра. | струна |
| livenessProbe | Проба динамической активности регулярно отслеживает работоспособность контейнера. | ProbeSettings |
| модель | Путь URI к модели. | струна |
| modelMountPath | Путь к подключению модели в пользовательском контейнере. | струна |
| свойства | Словарь свойств. Свойства можно добавлять, но не удалять или изменять. | EndpointDeploymentPropertiesBaseProperties |
| готовностьProbe | Проверка готовности проверяет, готов ли контейнер обслуживать трафик. Свойства и значения по умолчанию совпадают с пробой активности. | ProbeSettings |
| requestSettings | Параметры запроса для развертывания. | OnlineRequestSettings |
| scaleSettings | Параметры масштабирования развертывания. Если значение равно null или не указано, По умолчанию значение TargetUtilizationScaleSettings для KubernetesOnlineDeployment и значение DefaultScaleSettings для ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxConcurrentRequestsPerInstance | Количество одновременных запросов на узел, разрешенных для каждого развертывания. Значение по умолчанию — 1. | int |
| maxQueueWait | Максимальное время пребывания запроса в очереди в формате ISO 8601. Значение по умолчанию — 500 мс. |
струна |
| requestTimeout | Время ожидания оценки в формате ISO 8601. Значение по умолчанию — 5000 мс. |
струна |
OnlineScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| scaleType | Установите значение Default для типа DefaultScaleSettings. Установите значение TargetUtilization для типа TargetUtilizationScaleSettings. | По умолчанию TargetUtilization (обязательный) |
ПробыSettings
| Имя | Описание | Ценность |
|---|---|---|
| failureThreshold | Количество сбоев, которые необходимо разрешить, прежде чем возвращать неработоспособное состояние. | int |
| initialDelay | Задержка перед первой пробой в формате ISO 8601. | струна |
| период | Продолжительность времени между пробами в формате ISO 8601. | струна |
| successThreshold | Количество успешных проб перед возвратом работоспособного состояния. | int |
| Времени ожидания | Время ожидания пробы в формате ISO 8601. | струна |
RequestLogging
| Имя | Описание | Ценность |
|---|---|---|
| captureHeaders | Для ведения журнала полезных данных мы собираем полезные данные только по умолчанию. Если клиенты также хотят собирать указанные заголовки, они могут задать их в captureHeaders, чтобы серверная часть собирала эти заголовки вместе с полезными данными. | string[] |
Sku
| Имя | Описание | Ценность |
|---|---|---|
| способность | Если номер SKU поддерживает горизонтальное масштабирование или в, то целое число емкости должно быть включено. Если горизонтальное масштабирование невозможно для ресурса, это может быть опущено. | int |
| семья | Если служба имеет разные поколения оборудования для одного номера SKU, это можно записать здесь. | струна |
| имя | Имя номера SKU. Ex - P3. Обычно это код буквы и числа | строка (обязательно) |
| размер | Размер номера SKU. Если поле имени является сочетанием уровня и другого значения, это будет автономный код. | струна |
| ярус | Это поле необходимо реализовать поставщиком ресурсов, если служба имеет несколько уровней, но не требуется для PUT. | "Базовый" "Бесплатный" "Премиум" "Стандартный" |
TargetUtilizationScaleSettings
| Имя | Описание | Ценность |
|---|---|---|
| maxInstances | Максимальное количество экземпляров, в которых развертывание может масштабироваться. Квота будет зарезервирована для max_instances. | int |
| minInstances | Минимальное количество экземпляров, которые всегда должны присутствовать. | int |
| pollingInterval | Интервал опроса в формате ISO 8691. Поддерживается только длительность с точностью до секунд. | струна |
| scaleType | [Обязательный] Тип алгоритма масштабирования развертывания | TargetUtilization (обязательный) |
| targetUtilizationPercentage | Целевое использование ЦП для автомасштабирования. | int |
TrackedResourceTags
| Имя | Описание | Ценность |
|---|
UserAssignedIdentities
| Имя | Описание | Ценность |
|---|
UserAssignedIdentity
| Имя | Описание | Ценность |
|---|