Microsoft.MachineLearningServices 工作區/onlineEndpoints/deployments 2024-10-01-preview
- 最新
- 2024-10-01
- 2024-10-01-preview
- 2024-07-01-preview
- 2024-04-01
- 2024-04-01-preview
- 2024-01-01-preview
- 2023-10-01
- 2023-08-01-preview
- 2023-06-01-preview
- 2023-04-01
- 2023-04-01-preview
- 2023-02-01-preview
- 2022-12-01-preview
- 2022-10-01
- 2022-10-01-preview
- 2022-06-01-preview
- 2022-05-01
- 2022-02-01-preview
- 2021-03-01-preview
Bicep 資源定義
workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：
- 資源群組 - 請參閱 資源群組部署命令
如需每個 API 版本中已變更屬性的清單，請參閱 變更記錄檔。
資源格式
若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 Bicep 新增至範本。
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview' = {
identity: {
type: 'string'
userAssignedIdentities: {
{customized property}: {}
}
}
kind: 'string'
location: 'string'
name: 'string'
properties: {
appInsightsEnabled: bool
codeConfiguration: {
codeId: 'string'
scoringScript: 'string'
}
dataCollector: {
collections: {
{customized property}: {
clientId: 'string'
dataCollectionMode: 'string'
dataId: 'string'
samplingRate: int
}
}
requestLogging: {
captureHeaders: [
'string'
]
}
rollingRate: 'string'
}
description: 'string'
egressPublicNetworkAccess: 'string'
environmentId: 'string'
environmentVariables: {
{customized property}: 'string'
}
instanceType: 'string'
livenessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
model: 'string'
modelMountPath: 'string'
properties: {
{customized property}: 'string'
}
readinessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
requestSettings: {
maxConcurrentRequestsPerInstance: int
maxQueueWait: 'string'
requestTimeout: 'string'
}
scaleSettings: {
scaleType: 'string'
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType: 'string'
// For remaining properties, see OnlineDeploymentProperties objects
}
sku: {
capacity: int
family: 'string'
name: 'string'
size: 'string'
tier: 'string'
}
tags: {
{customized property}: 'string'
}
}
OnlineDeploymentProperties 物件
設定 endpointComputeType 屬性，以指定對象的類型。
針對 Kubernetes，請使用：
{
containerResourceRequirements: {
containerResourceLimits: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
containerResourceRequests: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
}
endpointComputeType: 'Kubernetes'
}
針對 Managed，請使用：
{
endpointComputeType: 'Managed'
}
OnlineScaleSettings 物件
設定 scaleType 屬性，以指定物件的類型。
針對 Default，請使用：
{
scaleType: 'Default'
}
針對 TargetUtilization，請使用：
{
maxInstances: int
minInstances: int
pollingInterval: 'string'
scaleType: 'TargetUtilization'
targetUtilizationPercentage: int
}
屬性值
CodeConfiguration
| 名字 | 描述 | 價值 |
|---|---|---|
| codeId | 程式代碼資產的 ARM 資源識別碼。 | 字串 |
| scoringScript | [必要]在啟動時執行的腳本。 例如 “score.py” | 字串 約束： 最小長度 = 1 模式 = [a-zA-Z0-9_] （必要） |
收集
| 名字 | 描述 | 價值 |
|---|---|---|
| clientId | 用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。 如果為 null，後端會挑選已註冊的端點身分識別進行驗證。 | 字串 |
| dataCollectionMode | 啟用或停用數據收集。 | 'Disabled' 'Enabled' |
| dataId | 數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。 | 字串 |
| samplingRate | 收集的取樣率。 取樣率 1.0 表示我們預設會收集 100% 數據。 | int |
ContainerResourceRequirements
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceLimits | 容器資源限制資訊： | ContainerResourceSettings |
| containerResourceRequests | 容器資源要求資訊： | ContainerResourceSettings |
ContainerResourceSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| 中央處理器 | 容器的 vCPU 要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| gpu | 容器的 Nvidia GPU 卡片要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| 記憶 | 容器的記憶體大小要求/限制。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
DataCollector
| 名字 | 描述 | 價值 |
|---|---|---|
| 收集 | [必要]集合組態。 每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。 模型數據收集器可用於承載記錄或自定義記錄或兩者。 收集要求和回應會保留給承載記錄，其他則用於自定義記錄。 |
DataCollectorCollections （必要） |
| requestLogging | mdc 的要求記錄組態包含所有集合的進階記錄設定。 這是選擇性的。 | RequestLogging |
| rollingRate | 將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。 如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。 如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。 滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。 |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
| 名字 | 描述 | 價值 |
|---|
DefaultScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | [必要]部署調整演算法的類型 | 'Default' （必要） |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| 名字 | 描述 | 價值 |
|---|
EndpointDeploymentPropertiesBaseProperties
| 名字 | 描述 | 價值 |
|---|
KubernetesOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceRequirements | 容器的資源需求（cpu和記憶體）。 | ContainerResourceRequirements |
| endpointComputeType | [必要]端點的計算類型。 | 'Kubernetes' （必要） |
ManagedOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| endpointComputeType | [必要]端點的計算類型。 | 'Managed' （必要） |
ManagedServiceIdentity
| 名字 | 描述 | 價值 |
|---|---|---|
| 類型 | 受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。 | 'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要） |
| userAssignedIdentities | 與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。 字典值可以是要求中的空白物件（{}）。 | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| 名字 | 描述 | 價值 |
|---|---|---|
| 身份 | 受控服務識別（系統指派和/或使用者指派的身分識別） | ManagedServiceIdentity |
| 類 | 入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。 | 字串 |
| 位置 | 資源所在的地理位置 | 字串 （必要） |
| 名字 | 資源名稱 | 字串 約束： 模式 = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ （必要） |
| 父母 | 在 Bicep 中，您可以指定子資源的父資源。 只有在父資源外部宣告子資源時，才需要新增這個屬性。 如需詳細資訊，請參閱 父資源外部的子資源。 |
類型資源的符號名稱：workspaces/onlineEndpoints |
| 性能 | [必要]實體的其他屬性。 | OnlineDeploymentProperties （必要） |
| sku | 自動調整之 ARM 合約所需的 SKU 詳細數據。 | Sku |
| 標籤 | 資源標籤 | 標記名稱和值的字典。 請參閱範本中的 標籤 |
OnlineDeploymentProperties
| 名字 | 描述 | 價值 |
|---|---|---|
| appInsightsEnabled | 如果為 true，請啟用 Application Insights 記錄。 | bool |
| codeConfiguration | 端點部署的程式代碼組態。 | CodeConfiguration |
| dataCollector | mdc 組態是 null 時，我們會停用 mdc。 | DataCollector |
| 描述 | 端點部署的描述。 | 字串 |
| egressPublicNetworkAccess | 如果已啟用，請允許輸出公用網路存取。 如果停用，這會建立安全的輸出。 預設值：已啟用。 | 'Disabled' 'Enabled' |
| endpointComputeType | 針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。 針對 managedOnlineDeployment 類型 設定為 'Managed'，。 | 'Kubernetes' 'Managed' （必要） |
| environmentId | 端點部署環境規格的 ARM 資源識別碼或 AssetId。 | 字串 |
| environmentVariables | 部署的環境變數組態。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | 計算實例類型。 默認值：Standard_F4s_v2。 | 字串 |
| livenessProbe | 即時性探查會定期監視容器的健康情況。 | ProbeSettings |
| 型 | 模型的 URI 路徑。 | 字串 |
| modelMountPath | 在自定義容器中掛接模型的路徑。 | 字串 |
| 性能 | 屬性字典。 可以新增屬性，但無法移除或改變。 | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | 整備探查會驗證容器是否已準備好提供流量。 屬性和預設值與活躍度探查相同。 | ProbeSettings |
| requestSettings | 要求部署的設定。 | OnlineRequestSettings |
| scaleSettings | 部署的調整設定。 如果它是 Null 或未提供， 默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和 至 ManagedOnlineDeployment 的 DefaultScaleSettings。 |
OnlineScaleSettings |
OnlineRequestSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxConcurrentRequestsPerInstance | 每個節點允許每個部署的最大並行要求數目。 預設值為 1。 | int |
| maxQueueWait | （已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。 預設為 500 毫秒。 （現在增加 request_timeout_ms 以考慮任何網路/佇列延遲） |
字串 |
| requestTimeout | ISO 8601 格式的評分逾時。 預設為 5000 毫秒。 |
字串 |
OnlineScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | 在 defaultScaleSettings類型 |
'Default' 'TargetUtilization' （必要） |
ProbeSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| failureThreshold | 傳回狀況不良狀態之前允許的失敗次數。 | int |
| initialDelay | ISO 8601 格式第一個探查之前的延遲。 | 字串 |
| 時期 | ISO 8601 格式探查之間的時間長度。 | 字串 |
| successThreshold | 傳回狀況良好狀態之前，成功探查的數目。 | int |
| 超時 | ISO 8601 格式的探查逾時。 | 字串 |
RequestLogging
| 名字 | 描述 | 價值 |
|---|---|---|
| captureHeaders | 針對承載記錄，我們預設只會收集承載。 如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。 | string[] |
Sku
| 名字 | 描述 | 價值 |
|---|---|---|
| 能力 | 如果 SKU 支援相應放大/縮小，則應該包含容量整數。 如果資源無法相應放大/縮小，可能會省略此專案。 | int |
| 家庭 | 如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。 | 字串 |
| 名字 | SKU 的名稱。 例如 - P3。 通常是字母+數位碼 | 字串 （必要） |
| 大小 | SKU 大小。 當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。 | 字串 |
| 層 | 如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。 | 'Basic' 'Free' 'Premium' 'Standard' |
TargetUtilizationScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxInstances | 部署可調整的實例數目上限。 配額將保留給max_instances。 | int |
| minInstances | 要一律存在的實例數目下限。 | int |
| pollingInterval | ISO 8691 格式的輪詢間隔。 僅支援有效位數為秒數的持續時間。 | 字串 |
| scaleType | [必要]部署調整演算法的類型 | 'TargetUtilization' （必要） |
| targetUtilizationPercentage | 自動調整程式的目標 CPU 使用量。 | int |
TrackedResourceTags
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentities
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentity
| 名字 | 描述 | 價值 |
|---|
ARM 樣本資源定義
workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：
- 資源群組 - 請參閱 資源群組部署命令
如需每個 API 版本中已變更屬性的清單，請參閱 變更記錄檔。
資源格式
若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 JSON 新增至範本。
{
"type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
"apiVersion": "2024-10-01-preview",
"name": "string",
"identity": {
"type": "string",
"userAssignedIdentities": {
"{customized property}": {
}
}
},
"kind": "string",
"location": "string",
"properties": {
"appInsightsEnabled": "bool",
"codeConfiguration": {
"codeId": "string",
"scoringScript": "string"
},
"dataCollector": {
"collections": {
"{customized property}": {
"clientId": "string",
"dataCollectionMode": "string",
"dataId": "string",
"samplingRate": "int"
}
},
"requestLogging": {
"captureHeaders": [ "string" ]
},
"rollingRate": "string"
},
"description": "string",
"egressPublicNetworkAccess": "string",
"environmentId": "string",
"environmentVariables": {
"{customized property}": "string"
},
"instanceType": "string",
"livenessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"model": "string",
"modelMountPath": "string",
"properties": {
"{customized property}": "string"
},
"readinessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"requestSettings": {
"maxConcurrentRequestsPerInstance": "int",
"maxQueueWait": "string",
"requestTimeout": "string"
},
"scaleSettings": {
"scaleType": "string"
// For remaining properties, see OnlineScaleSettings objects
},
"endpointComputeType": "string"
// For remaining properties, see OnlineDeploymentProperties objects
},
"sku": {
"capacity": "int",
"family": "string",
"name": "string",
"size": "string",
"tier": "string"
},
"tags": {
"{customized property}": "string"
}
}
OnlineDeploymentProperties 物件
設定 endpointComputeType 屬性，以指定對象的類型。
針對 Kubernetes，請使用：
{
"containerResourceRequirements": {
"containerResourceLimits": {
"cpu": "string",
"gpu": "string",
"memory": "string"
},
"containerResourceRequests": {
"cpu": "string",
"gpu": "string",
"memory": "string"
}
},
"endpointComputeType": "Kubernetes"
}
針對 Managed，請使用：
{
"endpointComputeType": "Managed"
}
OnlineScaleSettings 物件
設定 scaleType 屬性，以指定物件的類型。
針對 Default，請使用：
{
"scaleType": "Default"
}
針對 TargetUtilization，請使用：
{
"maxInstances": "int",
"minInstances": "int",
"pollingInterval": "string",
"scaleType": "TargetUtilization",
"targetUtilizationPercentage": "int"
}
屬性值
CodeConfiguration
| 名字 | 描述 | 價值 |
|---|---|---|
| codeId | 程式代碼資產的 ARM 資源識別碼。 | 字串 |
| scoringScript | [必要]在啟動時執行的腳本。 例如 “score.py” | 字串 約束： 最小長度 = 1 模式 = [a-zA-Z0-9_] （必要） |
收集
| 名字 | 描述 | 價值 |
|---|---|---|
| clientId | 用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。 如果為 null，後端會挑選已註冊的端點身分識別進行驗證。 | 字串 |
| dataCollectionMode | 啟用或停用數據收集。 | 'Disabled' 'Enabled' |
| dataId | 數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。 | 字串 |
| samplingRate | 收集的取樣率。 取樣率 1.0 表示我們預設會收集 100% 數據。 | int |
ContainerResourceRequirements
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceLimits | 容器資源限制資訊： | ContainerResourceSettings |
| containerResourceRequests | 容器資源要求資訊： | ContainerResourceSettings |
ContainerResourceSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| 中央處理器 | 容器的 vCPU 要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| gpu | 容器的 Nvidia GPU 卡片要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| 記憶 | 容器的記憶體大小要求/限制。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
DataCollector
| 名字 | 描述 | 價值 |
|---|---|---|
| 收集 | [必要]集合組態。 每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。 模型數據收集器可用於承載記錄或自定義記錄或兩者。 收集要求和回應會保留給承載記錄，其他則用於自定義記錄。 |
DataCollectorCollections （必要） |
| requestLogging | mdc 的要求記錄組態包含所有集合的進階記錄設定。 這是選擇性的。 | RequestLogging |
| rollingRate | 將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。 如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。 如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。 滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。 |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
| 名字 | 描述 | 價值 |
|---|
DefaultScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | [必要]部署調整演算法的類型 | 'Default' （必要） |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| 名字 | 描述 | 價值 |
|---|
EndpointDeploymentPropertiesBaseProperties
| 名字 | 描述 | 價值 |
|---|
KubernetesOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceRequirements | 容器的資源需求（cpu和記憶體）。 | ContainerResourceRequirements |
| endpointComputeType | [必要]端點的計算類型。 | 'Kubernetes' （必要） |
ManagedOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| endpointComputeType | [必要]端點的計算類型。 | 'Managed' （必要） |
ManagedServiceIdentity
| 名字 | 描述 | 價值 |
|---|---|---|
| 類型 | 受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。 | 'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要） |
| userAssignedIdentities | 與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。 字典值可以是要求中的空白物件（{}）。 | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| 名字 | 描述 | 價值 |
|---|---|---|
| apiVersion | API 版本 | '2024-10-01-preview' |
| 身份 | 受控服務識別（系統指派和/或使用者指派的身分識別） | ManagedServiceIdentity |
| 類 | 入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。 | 字串 |
| 位置 | 資源所在的地理位置 | 字串 （必要） |
| 名字 | 資源名稱 | 字串 約束： 模式 = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ （必要） |
| 性能 | [必要]實體的其他屬性。 | OnlineDeploymentProperties （必要） |
| sku | 自動調整之 ARM 合約所需的 SKU 詳細數據。 | Sku |
| 標籤 | 資源標籤 | 標記名稱和值的字典。 請參閱範本中的 標籤 |
| 類型 | 資源類型 | 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments' |
OnlineDeploymentProperties
| 名字 | 描述 | 價值 |
|---|---|---|
| appInsightsEnabled | 如果為 true，請啟用 Application Insights 記錄。 | bool |
| codeConfiguration | 端點部署的程式代碼組態。 | CodeConfiguration |
| dataCollector | mdc 組態是 null 時，我們會停用 mdc。 | DataCollector |
| 描述 | 端點部署的描述。 | 字串 |
| egressPublicNetworkAccess | 如果已啟用，請允許輸出公用網路存取。 如果停用，這會建立安全的輸出。 預設值：已啟用。 | 'Disabled' 'Enabled' |
| endpointComputeType | 針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。 針對 managedOnlineDeployment 類型 設定為 'Managed'，。 | 'Kubernetes' 'Managed' （必要） |
| environmentId | 端點部署環境規格的 ARM 資源識別碼或 AssetId。 | 字串 |
| environmentVariables | 部署的環境變數組態。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | 計算實例類型。 默認值：Standard_F4s_v2。 | 字串 |
| livenessProbe | 即時性探查會定期監視容器的健康情況。 | ProbeSettings |
| 型 | 模型的 URI 路徑。 | 字串 |
| modelMountPath | 在自定義容器中掛接模型的路徑。 | 字串 |
| 性能 | 屬性字典。 可以新增屬性，但無法移除或改變。 | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | 整備探查會驗證容器是否已準備好提供流量。 屬性和預設值與活躍度探查相同。 | ProbeSettings |
| requestSettings | 要求部署的設定。 | OnlineRequestSettings |
| scaleSettings | 部署的調整設定。 如果它是 Null 或未提供， 默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和 至 ManagedOnlineDeployment 的 DefaultScaleSettings。 |
OnlineScaleSettings |
OnlineRequestSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxConcurrentRequestsPerInstance | 每個節點允許每個部署的最大並行要求數目。 預設值為 1。 | int |
| maxQueueWait | （已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。 預設為 500 毫秒。 （現在增加 request_timeout_ms 以考慮任何網路/佇列延遲） |
字串 |
| requestTimeout | ISO 8601 格式的評分逾時。 預設為 5000 毫秒。 |
字串 |
OnlineScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | 在 defaultScaleSettings類型 |
'Default' 'TargetUtilization' （必要） |
ProbeSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| failureThreshold | 傳回狀況不良狀態之前允許的失敗次數。 | int |
| initialDelay | ISO 8601 格式第一個探查之前的延遲。 | 字串 |
| 時期 | ISO 8601 格式探查之間的時間長度。 | 字串 |
| successThreshold | 傳回狀況良好狀態之前，成功探查的數目。 | int |
| 超時 | ISO 8601 格式的探查逾時。 | 字串 |
RequestLogging
| 名字 | 描述 | 價值 |
|---|---|---|
| captureHeaders | 針對承載記錄，我們預設只會收集承載。 如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。 | string[] |
Sku
| 名字 | 描述 | 價值 |
|---|---|---|
| 能力 | 如果 SKU 支援相應放大/縮小，則應該包含容量整數。 如果資源無法相應放大/縮小，可能會省略此專案。 | int |
| 家庭 | 如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。 | 字串 |
| 名字 | SKU 的名稱。 例如 - P3。 通常是字母+數位碼 | 字串 （必要） |
| 大小 | SKU 大小。 當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。 | 字串 |
| 層 | 如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。 | 'Basic' 'Free' 'Premium' 'Standard' |
TargetUtilizationScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxInstances | 部署可調整的實例數目上限。 配額將保留給max_instances。 | int |
| minInstances | 要一律存在的實例數目下限。 | int |
| pollingInterval | ISO 8691 格式的輪詢間隔。 僅支援有效位數為秒數的持續時間。 | 字串 |
| scaleType | [必要]部署調整演算法的類型 | 'TargetUtilization' （必要） |
| targetUtilizationPercentage | 自動調整程式的目標 CPU 使用量。 | int |
TrackedResourceTags
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentities
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentity
| 名字 | 描述 | 價值 |
|---|
Terraform （AzAPI 提供者） 資源定義
workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：
- 資源群組
如需每個 API 版本中已變更屬性的清單，請參閱 變更記錄檔。
資源格式
若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 Terraform 新增至範本。
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview"
name = "string"
identity = {
type = "string"
userAssignedIdentities = {
{customized property} = {
}
}
}
kind = "string"
location = "string"
body = jsonencode({
properties = {
appInsightsEnabled = bool
codeConfiguration = {
codeId = "string"
scoringScript = "string"
}
dataCollector = {
collections = {
{customized property} = {
clientId = "string"
dataCollectionMode = "string"
dataId = "string"
samplingRate = int
}
}
requestLogging = {
captureHeaders = [
"string"
]
}
rollingRate = "string"
}
description = "string"
egressPublicNetworkAccess = "string"
environmentId = "string"
environmentVariables = {
{customized property} = "string"
}
instanceType = "string"
livenessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
model = "string"
modelMountPath = "string"
properties = {
{customized property} = "string"
}
readinessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
requestSettings = {
maxConcurrentRequestsPerInstance = int
maxQueueWait = "string"
requestTimeout = "string"
}
scaleSettings = {
scaleType = "string"
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType = "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
})
sku = {
capacity = int
family = "string"
name = "string"
size = "string"
tier = "string"
}
tags = {
{customized property} = "string"
}
}
OnlineDeploymentProperties 物件
設定 endpointComputeType 屬性，以指定對象的類型。
針對 Kubernetes，請使用：
{
containerResourceRequirements = {
containerResourceLimits = {
cpu = "string"
gpu = "string"
memory = "string"
}
containerResourceRequests = {
cpu = "string"
gpu = "string"
memory = "string"
}
}
endpointComputeType = "Kubernetes"
}
針對 Managed，請使用：
{
endpointComputeType = "Managed"
}
OnlineScaleSettings 物件
設定 scaleType 屬性，以指定物件的類型。
針對 Default，請使用：
{
scaleType = "Default"
}
針對 TargetUtilization，請使用：
{
maxInstances = int
minInstances = int
pollingInterval = "string"
scaleType = "TargetUtilization"
targetUtilizationPercentage = int
}
屬性值
CodeConfiguration
| 名字 | 描述 | 價值 |
|---|---|---|
| codeId | 程式代碼資產的 ARM 資源識別碼。 | 字串 |
| scoringScript | [必要]在啟動時執行的腳本。 例如 “score.py” | 字串 約束： 最小長度 = 1 模式 = [a-zA-Z0-9_] （必要） |
收集
| 名字 | 描述 | 價值 |
|---|---|---|
| clientId | 用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。 如果為 null，後端會挑選已註冊的端點身分識別進行驗證。 | 字串 |
| dataCollectionMode | 啟用或停用數據收集。 | 'Disabled' 'Enabled' |
| dataId | 數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。 | 字串 |
| samplingRate | 收集的取樣率。 取樣率 1.0 表示我們預設會收集 100% 數據。 | int |
ContainerResourceRequirements
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceLimits | 容器資源限制資訊： | ContainerResourceSettings |
| containerResourceRequests | 容器資源要求資訊： | ContainerResourceSettings |
ContainerResourceSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| 中央處理器 | 容器的 vCPU 要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| gpu | 容器的 Nvidia GPU 卡片要求/限制數目。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
| 記憶 | 容器的記憶體大小要求/限制。 詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
字串 |
DataCollector
| 名字 | 描述 | 價值 |
|---|---|---|
| 收集 | [必要]集合組態。 每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。 模型數據收集器可用於承載記錄或自定義記錄或兩者。 收集要求和回應會保留給承載記錄，其他則用於自定義記錄。 |
DataCollectorCollections （必要） |
| requestLogging | mdc 的要求記錄組態包含所有集合的進階記錄設定。 這是選擇性的。 | RequestLogging |
| rollingRate | 將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。 如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。 如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。 滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。 |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
| 名字 | 描述 | 價值 |
|---|
DefaultScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | [必要]部署調整演算法的類型 | 'Default' （必要） |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| 名字 | 描述 | 價值 |
|---|
EndpointDeploymentPropertiesBaseProperties
| 名字 | 描述 | 價值 |
|---|
KubernetesOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| containerResourceRequirements | 容器的資源需求（cpu和記憶體）。 | ContainerResourceRequirements |
| endpointComputeType | [必要]端點的計算類型。 | 'Kubernetes' （必要） |
ManagedOnlineDeployment
| 名字 | 描述 | 價值 |
|---|---|---|
| endpointComputeType | [必要]端點的計算類型。 | 'Managed' （必要） |
ManagedServiceIdentity
| 名字 | 描述 | 價值 |
|---|---|---|
| 類型 | 受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。 | 'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要） |
| userAssignedIdentities | 與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。 字典值可以是要求中的空白物件（{}）。 | UserAssignedIdentities |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| 名字 | 描述 | 價值 |
|---|---|---|
| 身份 | 受控服務識別（系統指派和/或使用者指派的身分識別） | ManagedServiceIdentity |
| 類 | 入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。 | 字串 |
| 位置 | 資源所在的地理位置 | 字串 （必要） |
| 名字 | 資源名稱 | 字串 約束： 模式 = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ （必要） |
| parent_id | 此資源為父系之資源的標識碼。 | 類型資源的標識碼：工作區/onlineEndpoints |
| 性能 | [必要]實體的其他屬性。 | OnlineDeploymentProperties （必要） |
| sku | 自動調整之 ARM 合約所需的 SKU 詳細數據。 | Sku |
| 標籤 | 資源標籤 | 標記名稱和值的字典。 |
| 類型 | 資源類型 | “Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview” |
OnlineDeploymentProperties
| 名字 | 描述 | 價值 |
|---|---|---|
| appInsightsEnabled | 如果為 true，請啟用 Application Insights 記錄。 | bool |
| codeConfiguration | 端點部署的程式代碼組態。 | CodeConfiguration |
| dataCollector | mdc 組態是 null 時，我們會停用 mdc。 | DataCollector |
| 描述 | 端點部署的描述。 | 字串 |
| egressPublicNetworkAccess | 如果已啟用，請允許輸出公用網路存取。 如果停用，這會建立安全的輸出。 預設值：已啟用。 | 'Disabled' 'Enabled' |
| endpointComputeType | 針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。 針對 managedOnlineDeployment 類型 設定為 'Managed'，。 | 'Kubernetes' 'Managed' （必要） |
| environmentId | 端點部署環境規格的 ARM 資源識別碼或 AssetId。 | 字串 |
| environmentVariables | 部署的環境變數組態。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | 計算實例類型。 默認值：Standard_F4s_v2。 | 字串 |
| livenessProbe | 即時性探查會定期監視容器的健康情況。 | ProbeSettings |
| 型 | 模型的 URI 路徑。 | 字串 |
| modelMountPath | 在自定義容器中掛接模型的路徑。 | 字串 |
| 性能 | 屬性字典。 可以新增屬性，但無法移除或改變。 | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | 整備探查會驗證容器是否已準備好提供流量。 屬性和預設值與活躍度探查相同。 | ProbeSettings |
| requestSettings | 要求部署的設定。 | OnlineRequestSettings |
| scaleSettings | 部署的調整設定。 如果它是 Null 或未提供， 默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和 至 ManagedOnlineDeployment 的 DefaultScaleSettings。 |
OnlineScaleSettings |
OnlineRequestSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxConcurrentRequestsPerInstance | 每個節點允許每個部署的最大並行要求數目。 預設值為 1。 | int |
| maxQueueWait | （已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。 預設為 500 毫秒。 （現在增加 request_timeout_ms 以考慮任何網路/佇列延遲） |
字串 |
| requestTimeout | ISO 8601 格式的評分逾時。 預設為 5000 毫秒。 |
字串 |
OnlineScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| scaleType | 在 defaultScaleSettings類型 |
'Default' 'TargetUtilization' （必要） |
ProbeSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| failureThreshold | 傳回狀況不良狀態之前允許的失敗次數。 | int |
| initialDelay | ISO 8601 格式第一個探查之前的延遲。 | 字串 |
| 時期 | ISO 8601 格式探查之間的時間長度。 | 字串 |
| successThreshold | 傳回狀況良好狀態之前，成功探查的數目。 | int |
| 超時 | ISO 8601 格式的探查逾時。 | 字串 |
RequestLogging
| 名字 | 描述 | 價值 |
|---|---|---|
| captureHeaders | 針對承載記錄，我們預設只會收集承載。 如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。 | string[] |
Sku
| 名字 | 描述 | 價值 |
|---|---|---|
| 能力 | 如果 SKU 支援相應放大/縮小，則應該包含容量整數。 如果資源無法相應放大/縮小，可能會省略此專案。 | int |
| 家庭 | 如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。 | 字串 |
| 名字 | SKU 的名稱。 例如 - P3。 通常是字母+數位碼 | 字串 （必要） |
| 大小 | SKU 大小。 當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。 | 字串 |
| 層 | 如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。 | 'Basic' 'Free' 'Premium' 'Standard' |
TargetUtilizationScaleSettings
| 名字 | 描述 | 價值 |
|---|---|---|
| maxInstances | 部署可調整的實例數目上限。 配額將保留給max_instances。 | int |
| minInstances | 要一律存在的實例數目下限。 | int |
| pollingInterval | ISO 8691 格式的輪詢間隔。 僅支援有效位數為秒數的持續時間。 | 字串 |
| scaleType | [必要]部署調整演算法的類型 | 'TargetUtilization' （必要） |
| targetUtilizationPercentage | 自動調整程式的目標 CPU 使用量。 | int |
TrackedResourceTags
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentities
| 名字 | 描述 | 價值 |
|---|
UserAssignedIdentity
| 名字 | 描述 | 價值 |
|---|