Microsoft.MachineLearningServices-arbetsytor/onlineEndpoints/deployments 2024-01-01-preview
- senaste
- 2024-10-01
- 2024-10-01-preview
- 2024-07-01-preview
- 2024-04-01
- 2024-04-01-preview
- 2024-01-01-preview
- 2023-10-01
- 2023-08-01-preview
- 2023-06-01-preview
- 2023-04-01
- 2023-04-01-preview
- 2023-02-01-preview
- 2022-12-01-preview
- 2022-10-01
- 2022-10-01-preview
- 2022-06-01-preview
- 2022-05-01
- 2022-02-01-preview
- 2021-03-01-preview
Bicep-resursdefinition
Resurstypen arbetsytor/onlineEndpoints/distributioner kan distribueras med åtgärder som mål:
- Resursgrupper – Se resursgruppsdistributionskommandon
En lista över ändrade egenskaper i varje API-version finns i ändringsloggen.
Resursformat
Om du vill skapa en Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments-resurs lägger du till följande Bicep i mallen.
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-01-01-preview' = {
identity: {
type: 'string'
userAssignedIdentities: {
{customized property}: {}
}
}
kind: 'string'
location: 'string'
name: 'string'
properties: {
appInsightsEnabled: bool
codeConfiguration: {
codeId: 'string'
scoringScript: 'string'
}
dataCollector: {
collections: {
{customized property}: {
clientId: 'string'
dataCollectionMode: 'string'
dataId: 'string'
samplingRate: int
}
}
requestLogging: {
captureHeaders: [
'string'
]
}
rollingRate: 'string'
}
description: 'string'
egressPublicNetworkAccess: 'string'
environmentId: 'string'
environmentVariables: {
{customized property}: 'string'
}
instanceType: 'string'
livenessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
model: 'string'
modelMountPath: 'string'
properties: {
{customized property}: 'string'
}
readinessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
requestSettings: {
maxConcurrentRequestsPerInstance: int
maxQueueWait: 'string'
requestTimeout: 'string'
}
scaleSettings: {
scaleType: 'string'
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType: 'string'
// For remaining properties, see OnlineDeploymentProperties objects
}
sku: {
capacity: int
family: 'string'
name: 'string'
size: 'string'
tier: 'string'
}
tags: {
{customized property}: 'string'
}
}
OnlineDeploymentProperties-objekt
Ange egenskapen endpointComputeType för att ange typ av objekt.
För Kubernetesanvänder du:
{
containerResourceRequirements: {
containerResourceLimits: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
containerResourceRequests: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
}
endpointComputeType: 'Kubernetes'
}
För Managedanvänder du:
{
endpointComputeType: 'Managed'
}
OnlineScaleSettings-objekt
Ange egenskapen scaleType för att ange typ av objekt.
För standardanvänder du:
{
scaleType: 'Default'
}
För TargetUtilizationanvänder du:
{
maxInstances: int
minInstances: int
pollingInterval: 'string'
scaleType: 'TargetUtilization'
targetUtilizationPercentage: int
}
Egenskapsvärden
CodeConfiguration
| Namn | Beskrivning | Värde |
|---|---|---|
| codeId | ARM-resurs-ID för kodtillgången. | sträng |
| scoringScript | [Krävs] Skriptet som ska köras vid start. T.ex. "score.py" | sträng Begränsningar: Min längd = 1 Mönster = [a-zA-Z0-9_] (krävs) |
Samling
| Namn | Beskrivning | Värde |
|---|---|---|
| clientId | Msi-klient-ID:t som används för att samla in loggning till bloblagring. Om det är null väljer serverdelen en registrerad slutpunktsidentitet för autentisering. | sträng |
| dataCollectionMode | Aktivera eller inaktivera datainsamling. | "Inaktiverad" "Aktiverad" |
| dataId | Resurs-ID för datatillgångsarmen. På klientsidan ser du till att datatillgången pekar på bloblagringen och att serverdelen samlar in data till bloblagringen. | sträng |
| samplingRate | Samplingsfrekvensen för insamling. Samplingshastighet 1,0 innebär att vi samlar in 100% data som standard. | Int |
ContainerResourceRequirements
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceLimits | Information om gräns för containerresurser: | ContainerResourceSettings |
| containerResourceRequests | Information om containerresursbegäran: | ContainerResourceSettings |
ContainerResourceSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| processor | Antal vCPU:er för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| Gpu | Antal Nvidia GPU-kort för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| minne | Begäran/gräns för minnesstorlek för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
DataCollector
| Namn | Beskrivning | Värde |
|---|---|---|
| samlingar | [Krävs] Samlingskonfigurationen. Varje samling har en egen konfiguration för att samla in modelldata och namnet på samlingen kan vara godtycklig sträng. Modelldatainsamlare kan användas för antingen nyttolastloggning eller anpassad loggning eller båda. Samlingsbegäran och svar är reserverade för nyttolastloggning, andra är för anpassad loggning. |
DataCollectorCollections (krävs) |
| requestLogging | Konfigurationen för begärandeloggning för mdc innehåller avancerade loggningsinställningar för alla samlingar. Det är valfritt. | RequestLogging |
| rollingRate | När modelldata samlas in till bloblagring måste vi distribuera data till en annan sökväg för att undvika att logga dem alla i en enda blobfil. Om den löpande hastigheten är timme samlas alla data in i blobsökvägen /åååå/MM/dd/HH/. Om det är dag samlas alla data in i blobsökvägen /åååå/MM/dd/. Den andra fördelen med rullande sökväg är att användargränssnittet för modellövervakning kan välja ett tidsintervall med data mycket snabbt. |
"Dag" "Timme" "Minut" "Månad" "År" |
DataCollectorCollections
| Namn | Beskrivning | Värde |
|---|
DefaultScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "Standard" (krävs) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Namn | Beskrivning | Värde |
|---|
EndpointDeploymentPropertiesBaseProperties
| Namn | Beskrivning | Värde |
|---|
KubernetesOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceRequirements | Resurskraven för containern (cpu och minne). | ContainerResourceRequirements |
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Kubernetes" (krävs) |
ManagedOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Hanterad" (krävs) |
ManagedServiceIdentity
| Namn | Beskrivning | Värde |
|---|---|---|
| typ | Typ av hanterad tjänstidentitet (där både SystemAssigned- och UserAssigned-typer tillåts). | "Ingen" "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (krävs) |
| userAssignedIdentities | Uppsättningen användartilldelade identiteter som är associerade med resursen. Ordlistenycklarna userAssignedIdentities är ARM-resurs-ID:er i formuläret: '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Ordlistevärdena kan vara tomma objekt ({}) i begäranden. | UserAssignedIdentiteter |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Namn | Beskrivning | Värde |
|---|---|---|
| identitet | Hanterad tjänstidentitet (systemtilldelade och/eller användartilldelade identiteter) | ManagedServiceIdentity |
| sort | Metadata som används av portal/verktyg/etc för att återge olika UX-funktioner för resurser av samma typ. | sträng |
| plats | Den geo-plats där resursen finns | sträng (krävs) |
| Namn | Resursnamnet | sträng Begränsningar: Mönster = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (krävs) |
| förälder | I Bicep kan du ange den överordnade resursen för en underordnad resurs. Du behöver bara lägga till den här egenskapen när den underordnade resursen deklareras utanför den överordnade resursen. Mer information finns i Underordnad resurs utanför den överordnade resursen. |
Symboliskt namn för resurs av typen: arbetsytor/onlineSlutpunkter |
| Egenskaper | [Krävs] Ytterligare attribut för entiteten. | OnlineDeploymentProperties (krävs) |
| Sku | Sku-information som krävs för ARM-kontrakt för automatisk skalning. | Sku |
| Taggar | Resurstaggar | Ordlista med taggnamn och värden. Se taggar i mallar |
OnlineDeploymentProperties
| Namn | Beskrivning | Värde |
|---|---|---|
| appInsightsEnabled | Om det är sant aktiverar du Application Insights-loggning. | Bool |
| codeConfiguration | Kodkonfiguration för slutpunktsdistributionen. | CodeConfiguration |
| dataCollector | MDC-konfigurationen inaktiverar vi mdc när det är null. | DataCollector |
| beskrivning | Beskrivning av slutpunktsdistributionen. | sträng |
| egressPublicNetworkAccess | Om aktiverad tillåter du åtkomst till utgående offentligt nätverk. Om inaktiverad skapas en säker utgående trafik. Standard: Aktiverad. | "Inaktiverad" "Aktiverad" |
| endpointComputeType | Ange till Kubernetes för typen KubernetesOnlineDeployment. Ange till Hanterad för typen ManagedOnlineDeployment. | "Kubernetes" "Hanterad" (krävs) |
| environmentId | ARM-resurs-ID för miljöspecifikationen för slutpunktsdistributionen. | sträng |
| environmentVariables | Konfiguration av miljövariabler för distributionen. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Typ av beräkningsinstans. | sträng |
| livenessProbe | Liveness-avsökning övervakar regelbundet containerns hälsa. | ProbeSettings |
| modell | URI-sökvägen till modellen. | sträng |
| modelMountPath | Sökvägen för att montera modellen i en anpassad container. | sträng |
| Egenskaper | Egenskapsordlista. Egenskaper kan läggas till, men inte tas bort eller ändras. | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | Beredskapsavsökningen verifierar om containern är redo att hantera trafik. Egenskaperna och standardvärdena är desamma som liveness-avsökningen. | ProbeSettings |
| requestSettings | Begär inställningar för distributionen. | OnlineRequestSettings |
| scaleSettings | Skalningsinställningar för distributionen. Om den är null eller inte tillhandahålls, standardvärdet är TargetUtilizationScaleSettings för KubernetesOnlineDeployment och till DefaultScaleSettings för ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxConcurrentRequestsPerInstance | Antalet maximala samtidiga begäranden per nod som tillåts per distribution. Standardvärdet är 1. | Int |
| maxQueueWait | (Inaktuell för hanterade onlineslutpunkter) Den maximala tiden som en begäran stannar i kön i ISO 8601-format. Standardvärdet är 500 ms. (Öka nu request_timeout_ms för att ta hänsyn till eventuella nätverks-/köfördröjningar) |
sträng |
| requestTimeout | Tidsgränsen för bedömning i ISO 8601-format. Standardvärdet är 5 000 ms. |
sträng |
OnlineScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | Ställ in på Standard för typ DefaultScaleSettings. Ange till TargetUtilization för typ TargetUtilizationScaleSettings. | "Standard" "TargetUtilization" (krävs) |
ProbeSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| failureThreshold | Antalet fel som tillåts innan statusen inte är felfri returneras. | Int |
| initialDelay | Fördröjningen före den första avsökningen i ISO 8601-format. | sträng |
| period | Tiden mellan avsökningar i ISO 8601-format. | sträng |
| successThreshold | Antalet lyckade avsökningar innan en felfri status returneras. | Int |
| Timeout | Tidsgränsen för avsökningen i ISO 8601-format. | sträng |
Begärandeloggning
| Namn | Beskrivning | Värde |
|---|---|---|
| captureHeaders | För nyttolastloggning samlar vi bara in nyttolasten som standard. Om kunderna också vill samla in de angivna huvudena kan de ange dem i captureHeaders så att serverdelen samlar in dessa huvuden tillsammans med nyttolasten. | string[] |
Sku
| Namn | Beskrivning | Värde |
|---|---|---|
| kapacitet | Om SKU:n stöder utskalning/in bör kapacitets heltal inkluderas. Om det inte går att skala ut/in för resursen kan detta utelämnas. | Int |
| familj | Om tjänsten har olika generationer av maskinvara, för samma SKU, kan den samlas in här. | sträng |
| Namn | Namnet på SKU:n. Ex - P3. Det är vanligtvis en bokstav+nummerkod | sträng (krävs) |
| storlek | SKU-storleken. När namnfältet är kombinationen av nivå och något annat värde är detta den fristående koden. | sträng |
| Nivå | Det här fältet måste implementeras av resursprovidern om tjänsten har mer än en nivå, men inte krävs på en PUT. | "Grundläggande" "Kostnadsfri" "Premium" "Standard" |
TargetUtilizationScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxInstances | Det maximala antalet instanser som distributionen kan skalas till. Kvoten reserveras för max_instances. | Int |
| minInstances | Det minsta antalet instanser som alltid ska finnas. | Int |
| pollingInterval | Avsökningsintervallet i ISO 8691-format. Stöder endast varaktighet med så låg precision som Sekunder. | sträng |
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "TargetUtilization" (krävs) |
| targetUtilizationPercentage | Mål-CPU-användning för autoskalning. | Int |
TrackedResourceTags
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentiteter
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentity
| Namn | Beskrivning | Värde |
|---|
Resursdefinition för ARM-mall
Resurstypen arbetsytor/onlineEndpoints/distributioner kan distribueras med åtgärder som mål:
- Resursgrupper – Se resursgruppsdistributionskommandon
En lista över ändrade egenskaper i varje API-version finns i ändringsloggen.
Resursformat
Om du vill skapa en Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments-resurs lägger du till följande JSON i mallen.
{
"type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
"apiVersion": "2024-01-01-preview",
"name": "string",
"identity": {
"type": "string",
"userAssignedIdentities": {
"{customized property}": {
}
}
},
"kind": "string",
"location": "string",
"properties": {
"appInsightsEnabled": "bool",
"codeConfiguration": {
"codeId": "string",
"scoringScript": "string"
},
"dataCollector": {
"collections": {
"{customized property}": {
"clientId": "string",
"dataCollectionMode": "string",
"dataId": "string",
"samplingRate": "int"
}
},
"requestLogging": {
"captureHeaders": [ "string" ]
},
"rollingRate": "string"
},
"description": "string",
"egressPublicNetworkAccess": "string",
"environmentId": "string",
"environmentVariables": {
"{customized property}": "string"
},
"instanceType": "string",
"livenessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"model": "string",
"modelMountPath": "string",
"properties": {
"{customized property}": "string"
},
"readinessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"requestSettings": {
"maxConcurrentRequestsPerInstance": "int",
"maxQueueWait": "string",
"requestTimeout": "string"
},
"scaleSettings": {
"scaleType": "string"
// For remaining properties, see OnlineScaleSettings objects
},
"endpointComputeType": "string"
// For remaining properties, see OnlineDeploymentProperties objects
},
"sku": {
"capacity": "int",
"family": "string",
"name": "string",
"size": "string",
"tier": "string"
},
"tags": {
"{customized property}": "string"
}
}
OnlineDeploymentProperties-objekt
Ange egenskapen endpointComputeType för att ange typ av objekt.
För Kubernetesanvänder du:
{
"containerResourceRequirements": {
"containerResourceLimits": {
"cpu": "string",
"gpu": "string",
"memory": "string"
},
"containerResourceRequests": {
"cpu": "string",
"gpu": "string",
"memory": "string"
}
},
"endpointComputeType": "Kubernetes"
}
För Managedanvänder du:
{
"endpointComputeType": "Managed"
}
OnlineScaleSettings-objekt
Ange egenskapen scaleType för att ange typ av objekt.
För standardanvänder du:
{
"scaleType": "Default"
}
För TargetUtilizationanvänder du:
{
"maxInstances": "int",
"minInstances": "int",
"pollingInterval": "string",
"scaleType": "TargetUtilization",
"targetUtilizationPercentage": "int"
}
Egenskapsvärden
CodeConfiguration
| Namn | Beskrivning | Värde |
|---|---|---|
| codeId | ARM-resurs-ID för kodtillgången. | sträng |
| scoringScript | [Krävs] Skriptet som ska köras vid start. T.ex. "score.py" | sträng Begränsningar: Min längd = 1 Mönster = [a-zA-Z0-9_] (krävs) |
Samling
| Namn | Beskrivning | Värde |
|---|---|---|
| clientId | Msi-klient-ID:t som används för att samla in loggning till bloblagring. Om det är null väljer serverdelen en registrerad slutpunktsidentitet för autentisering. | sträng |
| dataCollectionMode | Aktivera eller inaktivera datainsamling. | "Inaktiverad" "Aktiverad" |
| dataId | Resurs-ID för datatillgångsarmen. På klientsidan ser du till att datatillgången pekar på bloblagringen och att serverdelen samlar in data till bloblagringen. | sträng |
| samplingRate | Samplingsfrekvensen för insamling. Samplingshastighet 1,0 innebär att vi samlar in 100% data som standard. | Int |
ContainerResourceRequirements
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceLimits | Information om gräns för containerresurser: | ContainerResourceSettings |
| containerResourceRequests | Information om containerresursbegäran: | ContainerResourceSettings |
ContainerResourceSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| processor | Antal vCPU:er för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| Gpu | Antal Nvidia GPU-kort för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| minne | Begäran/gräns för minnesstorlek för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
DataCollector
| Namn | Beskrivning | Värde |
|---|---|---|
| samlingar | [Krävs] Samlingskonfigurationen. Varje samling har en egen konfiguration för att samla in modelldata och namnet på samlingen kan vara godtycklig sträng. Modelldatainsamlare kan användas för antingen nyttolastloggning eller anpassad loggning eller båda. Samlingsbegäran och svar är reserverade för nyttolastloggning, andra är för anpassad loggning. |
DataCollectorCollections (krävs) |
| requestLogging | Konfigurationen för begärandeloggning för mdc innehåller avancerade loggningsinställningar för alla samlingar. Det är valfritt. | RequestLogging |
| rollingRate | När modelldata samlas in till bloblagring måste vi distribuera data till en annan sökväg för att undvika att logga dem alla i en enda blobfil. Om den löpande hastigheten är timme samlas alla data in i blobsökvägen /åååå/MM/dd/HH/. Om det är dag samlas alla data in i blobsökvägen /åååå/MM/dd/. Den andra fördelen med rullande sökväg är att användargränssnittet för modellövervakning kan välja ett tidsintervall med data mycket snabbt. |
"Dag" "Timme" "Minut" "Månad" "År" |
DataCollectorCollections
| Namn | Beskrivning | Värde |
|---|
DefaultScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "Standard" (krävs) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Namn | Beskrivning | Värde |
|---|
EndpointDeploymentPropertiesBaseProperties
| Namn | Beskrivning | Värde |
|---|
KubernetesOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceRequirements | Resurskraven för containern (cpu och minne). | ContainerResourceRequirements |
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Kubernetes" (krävs) |
ManagedOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Hanterad" (krävs) |
ManagedServiceIdentity
| Namn | Beskrivning | Värde |
|---|---|---|
| typ | Typ av hanterad tjänstidentitet (där både SystemAssigned- och UserAssigned-typer tillåts). | "Ingen" "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (krävs) |
| userAssignedIdentities | Uppsättningen användartilldelade identiteter som är associerade med resursen. Ordlistenycklarna userAssignedIdentities är ARM-resurs-ID:er i formuläret: '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Ordlistevärdena kan vara tomma objekt ({}) i begäranden. | UserAssignedIdentiteter |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Namn | Beskrivning | Värde |
|---|---|---|
| apiVersion | API-versionen | "2024-01-01-preview" |
| identitet | Hanterad tjänstidentitet (systemtilldelade och/eller användartilldelade identiteter) | ManagedServiceIdentity |
| sort | Metadata som används av portal/verktyg/etc för att återge olika UX-funktioner för resurser av samma typ. | sträng |
| plats | Den geo-plats där resursen finns | sträng (krävs) |
| Namn | Resursnamnet | sträng Begränsningar: Mönster = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (krävs) |
| Egenskaper | [Krävs] Ytterligare attribut för entiteten. | OnlineDeploymentProperties (krävs) |
| Sku | Sku-information som krävs för ARM-kontrakt för automatisk skalning. | Sku |
| Taggar | Resurstaggar | Ordlista med taggnamn och värden. Se taggar i mallar |
| typ | Resurstypen | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments" |
OnlineDeploymentProperties
| Namn | Beskrivning | Värde |
|---|---|---|
| appInsightsEnabled | Om det är sant aktiverar du Application Insights-loggning. | Bool |
| codeConfiguration | Kodkonfiguration för slutpunktsdistributionen. | CodeConfiguration |
| dataCollector | MDC-konfigurationen inaktiverar vi mdc när det är null. | DataCollector |
| beskrivning | Beskrivning av slutpunktsdistributionen. | sträng |
| egressPublicNetworkAccess | Om aktiverad tillåter du åtkomst till utgående offentligt nätverk. Om inaktiverad skapas en säker utgående trafik. Standard: Aktiverad. | "Inaktiverad" "Aktiverad" |
| endpointComputeType | Ange till Kubernetes för typen KubernetesOnlineDeployment. Ange till Hanterad för typen ManagedOnlineDeployment. | "Kubernetes" "Hanterad" (krävs) |
| environmentId | ARM-resurs-ID för miljöspecifikationen för slutpunktsdistributionen. | sträng |
| environmentVariables | Konfiguration av miljövariabler för distributionen. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Typ av beräkningsinstans. | sträng |
| livenessProbe | Liveness-avsökning övervakar regelbundet containerns hälsa. | ProbeSettings |
| modell | URI-sökvägen till modellen. | sträng |
| modelMountPath | Sökvägen för att montera modellen i en anpassad container. | sträng |
| Egenskaper | Egenskapsordlista. Egenskaper kan läggas till, men inte tas bort eller ändras. | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | Beredskapsavsökningen verifierar om containern är redo att hantera trafik. Egenskaperna och standardvärdena är desamma som liveness-avsökningen. | ProbeSettings |
| requestSettings | Begär inställningar för distributionen. | OnlineRequestSettings |
| scaleSettings | Skalningsinställningar för distributionen. Om den är null eller inte tillhandahålls, standardvärdet är TargetUtilizationScaleSettings för KubernetesOnlineDeployment och till DefaultScaleSettings för ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxConcurrentRequestsPerInstance | Antalet maximala samtidiga begäranden per nod som tillåts per distribution. Standardvärdet är 1. | Int |
| maxQueueWait | (Inaktuell för hanterade onlineslutpunkter) Den maximala tiden som en begäran stannar i kön i ISO 8601-format. Standardvärdet är 500 ms. (Öka nu request_timeout_ms för att ta hänsyn till eventuella nätverks-/köfördröjningar) |
sträng |
| requestTimeout | Tidsgränsen för bedömning i ISO 8601-format. Standardvärdet är 5 000 ms. |
sträng |
OnlineScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | Ställ in på Standard för typ DefaultScaleSettings. Ange till TargetUtilization för typ TargetUtilizationScaleSettings. | "Standard" "TargetUtilization" (krävs) |
ProbeSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| failureThreshold | Antalet fel som tillåts innan statusen inte är felfri returneras. | Int |
| initialDelay | Fördröjningen före den första avsökningen i ISO 8601-format. | sträng |
| period | Tiden mellan avsökningar i ISO 8601-format. | sträng |
| successThreshold | Antalet lyckade avsökningar innan en felfri status returneras. | Int |
| Timeout | Tidsgränsen för avsökningen i ISO 8601-format. | sträng |
Begärandeloggning
| Namn | Beskrivning | Värde |
|---|---|---|
| captureHeaders | För nyttolastloggning samlar vi bara in nyttolasten som standard. Om kunderna också vill samla in de angivna huvudena kan de ange dem i captureHeaders så att serverdelen samlar in dessa huvuden tillsammans med nyttolasten. | string[] |
Sku
| Namn | Beskrivning | Värde |
|---|---|---|
| kapacitet | Om SKU:n stöder utskalning/in bör kapacitets heltal inkluderas. Om det inte går att skala ut/in för resursen kan detta utelämnas. | Int |
| familj | Om tjänsten har olika generationer av maskinvara, för samma SKU, kan den samlas in här. | sträng |
| Namn | Namnet på SKU:n. Ex - P3. Det är vanligtvis en bokstav+nummerkod | sträng (krävs) |
| storlek | SKU-storleken. När namnfältet är kombinationen av nivå och något annat värde är detta den fristående koden. | sträng |
| Nivå | Det här fältet måste implementeras av resursprovidern om tjänsten har mer än en nivå, men inte krävs på en PUT. | "Grundläggande" "Kostnadsfri" "Premium" "Standard" |
TargetUtilizationScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxInstances | Det maximala antalet instanser som distributionen kan skalas till. Kvoten reserveras för max_instances. | Int |
| minInstances | Det minsta antalet instanser som alltid ska finnas. | Int |
| pollingInterval | Avsökningsintervallet i ISO 8691-format. Stöder endast varaktighet med så låg precision som Sekunder. | sträng |
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "TargetUtilization" (krävs) |
| targetUtilizationPercentage | Mål-CPU-användning för autoskalning. | Int |
TrackedResourceTags
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentiteter
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentity
| Namn | Beskrivning | Värde |
|---|
Resursdefinition för Terraform (AzAPI-provider)
Resurstypen arbetsytor/onlineEndpoints/distributioner kan distribueras med åtgärder som mål:
- Resursgrupper
En lista över ändrade egenskaper i varje API-version finns i ändringsloggen.
Resursformat
Om du vill skapa en Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments-resurs lägger du till följande Terraform i mallen.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-01-01-preview"
name = "string"
identity = {
type = "string"
userAssignedIdentities = {
{customized property} = {
}
}
}
kind = "string"
location = "string"
body = jsonencode({
properties = {
appInsightsEnabled = bool
codeConfiguration = {
codeId = "string"
scoringScript = "string"
}
dataCollector = {
collections = {
{customized property} = {
clientId = "string"
dataCollectionMode = "string"
dataId = "string"
samplingRate = int
}
}
requestLogging = {
captureHeaders = [
"string"
]
}
rollingRate = "string"
}
description = "string"
egressPublicNetworkAccess = "string"
environmentId = "string"
environmentVariables = {
{customized property} = "string"
}
instanceType = "string"
livenessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
model = "string"
modelMountPath = "string"
properties = {
{customized property} = "string"
}
readinessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
requestSettings = {
maxConcurrentRequestsPerInstance = int
maxQueueWait = "string"
requestTimeout = "string"
}
scaleSettings = {
scaleType = "string"
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType = "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
})
sku = {
capacity = int
family = "string"
name = "string"
size = "string"
tier = "string"
}
tags = {
{customized property} = "string"
}
}
OnlineDeploymentProperties-objekt
Ange egenskapen endpointComputeType för att ange typ av objekt.
För Kubernetesanvänder du:
{
containerResourceRequirements = {
containerResourceLimits = {
cpu = "string"
gpu = "string"
memory = "string"
}
containerResourceRequests = {
cpu = "string"
gpu = "string"
memory = "string"
}
}
endpointComputeType = "Kubernetes"
}
För Managedanvänder du:
{
endpointComputeType = "Managed"
}
OnlineScaleSettings-objekt
Ange egenskapen scaleType för att ange typ av objekt.
För standardanvänder du:
{
scaleType = "Default"
}
För TargetUtilizationanvänder du:
{
maxInstances = int
minInstances = int
pollingInterval = "string"
scaleType = "TargetUtilization"
targetUtilizationPercentage = int
}
Egenskapsvärden
CodeConfiguration
| Namn | Beskrivning | Värde |
|---|---|---|
| codeId | ARM-resurs-ID för kodtillgången. | sträng |
| scoringScript | [Krävs] Skriptet som ska köras vid start. T.ex. "score.py" | sträng Begränsningar: Min längd = 1 Mönster = [a-zA-Z0-9_] (krävs) |
Samling
| Namn | Beskrivning | Värde |
|---|---|---|
| clientId | Msi-klient-ID:t som används för att samla in loggning till bloblagring. Om det är null väljer serverdelen en registrerad slutpunktsidentitet för autentisering. | sträng |
| dataCollectionMode | Aktivera eller inaktivera datainsamling. | "Inaktiverad" "Aktiverad" |
| dataId | Resurs-ID för datatillgångsarmen. På klientsidan ser du till att datatillgången pekar på bloblagringen och att serverdelen samlar in data till bloblagringen. | sträng |
| samplingRate | Samplingsfrekvensen för insamling. Samplingshastighet 1,0 innebär att vi samlar in 100% data som standard. | Int |
ContainerResourceRequirements
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceLimits | Information om gräns för containerresurser: | ContainerResourceSettings |
| containerResourceRequests | Information om containerresursbegäran: | ContainerResourceSettings |
ContainerResourceSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| processor | Antal vCPU:er för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| Gpu | Antal Nvidia GPU-kort för begäran/gräns för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
| minne | Begäran/gräns för minnesstorlek för container. Mer information: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
sträng |
DataCollector
| Namn | Beskrivning | Värde |
|---|---|---|
| samlingar | [Krävs] Samlingskonfigurationen. Varje samling har en egen konfiguration för att samla in modelldata och namnet på samlingen kan vara godtycklig sträng. Modelldatainsamlare kan användas för antingen nyttolastloggning eller anpassad loggning eller båda. Samlingsbegäran och svar är reserverade för nyttolastloggning, andra är för anpassad loggning. |
DataCollectorCollections (krävs) |
| requestLogging | Konfigurationen för begärandeloggning för mdc innehåller avancerade loggningsinställningar för alla samlingar. Det är valfritt. | RequestLogging |
| rollingRate | När modelldata samlas in till bloblagring måste vi distribuera data till en annan sökväg för att undvika att logga dem alla i en enda blobfil. Om den löpande hastigheten är timme samlas alla data in i blobsökvägen /åååå/MM/dd/HH/. Om det är dag samlas alla data in i blobsökvägen /åååå/MM/dd/. Den andra fördelen med rullande sökväg är att användargränssnittet för modellövervakning kan välja ett tidsintervall med data mycket snabbt. |
"Dag" "Timme" "Minut" "Månad" "År" |
DataCollectorCollections
| Namn | Beskrivning | Värde |
|---|
DefaultScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "Standard" (krävs) |
EndpointDeploymentPropertiesBaseEnvironmentVariables
| Namn | Beskrivning | Värde |
|---|
EndpointDeploymentPropertiesBaseProperties
| Namn | Beskrivning | Värde |
|---|
KubernetesOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| containerResourceRequirements | Resurskraven för containern (cpu och minne). | ContainerResourceRequirements |
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Kubernetes" (krävs) |
ManagedOnlineDeployment
| Namn | Beskrivning | Värde |
|---|---|---|
| endpointComputeType | [Krävs] Slutpunktens beräkningstyp. | "Hanterad" (krävs) |
ManagedServiceIdentity
| Namn | Beskrivning | Värde |
|---|---|---|
| typ | Typ av hanterad tjänstidentitet (där både SystemAssigned- och UserAssigned-typer tillåts). | "Ingen" "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (krävs) |
| userAssignedIdentities | Uppsättningen användartilldelade identiteter som är associerade med resursen. Ordlistenycklarna userAssignedIdentities är ARM-resurs-ID:er i formuläret: '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Ordlistevärdena kan vara tomma objekt ({}) i begäranden. | UserAssignedIdentiteter |
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
| Namn | Beskrivning | Värde |
|---|---|---|
| identitet | Hanterad tjänstidentitet (systemtilldelade och/eller användartilldelade identiteter) | ManagedServiceIdentity |
| sort | Metadata som används av portal/verktyg/etc för att återge olika UX-funktioner för resurser av samma typ. | sträng |
| plats | Den geo-plats där resursen finns | sträng (krävs) |
| Namn | Resursnamnet | sträng Begränsningar: Mönster = ^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$ (krävs) |
| parent_id | ID för resursen som är överordnad för den här resursen. | ID för resurs av typen: arbetsytor/onlineSlutpunkter |
| Egenskaper | [Krävs] Ytterligare attribut för entiteten. | OnlineDeploymentProperties (krävs) |
| Sku | Sku-information som krävs för ARM-kontrakt för automatisk skalning. | Sku |
| Taggar | Resurstaggar | Ordlista med taggnamn och värden. |
| typ | Resurstypen | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-01-01-preview" |
OnlineDeploymentProperties
| Namn | Beskrivning | Värde |
|---|---|---|
| appInsightsEnabled | Om det är sant aktiverar du Application Insights-loggning. | Bool |
| codeConfiguration | Kodkonfiguration för slutpunktsdistributionen. | CodeConfiguration |
| dataCollector | MDC-konfigurationen inaktiverar vi mdc när det är null. | DataCollector |
| beskrivning | Beskrivning av slutpunktsdistributionen. | sträng |
| egressPublicNetworkAccess | Om aktiverad tillåter du åtkomst till utgående offentligt nätverk. Om inaktiverad skapas en säker utgående trafik. Standard: Aktiverad. | "Inaktiverad" "Aktiverad" |
| endpointComputeType | Ange till Kubernetes för typen KubernetesOnlineDeployment. Ange till Hanterad för typen ManagedOnlineDeployment. | "Kubernetes" "Hanterad" (krävs) |
| environmentId | ARM-resurs-ID för miljöspecifikationen för slutpunktsdistributionen. | sträng |
| environmentVariables | Konfiguration av miljövariabler för distributionen. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
| instanceType | Typ av beräkningsinstans. | sträng |
| livenessProbe | Liveness-avsökning övervakar regelbundet containerns hälsa. | ProbeSettings |
| modell | URI-sökvägen till modellen. | sträng |
| modelMountPath | Sökvägen för att montera modellen i en anpassad container. | sträng |
| Egenskaper | Egenskapsordlista. Egenskaper kan läggas till, men inte tas bort eller ändras. | EndpointDeploymentPropertiesBaseProperties |
| readinessProbe | Beredskapsavsökningen verifierar om containern är redo att hantera trafik. Egenskaperna och standardvärdena är desamma som liveness-avsökningen. | ProbeSettings |
| requestSettings | Begär inställningar för distributionen. | OnlineRequestSettings |
| scaleSettings | Skalningsinställningar för distributionen. Om den är null eller inte tillhandahålls, standardvärdet är TargetUtilizationScaleSettings för KubernetesOnlineDeployment och till DefaultScaleSettings för ManagedOnlineDeployment. |
OnlineScaleSettings |
OnlineRequestSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxConcurrentRequestsPerInstance | Antalet maximala samtidiga begäranden per nod som tillåts per distribution. Standardvärdet är 1. | Int |
| maxQueueWait | (Inaktuell för hanterade onlineslutpunkter) Den maximala tiden som en begäran stannar i kön i ISO 8601-format. Standardvärdet är 500 ms. (Öka nu request_timeout_ms för att ta hänsyn till eventuella nätverks-/köfördröjningar) |
sträng |
| requestTimeout | Tidsgränsen för bedömning i ISO 8601-format. Standardvärdet är 5 000 ms. |
sträng |
OnlineScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| scaleType | Ställ in på Standard för typ DefaultScaleSettings. Ange till TargetUtilization för typ TargetUtilizationScaleSettings. | "Standard" "TargetUtilization" (krävs) |
ProbeSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| failureThreshold | Antalet fel som tillåts innan statusen inte är felfri returneras. | Int |
| initialDelay | Fördröjningen före den första avsökningen i ISO 8601-format. | sträng |
| period | Tiden mellan avsökningar i ISO 8601-format. | sträng |
| successThreshold | Antalet lyckade avsökningar innan en felfri status returneras. | Int |
| Timeout | Tidsgränsen för avsökningen i ISO 8601-format. | sträng |
Begärandeloggning
| Namn | Beskrivning | Värde |
|---|---|---|
| captureHeaders | För nyttolastloggning samlar vi bara in nyttolasten som standard. Om kunderna också vill samla in de angivna huvudena kan de ange dem i captureHeaders så att serverdelen samlar in dessa huvuden tillsammans med nyttolasten. | string[] |
Sku
| Namn | Beskrivning | Värde |
|---|---|---|
| kapacitet | Om SKU:n stöder utskalning/in bör kapacitets heltal inkluderas. Om det inte går att skala ut/in för resursen kan detta utelämnas. | Int |
| familj | Om tjänsten har olika generationer av maskinvara, för samma SKU, kan den samlas in här. | sträng |
| Namn | Namnet på SKU:n. Ex - P3. Det är vanligtvis en bokstav+nummerkod | sträng (krävs) |
| storlek | SKU-storleken. När namnfältet är kombinationen av nivå och något annat värde är detta den fristående koden. | sträng |
| Nivå | Det här fältet måste implementeras av resursprovidern om tjänsten har mer än en nivå, men inte krävs på en PUT. | "Grundläggande" "Kostnadsfri" "Premium" "Standard" |
TargetUtilizationScaleSettings
| Namn | Beskrivning | Värde |
|---|---|---|
| maxInstances | Det maximala antalet instanser som distributionen kan skalas till. Kvoten reserveras för max_instances. | Int |
| minInstances | Det minsta antalet instanser som alltid ska finnas. | Int |
| pollingInterval | Avsökningsintervallet i ISO 8691-format. Stöder endast varaktighet med så låg precision som Sekunder. | sträng |
| scaleType | [Krävs] Typ av distributionsskalningsalgoritm | "TargetUtilization" (krävs) |
| targetUtilizationPercentage | Mål-CPU-användning för autoskalning. | Int |
TrackedResourceTags
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentiteter
| Namn | Beskrivning | Värde |
|---|
UserAssignedIdentity
| Namn | Beskrivning | Värde |
|---|