Microsoft.MachineLearningServices workspaces/onlineEndpoints/deployments 2023-06-01-preview

Artykuł
11/21/2024

Definicja zasobu Bicep

Typ zasobu obszary robocze/onlineEndpoints/deployments można wdrożyć przy użyciu operacji docelowych:

grupy zasobów — zobacz polecenia wdrażania grupy zasobów

Aby uzyskać listę zmienionych właściwości w każdej wersji interfejsu API, zobacz dziennika zmian.

Format zasobu

Aby utworzyć zasób Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, dodaj następujący kod Bicep do szablonu.

resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-06-01-preview' = {
  identity: {
    type: 'string'
    userAssignedIdentities: {
      {customized property}: {}
    }
  }
  kind: 'string'
  location: 'string'
  name: 'string'
  properties: {
    appInsightsEnabled: bool
    codeConfiguration: {
      codeId: 'string'
      scoringScript: 'string'
    }
    dataCollector: {
      collections: {
        {customized property}: {
          clientId: 'string'
          dataCollectionMode: 'string'
          dataId: 'string'
          samplingRate: int
        }
      }
      requestLogging: {
        captureHeaders: [
          'string'
        ]
      }
      rollingRate: 'string'
    }
    description: 'string'
    egressPublicNetworkAccess: 'string'
    environmentId: 'string'
    environmentVariables: {
      {customized property}: 'string'
    }
    instanceType: 'string'
    livenessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    model: 'string'
    modelMountPath: 'string'
    properties: {
      {customized property}: 'string'
    }
    readinessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    requestSettings: {
      maxConcurrentRequestsPerInstance: int
      maxQueueWait: 'string'
      requestTimeout: 'string'
    }
    scaleSettings: {
      scaleType: 'string'
      // For remaining properties, see OnlineScaleSettings objects
    }
    endpointComputeType: 'string'
    // For remaining properties, see OnlineDeploymentProperties objects
  }
  sku: {
    capacity: int
    family: 'string'
    name: 'string'
    size: 'string'
    tier: 'string'
  }
  tags: {
    {customized property}: 'string'
  }
}

Obiekty OnlineScaleSettings

Ustaw właściwość scaleType, aby określić typ obiektu.

W przypadku domyślnejużyj:

{
  scaleType: 'Default'
}

W przypadku TargetUscsiużyj:

{
  maxInstances: int
  minInstances: int
  pollingInterval: 'string'
  scaleType: 'TargetUtilization'
  targetUtilizationPercentage: int
}

Obiekty OnlineDeploymentProperties

Ustaw właściwość endpointComputeType, aby określić typ obiektu.

W przypadku Kubernetes użyj:

{
  containerResourceRequirements: {
    containerResourceLimits: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
    containerResourceRequests: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
  }
  endpointComputeType: 'Kubernetes'
}

W przypadku zarządzanychużyj:

{
  endpointComputeType: 'Managed'
}

Wartości właściwości

Konfiguracja kodu

Nazwa	Opis	Wartość
codeId	Identyfikator zasobu usługi ARM zasobu kodu.	struna
scoringScript	[Wymagane] Skrypt do wykonania podczas uruchamiania. Np. "score.py"	struna Ograniczenia: Minimalna długość = 1 Wzorzec = `[a-zA-Z0-9_]` (wymagane)

Kolekcja

Nazwa	Opis	Wartość
clientId	Identyfikator klienta msi używany do zbierania rejestrowania w magazynie obiektów blob. Jeśli ma wartość null, zaplecze wybierze zarejestrowaną tożsamość punktu końcowego do uwierzytelniania.	struna
dataCollectionMode	Włączanie lub wyłączanie zbierania danych.	"Wyłączone" "Włączone"
dataId	Identyfikator zasobu danych arm. Po stronie klienta upewni się, że zasób danych wskazuje magazyn obiektów blob, a zaplecze będzie zbierać dane do magazynu obiektów blob.	struna
próbkowanieRate	Częstotliwość próbkowania dla kolekcji. Częstotliwość próbkowania 1,0 oznacza, że domyślnie zbieramy 100% danych.	Int

ContainerResourceRequirements

Nazwa	Opis	Wartość
containerResourceLimits	Informacje o limicie zasobów kontenera:	ContainerResourceSettings
containerResourceRequests	Informacje o żądaniu zasobu kontenera:	ContainerResourceSettings

ContainerResourceSettings

Nazwa	Opis	Wartość
procesor	Liczba żądań/limitu procesorów wirtualnych dla kontenera. Więcej informacji: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	struna
Gpu	Liczba żądań/limitów kart procesora GPU firmy Nvidia dla kontenera. Więcej informacji: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	struna
pamięć	Żądanie/limit rozmiaru pamięci dla kontenera. Więcej informacji: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	struna

DataCollector

Nazwa	Opis	Wartość
zbiory	[Wymagane] Konfiguracja kolekcji. Każda kolekcja ma własną konfigurację do zbierania danych modelu, a nazwa kolekcji może być dowolnym ciągiem. Moduł zbierający dane modelu może służyć do rejestrowania ładunku lub rejestrowania niestandardowego albo obu z nich. Żądanie kolekcji i odpowiedź są zarezerwowane do rejestrowania ładunków, inne są przeznaczone do rejestrowania niestandardowego.	DataCollectorCollections (wymagane)
requestLogging (rejestrowanie żądań)	Konfiguracja rejestrowania żądań dla usługi mdc zawiera zaawansowane ustawienia rejestrowania dla wszystkich kolekcji. Jest to opcjonalne.	RequestLogging
rollingRate	Gdy dane modelu są zbierane do magazynu obiektów blob, musimy przerzucić dane do innej ścieżki, aby uniknąć rejestrowania wszystkich z nich w jednym pliku obiektów blob. Jeśli szybkość rolowania wynosi godzinę, wszystkie dane zostaną zebrane w ścieżce obiektu blob /rrrr/MM/dd/HH/. Jeśli jest to dzień, wszystkie dane zostaną zebrane w ścieżce obiektu blob /rrrr/MM/dd/. Inną zaletą ścieżki stopniowej jest to, że interfejs użytkownika monitorowania modelu jest w stanie bardzo szybko wybrać zakres czasu danych.	"Dzień" "Godzina" "Minuta" "Miesiąc" "Rok"

DataCollectorCollections

Nazwa	Opis	Wartość

DefaultScaleSettings

Nazwa	Opis	Wartość
scaleType	[Wymagane] Typ algorytmu skalowania wdrożenia	"Wartość domyślna" (wymagana)

EndpointDeploymentPropertiesBaseEnvironmentVariables

Nazwa	Opis	Wartość

EndpointDeploymentPropertiesBaseProperties

Nazwa	Opis	Wartość

KubernetesOnlineDeployment

Nazwa	Opis	Wartość
containerResourceRequirements	Wymagania dotyczące zasobów dla kontenera (procesor i pamięć).	ContainerResourceRequirements
endpointComputeType	[Wymagane] Typ obliczeniowy punktu końcowego.	"Kubernetes" (wymagane)

ManagedOnlineDeployment

Nazwa	Opis	Wartość
endpointComputeType	[Wymagane] Typ obliczeniowy punktu końcowego.	"Zarządzane" (wymagane)

ManagedServiceIdentity

Nazwa	Opis	Wartość
typ	Typ tożsamości usługi zarządzanej (gdzie dozwolone są typy SystemAssigned i UserAssigned).	"Brak" "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (wymagane)
userAssignedIdentities	Zestaw tożsamości przypisanych przez użytkownika skojarzonych z zasobem. Klucze słownika userAssignedIdentities będą identyfikatorami zasobów usługi ARM w postaci: "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Wartości słownika mogą być pustymi obiektami ({}) w żądaniach.	UserAssignedIdentities