Připojení clusteru Kubernetes k pracovnímu prostoru služby Azure Machine Learning

Článek
09/01/2024

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Jakmile je rozšíření Azure Machine Learning nasazené v clusteru AKS nebo Arc Kubernetes, můžete cluster Kubernetes připojit k pracovnímu prostoru Azure Machine Learning a vytvořit cílové výpočetní objekty pro odborníky v ml, kteří ho budou používat.

Požadavky

Připojení clusteru Kubernetes k pracovnímu prostoru Azure Machine Learning může flexibilně podporovat mnoho různých scénářů. Například sdílené scénáře s více přílohami, skripty pro trénování modelů, které přistupují k prostředkům Azure, a konfigurace ověřování pracovního prostoru.

Izolace více připojení a úloh

Jeden cluster do jednoho pracovního prostoru, vytvoření více cílových výpočetních prostředků

Pro stejný cluster Kubernetes ho můžete připojit ke stejnému pracovnímu prostoru několikrát a vytvořit několik cílových výpočetních prostředků pro různé projekty, týmy nebo úlohy.

Jeden cluster do více pracovních prostorů

Pro stejný cluster Kubernetes ho můžete také připojit k více pracovním prostorům a více pracovních prostorů může sdílet stejný cluster Kubernetes.

Pokud plánujete mít různé výpočetní cíle pro různé projekty nebo týmy, můžete určit existující obor názvů Kubernetes ve vašem clusteru pro cílový výpočetní objekt pro izolaci úloh mezi různými týmy a projekty.

Důležité

Obor názvů, který plánujete určit při připojování clusteru k pracovnímu prostoru Azure Machine Learning, by se měl dříve vytvořit ve vašem clusteru.

Zabezpečený přístup k prostředkům Azure z trénovacího skriptu

Pokud potřebujete zabezpečený přístup k prostředkům Azure z trénovacího skriptu, můžete během operace připojení zadat spravovanou identitu pro cílový výpočetní objekt Kubernetes.

Připojení k pracovnímu prostoru pomocí spravované identity přiřazené uživatelem

Pracovní prostor Azure Machine Learning má ve výchozím nastavení spravovanou identitu přiřazenou systémem pro přístup k prostředkům Azure Machine Learning. Postup se dokončí, pokud je zapnuté výchozí nastavení přiřazené systémem.

Jinak pokud je při vytváření pracovního prostoru Azure Machine Learning zadaná spravovaná identita přiřazená uživatelem, před připojením výpočetních prostředků je potřeba spravované identitě udělit následující přiřazení rolí ručně.

Název prostředku Azure	Role, které se mají přiřadit	Popis
Azure Relay	Vlastník služby Azure Relay	Platí pouze pro cluster Kubernetes s podporou Arc. Azure Relay se pro cluster AKS nevytvořil bez připojení Arc.
Kubernetes – Azure Arc nebo Azure Kubernetes Service	Čtenář Přispěvatel rozšíření Kubernetes Správce clusteru Azure Kubernetes Service	Platí pro cluster Kubernetes s podporou Arc i cluster AKS.
Azure Kubernetes Service	Přispěvatel	Vyžaduje se pouze pro clustery AKS, které používají funkci Důvěryhodného přístupu. Pracovní prostor používá spravovanou identitu přiřazenou uživatelem. Podrobnosti najdete v tématu o přístupu AzureML ke clusterům AKS se speciálními konfiguracemi .

Tip

Prostředek Azure Relay se vytvoří během nasazení rozšíření ve stejné skupině prostředků jako cluster Kubernetes s podporou arc.

Poznámka:

Pokud oprávnění role Přispěvatel rozšíření Kubernetes není k dispozici, příloha clusteru selže s chybou Rozšíření není nainstalováno.
Pokud není k dispozici oprávnění správce clusteru Azure Kubernetes Service, příloha clusteru selže s chybou interního serveru.

Připojení clusteru Kubernetes k pracovnímu prostoru Azure Machine Learning

Podporujeme dva způsoby připojení clusteru Kubernetes k pracovnímu prostoru Azure Machine Learning pomocí Azure CLI nebo uživatelského rozhraní studia.

Následující příkazy rozhraní příkazového řádku v2 ukazují, jak připojit cluster Kubernetes s podporou AKS a Azure Arc a jak ho používat jako cílový výpočetní objekt s povolenou spravovanou identitou.

Cluster AKS

az ml compute attach --resource-group <resource-group-name> --workspace-name <workspace-name> --type Kubernetes --name k8s-compute --resource-id "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ContainerService/managedclusters/<cluster-name>" --identity-type SystemAssigned --namespace <Kubernetes namespace to run Azure Machine Learning workloads> --no-wait

Cluster Arc Kubernetes

az ml compute attach --resource-group <resource-group-name> --workspace-name <workspace-name> --type Kubernetes --name amlarc-compute --resource-id "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Kubernetes/connectedClusters/<cluster-name>" --user-assigned-identities "subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<identity-name>" --no-wait

Nastavte argument na --type Kuberneteshodnotu . Pomocí argumentu identity_type povolte SystemAssigned nebo UserAssigned spravujte identity.

Důležité

--user-assigned-identities vyžaduje se pouze pro UserAssigned spravované identity. I když můžete zadat seznam čárkami oddělených identit spravovaných uživatelem, použije se při připojování clusteru jenom první identita.

Připojení služby Compute nevytvoří automaticky obor názvů Kubernetes nebo ověří, jestli existoval obor názvů Kubernetes. Musíte ověřit, že v clusteru existuje zadaný obor názvů, jinak všechny úlohy Azure Machine Learning odeslané do tohoto výpočetního prostředí selžou.

Připojení clusteru Kubernetes ho zpřístupní vašemu pracovnímu prostoru pro trénování nebo odvozování.

Přejděte na studio Azure Machine Learning.
V části Spravovat vyberte Compute.
Vyberte kartu clusterů Kubernetes.
Výběr možnosti +New > Kubernetes
Zadejte název výpočetních prostředků a v rozevíracím seznamu vyberte cluster Kubernetes.
- (Volitelné) Zadejte obor názvů Kubernetes, který má výchozí hodnotu default. Všechny úlohy strojového učení se posílají do zadaného oboru názvů Kubernetes v clusteru. Připojení compute nevytvoří obor názvů Kubernetes automaticky nebo ověří, jestli obor názvů Kubernetes existuje. Musíte ověřit, jestli v clusteru existuje zadaný obor názvů, jinak by všechny úlohy Služby Azure Machine Learning odeslané do tohoto výpočetního prostředí selhaly.
- (Volitelné) Přiřaďte spravovanou identitu přiřazenou systémem nebo přiřazenou uživatelem. Spravované identity eliminují potřebu vývojářů spravovat tyto přihlašovací údaje. Další informace najdete v části Přiřazení spravované identity v tomto článku.
Výběr možnosti Připojit

Na kartě Clustery Kubernetes se počáteční stav clusteru vytváří. Po úspěšném připojení clusteru se stav změní na Úspěch. V opačném případě se stav změní na Selhání.

Následující kód sady Python SDK v2 ukazuje, jak připojit cluster Kubernetes s podporou AKS a Azure Arc a jak ho používat jako cílový výpočetní objekt s povolenou spravovanou identitou.

Cluster AKS

from azure.ai.ml import load_compute

# for AKS cluster, the resource_id should be something like '/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerService/managedClusters/<CLUSTER_NAME>''
compute_params = [
    {"name": "<COMPUTE_NAME>"},
    {"type": "kubernetes"},
    {
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerService/managedClusters/<CLUSTER_NAME>"
    },
]
k8s_compute = load_compute(source=None, params_override=compute_params)
ml_client.begin_create_or_update(k8s_compute).result()

Cluster Arc Kubernetes

from azure.ai.ml import load_compute

# for arc connected cluster, the resource_id should be something like '/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerService/connectedClusters/<CLUSTER_NAME>''
compute_params = [
    {"name": "<COMPUTE_NAME>"},
    {"type": "kubernetes"},
    {
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerService/connectedClusters/<CLUSTER_NAME>"
    },
]
k8s_compute = load_compute(source=None, params_override=compute_params)
ml_client.begin_create_or_update(k8s_compute).result()

Přiřazení spravované identity k cílovému výpočetnímu objektu

Běžným problémem pro vývojáře je správa tajných kódů a přihlašovacích údajů používaných k zabezpečení komunikace mezi různými komponentami řešení. Spravované identity eliminují potřebu vývojářů spravovat tyto přihlašovací údaje.

Pokud chcete získat přístup ke službě Azure Container Registry (ACR) pro image Dockeru a účtu úložiště pro trénovací data, připojte výpočetní prostředky Kubernetes s povolenou spravovanou identitou přiřazenou systémem nebo přiřazenou uživatelem.

Přiřazení spravované identity

Spravovanou identitu můžete přiřadit výpočetním prostředkům v kroku připojení výpočetních prostředků.
Pokud už výpočetní prostředky byly připojené, můžete nastavení aktualizovat tak, aby používala spravovanou identitu v studio Azure Machine Learning.
- Přejděte na studio Azure Machine Learning. Vyberte Výpočetní prostředky, Připojené výpočetní prostředky a vyberte připojené výpočetní prostředky.
- Výběrem ikony tužky můžete upravit spravovanou identitu.

Přiřazení rolí Azure ke spravované identitě

Azure nabízí několik způsobů, jak přiřadit role spravované identitě.

Pokud k přiřazování rolí používáte Azure Portal a máte spravovanou identitu přiřazenou systémem, vyberte uživatele, instanční objekt skupiny nebo instanční objekt, můžete název identity vyhledat výběrem možnosti Vybrat členy. Název identity musí být naformátovaný takto: <workspace name>/computes/<compute target name>.

Pokud máte spravovanou identitu přiřazenou uživatelem, vyhledejte cílovou identitu výběrem spravované identity .

Spravovanou identitu můžete použít k načtení imagí ze služby Azure Container Registry. Udělte roli AcrPull výpočetní spravované identitě. Další informace najdete v tématu Role a oprávnění služby Azure Container Registry.

Spravovanou identitu můžete použít pro přístup k objektům blob Azure:

Pro účely jen pro čtení by měla být udělena role Čtenář dat objektů blob služby Storage výpočetní spravované identitě.
Pro účely čtení a zápisu by měla být udělena role Přispěvatel dat objektů blob služby Storage výpočetní spravované identitě.

Sdílet prostřednictvím