Anexar e gerenciar um pool do Synapse Spark no Aprendizado de Máquina do Azure

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Neste artigo, você aprenderá a anexar um Pool de Faíscas Synapse no Aprendizado de Máquina do Azure. Você pode anexar um Pool de Faíscas Synapse no Aprendizado de Máquina do Azure de uma destas maneiras:

• Usando a interface do usuário do estúdio do Azure Machine Learning
• Usando a CLI do Azure Machine Learning
• Usando o SDK Python do Azure Machine Learning

Pré-requisitos

Interface do usuário do estúdio

• Uma assinatura do Azure; se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Uma área de trabalho do Azure Machine Learning. Consulte Criar recursos do espaço de trabalho.
• Crie um espaço de trabalho do Azure Synapse Analytics no portal do Azure.
• Crie um pool do Apache Spark usando o portal do Azure.

CLI

APLICA-SE A: Azure CLI ml extension v2 (atual)

• Uma assinatura do Azure; se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Uma área de trabalho do Azure Machine Learning. Consulte Criar recursos do espaço de trabalho.
• Crie um espaço de trabalho do Azure Synapse Analytics no portal do Azure.
• Crie um pool do Apache Spark usando o portal do Azure.
• Crie uma instância de computação do Azure Machine Learning.
• Instale a CLI do Azure Machine Learning.

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

• Uma assinatura do Azure; se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Uma área de trabalho do Azure Machine Learning. Consulte Criar recursos do espaço de trabalho.
• Crie um espaço de trabalho do Azure Synapse Analytics no portal do Azure.
• Crie um pool do Apache Spark usando o portal do Azure.
• Configure seu ambiente de desenvolvimento ou crie uma instância de computação do Azure Machine Learning.
• Instale o SDK do Azure Machine Learning para Python.

Anexar um pool Synapse Spark no Azure Machine Learning

O Azure Machine Learning oferece diferentes maneiras de anexar e gerenciar um pool do Synapse Spark.

Interface do usuário do estúdio

Para anexar um Synapse Spark Pool com a guia Studio Compute:

1. Na seção Gerenciar do painel esquerdo, selecione Computar.
2. Selecione Cálculos anexados.
3. Na tela Cálculos anexados, selecione Novo para ver as opções para anexar diferentes tipos de cálculos.
4. Selecione Synapse Spark pool.

O painel Attach Synapse Spark pool é aberto no lado direito da tela. Neste painel:

1. Insira um Nome, que se refere ao Synapse Spark Pool anexado dentro do recurso do Azure Machine Learning.

2. Selecione uma Assinatura do Azure no menu suspenso.

3. Selecione um espaço de trabalho Synapse no menu suspenso.

4. Selecione um Pool de faíscas no menu suspenso.

5. Alterne a opção Atribuir uma identidade gerenciada para habilitá-la.

6. Selecione um tipo de Identidade gerenciada para usar com este Synapse Spark Pool anexado.

7. Selecione Atualizar para concluir o processo de anexação do Synapse Spark Pool.

CLI

APLICA-SE A: Azure CLI ml extension v2 (atual)

Com a CLI do Azure Machine Learning, podemos usar sintaxe YAML intuitiva e comandos da interface de linha de comando para anexar e gerenciar um pool do Synapse Spark.

Para definir um pool Synapse Spark anexado usando a sintaxe YAML, o arquivo YAML deve cobrir estas propriedades:

• name – nome da piscina Synapse Spark anexada.

• type – defina esta propriedade como synapsespark.

• resource_id – esta propriedade deve fornecer o valor de ID de recurso do pool Synapse Spark criado no espaço de trabalho do Azure Synapse Analytics. A ID de recurso do Azure inclui

  • ID da Subscrição do Azure,

  • nome do grupo de recursos,

  • Nome do Espaço de Trabalho do Azure Synapse Analytics e

  • nome do Synapse Spark Pool.

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    

• identity – esta propriedade define o tipo de identidade a ser atribuído ao pool Synapse Spark anexado. Pode ser necessário um destes valores:

  • system_assigned

  • user_assigned

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    
    identity:
    type: system_assigned
    

• Para o identity tipo user_assigned, você também deve fornecer uma lista de user_assigned_identities valores. Cada identidade atribuída pelo usuário deve ser declarada como um elemento da lista, usando o resource_id valor da identidade atribuída pelo usuário. A primeira identidade atribuída pelo usuário na lista é usada para enviar um trabalho por padrão.

  name: <ATTACHED_SPARK_POOL_NAME>
  
  type: synapsespark
  
  resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
  
  identity:
    type: user_assigned
    user_assigned_identities:
      - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>
  

Os arquivos YAML acima podem ser usados no az ml compute attach comando como o --file parâmetro. Um pool do Synapse Spark pode ser anexado a um espaço de trabalho do Azure Machine Learning, em um grupo de recursos especificado de uma assinatura, com o az ml compute attach comando mostrado aqui:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Este exemplo mostra a saída esperada do comando acima:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Se o pool Synapse Spark anexado, com o nome especificado no arquivo de especificação YAML, já existir no espaço de trabalho, a execução do comando atualizará az ml compute attach o pool existente com as informações fornecidas no arquivo de especificação YAML. Você pode atualizar o

• tipo de identidade
• Identidades atribuídas pelo usuário
• etiquetas

através do arquivo de especificação YAML.

Para exibir detalhes de um pool Synapse Spark anexado, execute o az ml compute show comando. Passe o nome do pool Synapse Spark anexado com o --name parâmetro, conforme mostrado:

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Este exemplo mostra a saída esperada do comando acima:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Para ver uma lista de todos os cálculos, incluindo os pools Synapse Spark anexados em um espaço de trabalho, use o az ml compute list comando. Use o parâmetro name para passar o nome do espaço de trabalho, conforme mostrado:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Este exemplo mostra a saída esperada do comando acima:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

O SDK Python do Azure Machine Learning fornece funções convenientes para anexar e gerenciar o pool Synapse Spark, usando o código Python nos Blocos de Anotações do Azure Machine Learning.

Para anexar um Synapse Compute usando Python SDK, primeiro crie uma instância da classe azure.ai.ml.MLClient. Isso fornece funções convenientes para interação com os serviços do Azure Machine Learning. O exemplo de código a seguir usa azure.identity.DefaultAzureCredential para se conectar a um espaço de trabalho no grupo de recursos de uma assinatura do Azure especificada. No exemplo de código a seguir, defina o SynapseSparkCompute com estes parâmetros:

• name - nome definido pelo usuário do novo pool Synapse Spark anexado.
• resource_id - ID do recurso do pool Synapse Spark criado anteriormente no espaço de trabalho do Azure Synapse Analytics

Uma chamada de função azure.ai.ml.MLClient.begin_create_or_update() anexa o pool Synapse Spark definido ao espaço de trabalho do Azure Machine Learning.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Para anexar um pool Synapse Spark que usa identidade atribuída ao sistema, passe IdentityConfiguration, com o tipo definido como SystemAssigned, como o identity parâmetro da SynapseSparkCompute classe. Este trecho de código anexa um pool Synapse Spark que usa a identidade atribuída ao sistema:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Um pool Synapse Spark também pode usar uma identidade atribuída pelo usuário. Para uma identidade atribuída pelo usuário, você pode passar uma definição de identidade gerenciada, usando a classe IdentityConfiguration , como o identity parâmetro da SynapseSparkCompute classe. Para a definição de identidade gerenciada usada dessa maneira, defina como type UserAssigned. Além disso, passe um user_assigned_identities parâmetro. O parâmetro user_assigned_identities é uma lista de objetos da classe UserAssignedIdentity. A resource_id identidade atribuída pelo usuário preenche cada UserAssignedIdentity objeto de classe. Este trecho de código anexa um pool Synapse Spark que usa uma identidade atribuída pelo usuário:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

A azure.ai.ml.MLClient.begin_create_or_update() função anexa um novo pool Synapse Spark, se um pool com o nome especificado ainda não existir no espaço de trabalho. No entanto, se um pool Synapse Spark com esse nome especificado já estiver anexado ao espaço de trabalho, uma chamada para a função atualizará o pool anexado azure.ai.ml.MLClient.begin_create_or_update() existente com a nova identidade ou identidades.

Adicionar atribuições de função no Azure Synapse Analytics

Para garantir que o Synapse Spark Pool anexado funcione corretamente, atribua a função de administrador a ele, a partir da interface do usuário do estúdio do Azure Synapse Analytics. Estas etapas mostram como fazê-lo:

1. Abra seu espaço de trabalho Synapse no portal do Azure.

2. No painel esquerdo, selecione Descrição geral.

   

3. Selecione Abrir Synapse Studio.

4. No estúdio do Azure Synapse Analytics, selecione Gerenciar no painel esquerdo.

5. Selecione Controle de Acesso na seção Segurança do painel esquerdo, segundo a partir da esquerda.

6. Selecione Adicionar.

7. O painel Adicionar atribuição de função será aberto no lado direito da tela. Neste painel:

   1. Selecione o item Espaço de trabalho para Escopo.

   2. No menu suspenso Tipo de item, selecione Apache Spark pool.

   3. No menu suspenso Item, selecione seu pool do Apache Spark.

   4. No menu suspenso Função , selecione Synapse Administrator.

   5. Na caixa Selecionar pesquisa de usuário, comece a digitar o nome do seu Espaço de Trabalho do Azure Machine Learning. Ele mostra uma lista de piscinas Synapse Spark anexadas. Selecione a piscina Synapse Spark desejada na lista.

   6. Selecione Aplicar.

      

Atualizar o Synapse Spark Pool

Interface do usuário do estúdio

Você pode gerenciar o pool Synapse Spark anexado a partir da interface do usuário do estúdio de Aprendizado de Máquina do Azure. A funcionalidade de gerenciamento do pool Spark inclui atualizações de identidade gerenciadas associadas para um pool Synapse Spark anexado. Você pode atribuir uma identidade atribuída pelo sistema ou pelo usuário ao atualizar um pool do Synapse Spark. Você deve criar uma identidade gerenciada atribuída pelo usuário no portal do Azure antes de atribuí-la a um pool do Synapse Spark.

Para atualizar a identidade gerenciada para o pool Synapse Spark anexado:

1. Abra a página Detalhes do pool Synapse Spark no estúdio do Azure Machine Learning.

2. Encontre o ícone de edição, localizado no lado direito da seção Identidade gerenciada.

3. Para atribuir uma identidade gerenciada pela primeira vez, alterne Atribuir uma identidade gerenciada para habilitá-la.

4. Para atribuir uma identidade gerenciada atribuída ao sistema:

   1. Selecione Sistema atribuído como o tipo de identidade.
   2. Selecione Atualizar.

5. Para atribuir uma identidade gerenciada atribuída pelo usuário:

   1. Selecione Atribuído pelo usuário como o tipo de identidade.
   2. Selecione uma Assinatura do Azure no menu suspenso.
   3. Digite as primeiras letras do nome da identidade gerenciada atribuída pelo usuário na caixa que mostra o texto Pesquisar por nome. É apresentada uma lista com nomes de identidade geridos atribuídos pelo utilizador correspondentes. Selecione a identidade gerenciada atribuída pelo usuário desejada na lista. Você pode selecionar várias identidades gerenciadas atribuídas pelo usuário e atribuí-las ao pool Synapse Spark anexado.
   4. Selecione Atualizar.

CLI

APLICA-SE A: Azure CLI ml extension v2 (atual)

Para atualizar a identidade associada a um pool Synapse Spark anexado, execute o comando com os az ml compute update parâmetros apropriados. Para atribuir uma identidade atribuída ao sistema, defina o --identity parâmetro no comando como , conforme SystemAssignedmostrado:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Este exemplo mostra a saída esperada do comando acima:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Para atribuir uma identidade atribuída pelo usuário, defina o parâmetro --identity no comando como UserAssigned. Além disso, você deve usar o --user-assigned-identities parâmetro para passar o ID do recurso para a identidade atribuída pelo usuário, conforme mostrado:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Este exemplo mostra a saída esperada do comando acima:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Nota

O parâmetro --user-assigned-identities pode usar uma lista de IDs de recursos e atribuir várias identidades definidas pelo usuário a um pool Synapse Spark anexado. A primeira identidade atribuída pelo usuário na lista será usada para enviar um trabalho por padrão.

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

Para usar a identidade atribuída ao sistema, passe IdentityConfiguration, com o tipo definido como SystemAssigned, como o identity parâmetro da SynapseSparkCompute classe. Este trecho de código atualiza um pool do Synapse Spark para usar uma identidade atribuída pelo sistema:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp) 

Um pool Synapse Spark também pode usar uma identidade atribuída pelo usuário. Para uma identidade atribuída pelo usuário, você pode passar uma definição de identidade gerenciada, usando a classe IdentityConfiguration , como o identity parâmetro da SynapseSparkCompute classe. Para a definição de identidade gerenciada usada dessa maneira, defina como type UserAssigned. Além disso, passe um user_assigned_identities parâmetro. O parâmetro user_assigned_identities é uma lista de objetos da classe UserAssignedIdentity. A resource_ididentidade atribuída pelo usuário preenche cada UserAssignedIdentity objeto de classe. Este trecho de código atualiza um pool do Synapse Spark para usar uma identidade atribuída pelo usuário:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

Se um pool com o nome especificado ainda não existir no espaço de trabalho, a azure.ai.ml.MLClient.begin_create_or_update() função anexará um novo pool Synapse Spark. No entanto, se um pool Synapse Spark, com o nome especificado, já estiver anexado ao espaço de trabalho, uma azure.ai.ml.MLClient.begin_create_or_update() chamada de função atualizará o pool anexado existente, com a nova identidade ou identidades.

Separe a piscina Synapse Spark

Podemos querer separar uma piscina Synapse Spark anexada, para limpar um espaço de trabalho.

---

Interface do usuário do estúdio

A interface do usuário do estúdio do Azure Machine Learning também fornece uma maneira de desanexar um pool Synapse Spark anexado. Para o fazer, siga estes passos:

1. Abra a página Detalhes do pool Synapse Spark, no estúdio do Azure Machine Learning.

2. Selecione Desanexar para desanexar o pool Synapse Spark anexado.

CLI

APLICA-SE A: Azure CLI ml extension v2 (atual)

Um pool Synapse Spark anexado pode ser separado executando o az ml compute detach comando com o nome do pool passado, usando o --name parâmetro, como mostrado aqui:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Este exemplo mostra a saída esperada do comando acima:

Are you sure you want to perform this operation? (y/n): y

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

Usaremos uma MLClient.compute.begin_delete() chamada de função. Passe a name piscina Synapse Spark anexada, juntamente com a ação Detach, para a função. Este trecho de código desanexa um pool do Synapse Spark de um espaço de trabalho do Azure Machine Learning:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Computação do Spark sem servidor no Azure Machine Learning

Alguns cenários de usuário podem exigir acesso a um recurso de computação do Spark sem servidor, durante um envio de trabalho do Azure Machine Learning, sem a necessidade de anexar um pool do Spark. A integração do Azure Synapse Analytics com o Azure Machine Learning também fornece uma experiência de computação do Spark sem servidor. Isso permite o acesso a uma computação do Spark em um trabalho, sem a necessidade de anexar a computação a um espaço de trabalho primeiro. Saiba mais sobre a experiência de computação do Spark sem servidor.

Próximos passos

• Disputa interativa de dados com o Apache Spark no Azure Machine Learning

• Enviar trabalhos do Spark no Azure Machine Learning