Asociación y administración de un grupo de Spark de Synapse en Azure Machine Learning

Artículo
09/03/2024

SE APLICA A:Extensión ML de la CLI de Azure v2 (actual)SDK de Python azure-ai-ml v2 (actual)

En este artículo, aprenderá a asociar un grupo de Spark de Synapse en Azure Machine Learning. Puede asociar un grupo de Spark de Synapse en Azure Machine Learning mediante una de estas formas:

Uso de la interfaz de usuario de Estudio de Azure Machine Learning
Uso de la CLI de Azure Machine Learning
Uso del SDK de Azure Machine Learning para Python

Prerrequisitos

Una suscripción a Azure: si aún no tiene ninguna, cree una cuenta gratuita antes de empezar.
Un área de trabajo de Azure Machine Learning. Consulte Creación de recursos del área de trabajo.
Cree un área de trabajo de Azure Synapse Analytics en Azure Portal.
Creación de un grupo de Apache Spark mediante Azure Portal.

Asociación de un grupo de Spark de Synapse en Azure Machine Learning

Azure Machine Learning ofrece diferentes formas de asociar y administrar un grupo de Synapse Spark.

Para asociar un grupo de Spark de Synapse con la pestaña Proceso de Studio:

En la sección Administrar del panel izquierdo, seleccione Proceso.
Seleccione Procesos asociados.
En la pantalla Procesos asociados, seleccione Nuevo para ver las opciones de asociación de diferentes tipos de proceso.
Seleccione Grupo de Spark de Synapse.

El panel se abre en Grupo de Synapse Spark en el lado derecho de la pantalla. En este panel:

Escriba un Nombre, que hace referencia al grupo de Spark de Synapse asociado dentro del recurso de Azure Machine Learning.
Seleccione una suscripción de Azure en el menú desplegable.
Seleccione un área de trabajo de Synapse en la lista desplegable.
Seleccione un grupo de Spark en el menú desplegable.
Active la opción Asignar una identidad administrada para habilitarla.
Seleccione un tipo de identidad administrada que se usará con este grupo de Spark de Synapse asociado.
Seleccione Actualizar para completar el proceso de asociación del grupo de Spark de Synapse.

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

Con la CLI de Azure Machine Learning, podemos usar comandos y sintaxis YAML intuitivos desde la interfaz de la línea de comandos, para asociar y administrar un grupo de Synapse Spark.

Para definir un grupo de Spark de Synapse asociado mediante la sintaxis YAML, el archivo YAML debe abarcar estas propiedades:

name: el nombre del grupo de Spark de Synapse asociado.
type: establecer esta propiedad en synapsespark.
resource_id: esta propiedad debe proporcionar el valor de identificador de recurso del grupo de Spark de Synapse creado en el área de trabajo de Azure Synapse Analytics. El identificador de recurso de Azure incluye:
- el identificador de suscripción a Azure,
- el nombre del grupo de recursos,
- el nombre del área de trabajo de Azure Synapse Analytics y
- el nombre del grupo de Spark de Synapse.
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
```

identity: esta propiedad define el tipo de identidad que se asignará al grupo de Spark de Synapse asociado. Puede tener uno de estos valores:

system_assigned

user_assigned

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
type: system_assigned

Para el tipo de identityuser_assigned, también debe proporcionar una lista de valores user_assigned_identities. Cada identidad asignada por el usuario se debe declarar como un elemento de la lista mediante el valor resource_id de la identidad asignada por el usuario. La primera identidad asignada por el usuario en la lista se usa para enviar un trabajo de forma predeterminada.

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>

Los archivos YAML anteriores se pueden usar en el comando az ml compute attach como parámetro --file. Un grupo de Spark de Synapse puede estar asociado a un área de trabajo de Azure Machine Learning, en un grupo de recursos especificado de una suscripción, con el comando az ml compute attach tal como se muestra aquí:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

En este ejemplo se muestra la salida esperada del comando anterior:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Si el grupo de Spark de Synapse asociado, con el nombre especificado en el archivo de especificación de YAML, ya existe en el área de trabajo, la ejecución del comando az ml compute attach actualiza el grupo existente con la información proporcionada en el archivo de especificación de YAML. Puede actualizar:

el tipo de identidad
las identidades asignadas por el usuario
etiquetas

los valores mediante el archivo de especificación YAML.

Para mostrar los detalles de un grupo de Spark de Synapse asociado, ejecute el comando az ml compute show. Pase el nombre del grupo de Spark de Synapse asociado con el parámetro --name, tal como se muestra a continuación:

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

En este ejemplo se muestra la salida esperada del comando anterior:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Para ver una lista de todos los procesos, incluidos los grupos de Spark de Synapse asociados en un área de trabajo, utilice el comando az ml compute list. Use el parámetro name para pasar el nombre del área de trabajo, tal como se muestra a continuación:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

En este ejemplo se muestra la salida esperada del comando anterior:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

El SDK de Python de Azure Machine Learning proporciona unas cómodas funciones para asociar y administrar el grupo de Spark de Synapse mediante código de Python en Azure Machine Learning Notebooks.

Para asociar un proceso de Synapse mediante el SDK de Python, cree primero una instancia de la clase azure.ai.ml.MLClient. Esto proporciona funciones prácticas para la interacción con los servicios de Azure Machine Learning. En el ejemplo de código siguiente se usa azure.identity.DefaultAzureCredential para conectarse a un área de trabajo del grupo de recursos de una suscripción de Azure especificada. En el ejemplo de código siguiente, defina SynapseSparkCompute con estos parámetros:

name: nombre definido por el usuario del nuevo grupo de Spark de Synapse asociado.
resource_id: identificador de recurso del grupo de Spark de Synapse creado anteriormente en el área de trabajo de Azure Synapse Analytics

Una llamada de función azure.ai.ml.MLClient.begin_create_or_update() asocia el grupo de Spark de Synapse definido al área de trabajo de Azure Machine Learning.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Para asociar un grupo de Spark de Synapse que usa la identidad asignada por el sistema, pase IdentityConfiguration con el tipo establecido en SystemAssigned como parámetro identity de la clase SynapseSparkCompute. Este fragmento de código asocia un grupo de Spark de Synapse que usa la identidad asignada por el sistema:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Un grupo de Spark de Synapse también puede usar una identidad asignada por el usuario. Para una identidad asignada por el usuario, puede pasar una definición de identidad administrada mediante la clase IdentityConfiguration como parámetro identity de la SynapseSparkCompute clase. Para la definición de identidad administrada utilizada de esta manera, establezca type en UserAssigned. Además, pase un parámetro user_assigned_identities. El parámetro user_assigned_identities es una lista de objetos de la clase UserAssignedIdentity. El resource_id de la identidad asignada por el usuario rellena cada objeto de clase UserAssignedIdentity. Este fragmento de código asocia un grupo de Spark de Synapse que usa una identidad asignada por el usuario:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

La función azure.ai.ml.MLClient.begin_create_or_update() asocia un nuevo grupo de Spark de Synapse si no existe aún un grupo con el nombre especificado en el área de trabajo. Sin embargo, si ya hay un grupo de Spark de Synapse con ese nombre especificado asociado al área de trabajo, una llamada a la función azure.ai.ml.MLClient.begin_create_or_update() actualizará el grupo asociado existente con la nueva identidad o identidades.

Incorporación de asignaciones de roles en Azure Synapse Analytics

Para asegurarse de que el grupo de Spark de Synapse asociado funciona correctamente, asígnele el Rol de administrador desde la interfaz de usuario de Azure Synapse Analytics Studio. En estos pasos se muestra cómo hacerlo:

Abra su Área de trabajo de Synapse en Azure Portal.
En el panel izquierdo, haga clic en Información general.
Consulte Abrir Synapse Studio.
En Azure Synapse Analytics Studio, seleccione Administrar en el panel izquierdo.
Seleccione Access Control en la sección Seguridad del panel izquierdo, el segundo a partir de la izquierda.
Seleccione Agregar.
El panel Agregar asignación de roles se abrirá en el lado derecho de la pantalla. En este panel:
1. Seleccione Elemento de área de trabajo para Ámbito.
2. En el menú desplegable Tipo de elemento, seleccione Grupo de Apache Spark.
3. En el menú desplegable Elemento, seleccione el grupo de Apache Spark.
4. En el menú desplegable Rol, seleccione Administrador de Synapse.
5. En el cuadro de búsqueda Seleccionar usuario, comience a escribir el nombre del área de trabajo de Azure Machine Learning. Se muestra una lista de grupos de Spark de Synapse asociados. Seleccione el grupo de Spark de Synapse que desee de la lista.
6. Seleccione Aplicar.

Actualización del grupo de Spark de Synapse

Puede administrar el grupo de Spark de Synapse asociado desde la interfaz de usuario de Estudio de Azure Machine Learning. La funcionalidad de administración de grupos de Spark incluye actualizaciones de identidad administrada asociadas para un grupo de Spark de Synapse asociado. Puede asignar una identidad asignada por el sistema o una identidad asignada por el usuario al actualizar un grupo de Spark de Synapse. Debe crear una identidad administrada asignada por el usuario en Azure Portal, antes de asignarla a un grupo de Spark de Synapse.

Para actualizar la identidad administrada del grupo de Spark de Synapse asociado:

Abra la página Detalles del grupo de Spark de Synapse en Estudio de Azure Machine Learning.
Busque el icono de edición, que se encuentra en el lado derecho de la sección Identidad administrada.
Para asignar una identidad administrada por primera vez, active Asignar una identidad administrada para habilitarla.
Para asignar una identidad administrada asignada por el sistema:
1. Seleccione Asignación del sistema como Tipo de identidad.
2. Selecciona Actualización.
Para asignar una identidad administrada asignada por el usuario:
1. Seleccione Asignación del usuario como Tipo de identidad.
2. Seleccione una suscripción de Azure en el menú desplegable.
3. Escriba las primeras letras del nombre de la identidad administrada asignada por el usuario en el cuadro que muestra el texto Buscar por nombre. Aparece una lista con nombres de identidad administrada asignados por el usuario coincidentes. Seleccione en la lista la identidad administrada asignada por el usuario que desee. Puede seleccionar varias identidades administradas asignadas por el usuario y asignarlas al grupo de Spark de Synapse asociado.
4. Seleccione Actualizar.

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

Para actualizar la identidad asociada a un grupo de Synapse Spark asociado, ejecute el comando az ml compute update con los parámetros adecuados. Para asignar una identidad asignada por el sistema, establezca el parámetro --identity en SystemAssigned, tal como se muestra:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

En este ejemplo aparece la salida esperada del comando anterior:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Para asignar una identidad asignada por el usuario, establezca el parámetro --identity del comando en UserAssigned. Además, debe usar el parámetro --user-assigned-identities para pasar el identificador de recurso para la identidad asignada por el usuario, como se muestra:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

En este ejemplo aparece la salida esperada del comando anterior:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Nota

El parámetro --user-assigned-identities puede tomar una lista de identificadores de recursos y asignar varias identidades definidas por el usuario a un grupo de Spark de Synapse asociado. Se usará la primera identidad asignada por el usuario de la lista para enviar un trabajo de forma predeterminada.

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

Para usar la identidad asignada por el sistema, pase IdentityConfiguration con el tipo establecido en SystemAssigned, como parámetro identity de la clase SynapseSparkCompute. Este fragmento de código actualiza un grupo de Spark de Synapse para usar una identidad asignada por el sistema:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp)

Un grupo de Spark de Synapse también puede usar una identidad asignada por el usuario. Para una identidad asignada por el usuario, puede pasar una definición de identidad administrada mediante la clase IdentityConfiguration como parámetro identity de la SynapseSparkCompute clase. Para la definición de identidad administrada utilizada de esta manera, establezca type en UserAssigned. Además, pase un parámetro user_assigned_identities. El parámetro user_assigned_identities es una lista de objetos de la clase UserAssignedIdentity. resource_id de la identidad asignada por el usuario rellena cada objeto de clase UserAssignedIdentity. Este fragmento de código actualiza un grupo de Spark de Synapse para usar una identidad asignada por el usuario:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

Si no existe aún un grupo con el nombre especificado en el área de trabajo, la función azure.ai.ml.MLClient.begin_create_or_update() asociará un nuevo grupo de Spark de Synapse. Sin embargo, si ya hay un grupo de Spark de Synapse con el nombre especificado asociado al área de trabajo, una llamada a la función azure.ai.ml.MLClient.begin_create_or_update() actualizará el grupo asociado existente con la nueva identidad o identidades.

Desasociación del grupo de Spark de Synapse

Es posible que quiera desasociar un grupo de Spark de Synapse asociado para limpiar un área de trabajo.

La interfaz de usuario de Estudio de Azure Machine Learning también proporciona una manera de desasociar un grupo de Spark de Synapse asociado. Para ello, siga estos pasos:

Abra la página Detalles del grupo de Spark de Synapse en Estudio de Azure Machine Learning.
Seleccione Desasociar para desasociar el grupo de Spark de Synapse asociado.

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

Un grupo de Synapse Spark asociado se puede desasociar ejecutando el comando az ml compute detach con el nombre del grupo pasado mediante el parámetro --name, como se muestra aquí:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

En este ejemplo aparece la salida esperada del comando anterior:

Are you sure you want to perform this operation? (y/n): y

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

Usaremos una llamada de función MLClient.compute.begin_delete(). Pase el elemento name del grupo de Spark de Synapse asociado, junto con la acción Detach, a la función. Este fragmento de código desasocia un grupo de Spark de Synapse de un área de trabajo de Azure Machine Learning:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Proceso de Spark sin servidor en Azure Machine Learning

Algunos escenarios de usuario pueden requerir acceso a un recurso de proceso de Spark sin servidor, durante un envío de trabajo de Azure Machine Learning, sin necesidad de adjuntar un grupo de Spark. La integración de Azure Synapse Analytics con Azure Machine Learning también proporciona una experiencia de proceso de Spark sin servidor. Esto permite acceder a un proceso de Spark en un trabajo, sin necesidad de adjuntar primero el proceso a un área de trabajo. Obtenga más información sobre la experiencia de proceso de Spark sin servidor.

Compartir vía

Asociación y administración de un grupo de Spark de Synapse en Azure Machine Learning

Prerrequisitos

Asociación de un grupo de Spark de Synapse en Azure Machine Learning

Incorporación de asignaciones de roles en Azure Synapse Analytics

Actualización del grupo de Spark de Synapse

Desasociación del grupo de Spark de Synapse

Proceso de Spark sin servidor en Azure Machine Learning

Pasos siguientes

Comentarios

Recursos adicionales