Configurar claves HSM gestionadas por el cliente para discos gestionados por Azure
Las cargas de trabajo de proceso de Azure Databricks del plano de proceso almacenan datos temporales en discos administrados de Azure. De manera predeterminada, los datos almacenados en discos administrados se cifran en reposo, mediante el cifrado del lado del servidor, con claves administradas por Microsoft. En este artículo se describe cómo configurar una clave administrada por el cliente desde el HSM de Azure Key Vault para el área de trabajo de Azure Databricks que se usará para el cifrado de discos administrados. Para obtener instrucciones sobre cómo utilizar una clave de los almacenes de Azure Key Vault, consulte Configuración de claves administradas por el cliente para discos administrados de Azure.
Importante
- Las claves administradas por el cliente para el almacenamiento en disco administrado se aplican a los discos de datos, pero no se aplican a los discos del sistema operativo (SO).
- Las claves administradas por el cliente para el almacenamiento en disco administrado no se aplican a los recursos de procesos sin servidor, como los almacenes de SQL sin servidor o el Servicio de modelos. Los discos que se usan para los recursos de procesos sin servidor duran poco y están vinculados al ciclo de vida de la carga de trabajo sin servidor. Cuando los recursos de procesos se detienen o se reducen verticalmente, se destruyen las máquinas virtuales y su almacenamiento.
Requisitos
El área de trabajo de Azure Databricks debe estar en el plan Premium.
Si desea habilitar la rotación automática, solo se admiten claves RSA-HSM de tamaños de 2048 bits, 3072 bits y 4096 bits.
Esta característica no es compatible con las áreas de trabajo que deban cumplir con el FedRAMP. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información.
Para usar la CLI de Azure para estas tareas, instale la herramienta CLI de Azure e instale la extensión de Databricks:
az extension add --name databricks
Para usar PowerShell para estas tareas, instale Azure PowerShell e instale el módulo de PowerShell para Databricks. También debe iniciar sesión:
Connect-AzAccount
Para iniciar sesión en su cuenta de Azure como usuario, consulte Inicio de sesión de PowerShell con una cuenta de usuario de Azure Databricks. Para iniciar sesión en su cuenta de Azure como entidad de servicio, consulte Inicio de sesión de PowerShell con entidades de servicio de Microsoft Entra ID.
Paso 1: Crear un HSM administrado de Azure Key Vault y una clave HSM
Puede usar un HSM administrado de Azure Key Vault existente o crear y activar uno nuevo después de los inicios rápidos de la documentación de HSM administrado. Consulte Inicio rápido: Aprovisionamiento y activación de un HSM administrado mediante la CLI de Azure. El HSM administrado de Azure Key Vault debe tener habilitada la protección de purga.
Para crear una clave HSM, siga Crear una clave HSM.
Paso 2: Detener todos los recursos de proceso
Finalice todos los recursos de proceso (clústeres, grupos y almacenes de SQL) en el área de trabajo.
Paso 3: crear o actualizar un área de trabajo
Puede crear o actualizar un área de trabajo con una clave administrada por el cliente para las claves administrados, mediante Azure Portal, la CLI de Azure o Azure PowerShell.
Uso de Azure Portal
En esta sección se describe cómo usar Azure Portal para crear o actualizar un área de trabajo con claves administradas por el cliente para discos administrados.
Empiece a crear o actualizar un área de trabajo:
Cree una nueva área de trabajo con una clave:
- Vaya a la Página principal de Azure Portal y haga clic en Crear un recurso en la esquina superior izquierda de la página.
- En la barra de búsqueda, escriba
Azure Databricks
y haga clic en Azure Databricks. - Seleccione Crear desde el widget de Azure Databricks.
- Escriba valores en los campos de formulario de las pestañas Aspectos básicos y Redes.
- En la pestaña Cifrado, active la casilla Usar su propia clave en la sección Discos administrados.
Inicialmente, agregue una clave a un área de trabajo existente:
- Vaya a la página principal de Azure Portal para Azure Databricks.
- Vaya al área de trabajo de Azure Databricks existente.
- Abra la pestaña Cifrado en el panel izquierdo.
- En la sección Claves administradas por el cliente, habilite Discos administrados.
Establezca los campos de cifrado.
- En el campo Identificador de clave, pega el identificador de clave de la clave de HSM administrado.
- En la lista desplegable Suscripción, escribe el nombre de la suscripción de la clave HSM administrada.
- Para habilitar la rotación automática de la clave, habilite Habilitar la rotación automática de la clave.
Complete las pestañas restantes y haga clic en Revisar y crear (para una nueva área de trabajo) o Guardar (para actualizar un área de trabajo).
Una vez que se implemente el área de trabajo, vaya a la nueva área de trabajo de Azure Databricks.
En la pestaña Información general del área de trabajo de Azure Databricks, seleccione Grupo de recursos administrados.
En la pestaña Información general del grupo de recursos administrados, busque el objeto de tipo Conjunto de cifrado de disco que se creó en este grupo de recursos. Copie el nombre de ese conjunto de cifrado de disco.
Uso de la CLI de Azure
Para las áreas de trabajo nuevas y actualizadas, agregue estos parámetros al comando:
disk-key-name
: nombre del HSM administradodisk-key-vault
: URI del HSM administradodisk-key-version
: versión de HSM administrada. Use la versión de clave específica y nolatest
.disk-key-auto-rotation
: habilitar la rotación automática de la clave (true
ofalse
). Este campo es opcional. El valor predeterminado esfalse
.
Cree o actualice un área de trabajo:
Ejemplo de creación de un área de trabajo mediante estos parámetros de disco administrado:
az databricks workspace create --name <workspace-name> \ --resource-group <resource-group-name> \ --location <location> \ --sku premium --disk-key-name <hsm-name> \ --disk-key-vault <hsm-uri> \ --disk-key-version <hsm-version> \ --disk-key-auto-rotation <true-or-false>
Ejemplo de actualización de un área de trabajo mediante estos parámetros de disco administrado:
az databricks workspace update \ --name <workspace-name> \ --resource-group <resource-group-name> \ --disk-key-name <hsm-name> \ --disk-key-vault <hsm-uri> \ --disk-key-version <hsm-version> \ --disk-key-auto-rotation <true-or-false>
En la salida de cualquiera de estos comandos, hay un objeto
managedDiskIdentity
. Guarde el valor de la propiedadprincipalId
dentro de este objeto. Se usa en un paso posterior como identificador de entidad de seguridad.
Uso de PowerShell
Para las áreas de trabajo nuevas y actualizadas, agregue estos parámetros al comando:
location
: Ubicación del área de trabajoManagedDiskKeyVaultPropertiesKeyName
: nombre del HSM administradoManagedDiskKeyVaultPropertiesKeyVaultUri
: URI del HSM administradoManagedDiskKeyVaultPropertiesKeyVersion
: versión de HSM administrada. Use la versión de clave específica y nolatest
.ManagedDiskRotationToLatestKeyVersionEnabled
: habilitar la rotación automática de la clave (true
ofalse
). Este campo es opcional. El valor predeterminado es false.
- Cree o actualice un área de trabajo:
Ejemplo de creación de un área de trabajo mediante parámetros de disco administrado:
$workspace = New-AzDatabricksWorkspace -Name <workspace-name> \ -ResourceGroupName <resource-group-name> \ -location <location> \ -Sku premium \ -ManagedDiskKeyVaultPropertiesKeyName <key-name> \ -ManagedDiskKeyVaultPropertiesKeyVaultUri <hsm-uri> \ -ManagedDiskKeyVaultPropertiesKeyVersion <key-version> -ManagedDiskRotationToLatestKeyVersionEnabled
Ejemplo de actualización de un área de trabajo mediante parámetros de disco administrado:
$workspace = Update-AzDatabricksworkspace -Name <workspace-name> \ -ResourceGroupName <resource-group-name> \ -ManagedDiskKeyVaultPropertiesKeyName <key-name> \ -ManagedDiskKeyVaultPropertiesKeyVaultUri <hsm-uri> \ -ManagedDiskKeyVaultPropertiesKeyVersion <key-version> -ManagedDiskRotationToLatestKeyVersionEnabled
Paso 4: Configurar la asignación de roles de HSM administrado
Configure una asignación de roles para el HSM administrado de Key Vault para que el área de trabajo de Azure Databricks tenga permiso para acceder a él. Puede configurar una asignación de roles mediante Azure Portal, la CLI de Azure o PowerShell.
Uso de Azure Portal
- Vaya a su recurso HSM administrado en Azure Portal.
- En el menú de la izquierda, en Configuración, seleccione RBAC local.
- Haga clic en Agregar.
- En el campo Rol, seleccione Usuario de cifrado del servicio criptográfico de HSM administrado.
- En el campo Ámbito, elija
All keys (/)
. - En el campo Entidad de seguridad, escriba el nombre del conjunto de cifrado de disco dentro del grupo de recursos administrados del área de trabajo de Azure Databricks en la barra de búsqueda. Seleccione el resultado.
- Haga clic en Crear.
Uso de CLI de Azure
Configure la asignación de roles de HSM administrado. Reemplace <hsm-name>
por el nombre del HSM administrado y reemplace <principal-id>
por el identificador principalId del managedDiskIdentity
del paso anterior.
az keyvault role assignment create --role "Managed HSM Crypto Service Encryption User"
--scope "/" --hsm-name <hsm-name>
--assignee-object-id <principal-id>
Uso de Azure PowerShell
Reemplace <hsm-name>
por el nombre de HSM administrado.
New-AzKeyVaultRoleAssignment -HsmName <hsm-name> \
-RoleDefinitionName "Managed HSM Crypto Service Encryption User" \
-ObjectId $workspace.ManagedDiskIdentityPrincipalId
Paso 5: iniciar los recursos de proceso terminados previamente
- Asegúrese de que la actualización del área de trabajo está completa. Si la clave era el único cambio en la plantilla, normalmente se completa en menos de cinco minutos; de lo contrario, podría tardar más tiempo.
- Inicie manualmente los recursos de proceso que haya terminado anteriormente.
Si los recursos de proceso no se inician correctamente, normalmente se debe a que necesita conceder permiso al conjunto de cifrado de disco para acceder a Key Vault.
Rotación de la clave en un momento posterior
Hay dos tipos de rotaciones de claves en un área de trabajo existente que ya tiene una clave:
- Rotación automática: si
rotationToLatestKeyVersionEnabled
estrue
para el área de trabajo, el conjunto de cifrado de disco detecta el cambio de versión de la clave y apunta a la versión más reciente de la clave. - Rotación manual: puede actualizar un área de trabajo de clave administrada por el cliente del disco administrado existente con una nueva clave. Siga las instrucciones anteriores como si inicialmente agregara una clave al área de trabajo existente.