Configuración de la conectividad privada desde un proceso sin servidor

En este artículo se describe cómo configurar la conectividad privada desde un proceso sin servidor mediante la interfaz de usuario de la consola de la cuenta de Azure Databricks. También puede usar la API de configuraciones de conectividad de red.

Si configura el recurso de Azure para que solo acepte conexiones de puntos de conexión privados, cualquier conexión al recurso de los recursos de proceso clásicos de Databricks también debe usar puntos de conexión privados.

A fin de configurar un firewall de Azure Storage para el acceso de proceso sin servidor mediante subredes, consulte en su lugar Configuración de un firewall para el acceso de proceso sin servidor. Para administrar las reglas de punto de conexión privado existentes, consulte Administración de reglas de punto de conexión privado.

Importante

A partir del 4 de diciembre de 2024, Databricks comenzará a cobrar los costos de red en cargas de trabajo sin servidor que se conectan a recursos externos. La facturación se implementará gradualmente y es posible que no se le cobre hasta el 4 de diciembre de 2024. No se le cobrará retroactivamente por el uso antes de habilitar la facturación. Una vez habilitada la facturación, es posible que se le cobre por:

• Conectividad privada a los recursos a través de Private Link. Los cargos de procesamiento de datos por la conectividad privada a los recursos a través de Private Link se renuncian indefinidamente. Se aplicarán cargos por hora.
• Conectividad pública a los recursos a través de la puerta de enlace NAT.
• Cargos de transferencia de datos en los que se incurre, como cuando el proceso sin servidor y el recurso de destino se encuentran en regiones diferentes.

Introducción a la conectividad privada desde un proceso sin servidor

La conectividad de red sin servidor se administra con configuraciones de conectividad de red (NCC). Los administradores de cuentas crean NCC en la consola de la cuenta y una NCC se puede asociar a una o varias áreas de trabajo

Cuando se agrega un punto de conexión privado en una NCC, Azure Databricks crea una solicitud de punto de conexión privado al recurso de Azure. Una vez aceptada la solicitud en el lado del recurso, el punto de conexión privado se usa para acceder a los recursos desde el plano de proceso sin servidor. El punto de conexión privado está dedicado a la cuenta de Azure Databricks y solo es accesible desde áreas de trabajo autorizadas.

Los puntos de conexión privados de NCC se admiten desde almacenes de SQL, trabajos, cuadernos, tablas dinámicas delta y puntos de conexión de servicio de modelos.

Nota:

Los puntos de conexión privados de NCC solo se admiten para los orígenes de datos que administra. Para la conexión a la cuenta de almacenamiento del área de trabajo, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Nota:

El servicio de modelos usa la ruta de acceso de Azure Blob Storage para descargar artefactos de modelo, por lo que debe crear un punto de conexión privado para el blob de identificador de subrecurso. Necesitará DFS para registrar modelos en el catálogo de Unity desde cuadernos sin servidor.

Para más información sobre las NCC, vea ¿Qué es una configuración de conectividad de red (NCC)?.

Requisitos

• El área de trabajo debe estar en el plan Premium.
• Debe ser administrador de la cuenta de Azure Databricks.
• Cada cuenta de Azure Databricks puede tener hasta 10 NCC por región.
• Cada región puede tener 100 puntos de conexión privados, distribuidos según sea necesario en 1-10 NCC.
• Cada NCC se puede asociar a un máximo de 50 áreas de trabajo.

Paso 1: Creación de una configuración de conectividad de red

Databricks recomienda compartir una NCC entre áreas de trabajo de la misma unidad de negocio y aquellas que comparten las mismas propiedades de conectividad y la misma región. Por ejemplo, si algunas áreas de trabajo usan Private Link y otras la habilitación de firewall, utilice NCC independientes para esos casos de uso.

1. Como administrador de la cuenta, vaya a la consola de la cuenta.
2. En la barra lateral, haga clic en Recursos de nube.
3. Haga clic en Configuraciones de conectividad de red.
4. Haga clic en Agregar configuración de conectividad de red.
5. Escriba un nombre para la NCC.
6. Elija la región. Debe coincidir con la región del área de trabajo.
7. Haga clic en Agregar.

Paso 2: Anexión de una NCC a un área de trabajo

1. En la barra lateral de la consola de la cuenta, haga clic en Áreas de trabajo.
2. Haga clic en el nombre del área de trabajo.
3. Haga clic en Actualizar área de trabajo.
4. En el campo Configuración de conectividad de red, seleccione el NCC. Si no es visible, confirme que ha seleccionado la misma región de Azure para el área de trabajo y la NCC.
5. Haga clic en Update(Actualizar).
6. Espere 10 minutos para que el cambio surta efecto.
7. Reinicie los servicios sin servidor en ejecución en el área de trabajo.

Paso 3: Crear puntos de conexión privados

Debe crear una regla de punto de conexión privado en la NCC para cada recurso de Azure.

1. Obtenga una lista de identificadores de recursos de Azure para todos los destinos.
   1. En otra pestaña del explorador, use Azure Portal para ir a los servicios de Azure del origen de datos.
   2. En su página de información general, busque en la sección Información esencial.
   3. Haga clic en el botón Vista JSON. El identificador de recurso del servicio se muestra en la parte superior de la página.
   4. Copie ese identificador de recurso en otra ubicación. Repita el proceso para todos los destinos. Para más información sobre cómo buscar el identificador de recurso, consulte Valores de zona DNS privada del punto de conexión privado de Azure.
2. Vuelva a la pestaña del explorador de la consola de la cuenta.
3. En la barra lateral, haga clic en Recursos de nube.
4. Haga clic en Configuraciones de conectividad de red.
5. Seleccione la NCC que ha creado en el paso 1.
6. Seleccione Reglas de punto de conexión privado y haga clic en Agregar regla de punto de conexión privado.
7. En el campo Identificador de recurso de Azure de destino, pegue el identificador del recurso.
8. En el campo Identificador de subrecurso de Azure, especifique el identificador de destino y el tipo de subrecurso. Cada regla de punto de conexión privado debe usar un identificador de subrecurso diferente. Para obtener una lista de los tipos de subrecursos admitidos, consulte Disponibilidad de Azure Private Link.
9. Haga clic en Agregar.
10. Espere unos minutos hasta que todas las reglas de punto de conexión tengan el estado PENDING.

Paso 4: Aprobar los nuevos puntos de conexión privados en los recursos

Los puntos de conexión no surten efecto hasta que un administrador con derechos en el recurso apruebe el nuevo punto de conexión privado. Para aprobar un punto de conexión privado mediante Azure Portal, siga estos pasos:

1. En Azure Portal, vaya a su recurso.

2. En la barra lateral, haga clic en Redes.

3. Haga clic en Conexiones del punto de conexión privado.

4. Haga clic en la pestaña Acceso privado.

5. En Conexiones del punto de conexión privado, revise la lista de puntos de conexión privados.

6. Haga clic en la casilla situada junto a cada una para aprobarla y haga clic en el botón Aprobar situado encima de la lista.

7. Vuelva a la NCC en Azure Databricks y actualice la página del explorador hasta que todas las reglas de punto de conexión tengan el estado ESTABLISHED.

   

(Opcional) Paso 5: Establecimiento de la cuenta de almacenamiento para no permitir el acceso a la red pública

Si aún no ha limitado el acceso a la cuenta de almacenamiento de Azure para permitir solo las redes incluidas en la lista de permitidos, puede elegir hacerlo.

1. Vaya a Azure Portal.
2. Vaya a la cuenta de almacenamiento para el origen de datos.
3. En la barra lateral, haga clic en Redes.
4. En el campo Acceso a la red pública, compruebe el valor. De manera predeterminada, el valor es Habilitado desde todas las redes. Cámbielo a Deshabilitado.

Paso 6: Reiniciar los recursos del plano de proceso sin servidor y probar la conexión

1. Después del paso anterior, espere cinco minutos adicionales para que los cambios se propaguen.
2. Reinicie los recursos del plano de proceso sin servidor en ejecución en las áreas de trabajo a las que está asociado el NCC. Si no tiene ningún recurso de plano de proceso sin servidor en ejecución, inicie uno ahora.
3. Confirme que todos los recursos se inician correctamente.
4. Ejecute al menos una consulta en el origen de datos para confirmar que el almacén SQL sin servidor puede llegar al origen de datos.