Requisitos previos de recursos

Importante

Azure HDInsight en AKS se retiró el 31 de enero de 2025. Descubra más con este anuncio.

Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y siganos para obtener más actualizaciones sobre comunidad de Azure HDInsight.

En este artículo se detallan los recursos necesarios para empezar a trabajar con HDInsight en AKS. Trata los recursos necesarios y opcionales y cómo crearlos.

Recursos necesarios

En la tabla siguiente se muestran los recursos necesarios necesarios para la creación del clúster en función de los tipos de clúster.

Carga de trabajo	Managed Service Identity (MSI)	Almacenamiento	SQL Server: SQL Database	Key Vault
Trino	✅
Flink	✅	✅
Chispa	✅	✅
Trino, Flink o Spark con Metastore de Hive (HMS)	✅	✅	✅	✅

Nota

MSI se usa como estándar de seguridad para la autenticación y autorización entre recursos, excepto SQL Database. La asignación de roles se produce antes de la implementación para autorizar MSI al almacenamiento y los secretos se almacenan en Key Vault para SQL Database. La compatibilidad con el almacenamiento es con ADLS Gen2 y se usa como almacén de datos para los motores de proceso y SQL Database se usa para la administración de tablas en Metastore de Hive.

Recursos opcionales

• Red virtual (VNet) y subred: Crear red virtual
• Área de trabajo de Log Analytics: Crear área de trabajo de Log Analytics

Nota

• La red virtual requiere subred sin ninguna tabla de rutas existente asociada.
• HDInsight en AKS le permite traer su propia red virtual y subred, lo que le permite personalizar los requisitos de red de para satisfacer las necesidades de su empresa.
• El área de trabajo de Log Analytics es opcional y debe crearse con antelación en caso de que quiera usar funcionalidades de Azure Monitor, como Azure Log Analytics.

Puede crear los recursos necesarios de dos maneras:

• plantillas de ARM listas para usar
• usando el portal de Azure

Uso de plantillas de ARM

Las siguientes plantillas de ARM permiten crear los recursos necesarios especificados, en un solo clic con un prefijo de recurso y más detalles según sea necesario.

Por ejemplo, si proporciona el prefijo de recurso como "demostración", los siguientes recursos se crean en el grupo de recursos en función de la plantilla que seleccione:

• MSI se crea con el nombre como demoMSI.
• El almacenamiento se crea con el nombre como demostore junto con un contenedor como democontainer.
• Key Vault se crea con el nombre como demoKeyVault junto con el secreto proporcionado como parámetro en la plantilla.
• Azure SQL Database se crea con el nombre como demoSqlDB junto con SQL Server con el nombre como demoSqlServer.

Carga de trabajo	Prerrequisitos
Trino	Crear los recursos mencionados de la siguiente manera: 1. Managed Service Identity (MSI): identidad administrada asignada por el usuario.
Flink	Crear los recursos mencionados de la siguiente manera: 1. Managed Service Identity (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. Asignaciones de roles: 1. Asigna el rol "Propietario de datos de Storage Blob" a MSI asignado por el usuario en la cuenta de almacenamiento.
Chispa	Crear los recursos mencionados de la siguiente manera: 1. Managed Service Identity (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. Asignaciones de roles: 1. Asigna el rol "Propietario de datos de Storage Blob" a MSI asignado por el usuario en la cuenta de almacenamiento.
Trino, Flink o Spark con Metastore de Hive (HMS)	Crear los recursos mencionados de la siguiente manera: 1. Managed Service Identity (MSI): identidad administrada asignada por el usuario. 2. Cuenta de almacenamiento de ADLS Gen2 y un contenedor. 3. Azure SQL Server y SQL Database. 4. Azure Key Vault y un secreto para almacenar las credenciales de administrador de SQL Server. Asignaciones de roles: 1. Asigna el rol de "Propietario de datos de Storage Blob" a la MSI asignada por el usuario en la cuenta de almacenamiento. 2. Asigna el rol "Usuario de secretos de Key Vault" a MSI asignado por el usuario en Key Vault.

Nota

El uso de estas plantillas de ARM requiere que un usuario tenga permiso para crear nuevos recursos y asignar roles a los recursos de la suscripción.

Uso de Azure Portal

Crear una identidad administrada asignada por el usuario (MSI)

Una identidad administrada es una identidad registrada en microsoft Entra ID (Id. de Microsoft Entra) cuyas credenciales administra Azure. Con las identidades administradas, no es necesario registrar entidades de servicio en el identificador de Microsoft Entra para mantener credenciales como certificados.

HDInsight en AKS se basa en MSI asignada por el usuario para la comunicación entre distintos componentes.

Crear cuenta de almacenamiento: ADLS Gen 2

La cuenta de almacenamiento se usa como ubicación predeterminada para los registros del clúster y otras salidas. Habilite el espacio de nombres jerárquico durante la creación de la cuenta de almacenamiento para usarlo como almacenamiento de ADLS Gen2.

1. Asignar un rol: Asignar el rol "Propietario de Datos de Blob de Almacenamiento" al MSI asignado por el usuario creado para esta cuenta de almacenamiento.

2. Crear un contenedor: después de crear la cuenta de almacenamiento, cree un contenedor en la cuenta de almacenamiento.

Nota

La opción para crear un contenedor durante la creación del clúster también está disponible.

Crear una base de datos SQL de Azure

Cree una instancia de Azure SQL Database que se usará como metastore externo durante la creación del clúster o puede usar una instancia de SQL Database existente. Sin embargo, asegúrese de que estén establecidas las siguientes propiedades.

Propiedades necesarias que se habilitarán para SQL Server y SQL Database-

Tipo de recurso	Propiedad	Descripción
SQL Server	Método de autenticación	Al crear una instancia de SQL Server, use "Método de autenticación" como
Base de Datos SQL	Permitir que los servicios y recursos de Azure accedan a este servidor	Habilite esta propiedad en la hoja Redes de la base de datos SQL en Azure Portal.

Nota

• Actualmente, solo se admite Azure SQL Database como metastore incorporado.
• Debido a la limitación de Hive, no se admite el carácter "-" (guion) en el nombre de la base de datos de metastore.
• Azure SQL Database debe estar en la misma región que el clúster.
• También está disponible la opción para crear una instancia de SQL Database durante la creación del clúster. Sin embargo, debe actualizar la página de creación del clúster para que aparezca la base de datos recién creada en la lista desplegable.

Creación de de Azure Key Vault

Key Vault permite almacenar la contraseña de administrador de SQL Server establecida durante la creación de SQL Database. HDInsight no gestiona directamente las credenciales en la plataforma de AKS. Por lo tanto, es necesario almacenar las credenciales importantes en Key Vault.

1. Asignar un rol: asigne el rol "Usuario de secretos de Key Vault" al MSI asignado por el usuario creado como parte de los recursos necesarios para este Key Vault.

2. Crear un secreto: este paso le permite mantener la contraseña de administrador de SQL Server como un secreto en Azure Key Vault. Agregue la contraseña en el campo "Valor" al crear un secreto.

Nota

• Asegúrese de anotar el nombre del secreto, ya que esto es necesario durante la creación del clúster.
• Debe tener asignado un rol "Administrador de Key Vault" a su identidad o cuenta para agregar un secreto en Key Vault mediante Azure Portal. Acceda a Key Vault y siga los pasos indicados en el para asignar el rol.