Configuración de los clústeres de macrodatos después de la implementación
Se aplica a: SQL Server 2019 (15.x)
Importante
El complemento Clústeres de macrodatos de Microsoft SQL Server 2019 se va a retirar. La compatibilidad con Clústeres de macrodatos de SQL Server 2019 finalizará el 28 de febrero de 2025. Todos los usuarios existentes de SQL Server 2019 con Software Assurance serán totalmente compatibles con la plataforma, y el software se seguirá conservando a través de actualizaciones acumulativas de SQL Server hasta ese momento. Para más información, consulte la entrada de blog sobre el anuncio y Opciones de macrodatos en la plataforma Microsoft SQL Server.
La configuración del ámbito del clúster, el servicio y el recurso para Clústeres de macrodatos de SQL Server se puede configurar después de la implementación mediante la CLI de azdata
. Esta funcionalidad permite a los administradores de Clústeres de macrodatos de SQL Server ajustar las configuraciones para cumplir siempre los requisitos de la carga de trabajo. En este artículo se tratan escenarios de ejemplo sobre cómo configurar los requisitos de zona horaria y carga de trabajo de Spark. La funcionalidad de configuración posterior a la implementación sigue un flujo de establecimiento, comparación y aplicación.
Nota
La configuración posterior a la implementación solo está disponible en Clústeres de macrodatos de SQL Server CU9 y versiones posteriores. Además, no incluye la configuración de escalado, almacenamiento o puntos de conexión. Clústeres de macrodatos de SQL ServerAquí encontrará opciones e instrucciones para configurar versiones de anteriores a CU9.
Escenario paso a paso: configuración de la zona horaria en Clústeres de macrodatos de SQL Server
A partir de Clústeres de macrodatos de SQL Server CU13, es posible personalizar la configuración de zona horaria del clúster, por lo que las marcas de tiempo de los servicios se alinean con la zona horaria seleccionada. La configuración no se aplica al plano de control del clúster de macrodatos, establece la nueva configuración de zona horaria para todos los grupos de SQL Server (maestro, proceso y datos), componentes de Hadoop y Spark.
Nota
De forma predeterminada, Clústeres de macrodatos de SQL Server establece UTC como la zona horaria.
Use el comando siguiente para establecer la configuración de zona horaria:
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
Aplicación de las configuraciones pendientes en el clúster
El comando siguiente aplicará la configuración y reiniciará todos los servicios. Revise las últimas secciones de este artículo sobre cómo realizar un seguimiento de los cambios y controlar el proceso de configuración.
azdata bdc settings apply
Escenario paso a paso: configuración del clúster para cumplir los requisitos de las cargas de trabajo de Spark
Visualización de las configuraciones actuales del servicio Spark de clústeres de macrodatos
En el ejemplo siguiente se muestra cómo ver los valores de configuración del servicio Spark configurados por el usuario. Puede ver todos los valores de configuración posibles, los valores administrados por el sistema y todos los valores configurables, así como los cambios de configuración pendientes mediante parámetros opcionales. Para obtener más información, consulte el artículo sobre la instrucción azdata bdc spark
.
azdata bdc spark settings show
Salida de ejemplo
Servicio Spark.
Parámetro | Valor actual |
---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Cambio del número predeterminado de núcleos y de la memoria predeterminada del controlador de Spark
Actualice el número predeterminado de núcleos a dos y la memoria predeterminada a 7424 MB para el servicio Spark. Esto afecta a todos los recursos con Spark, para el servicio Spark.
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
Cambio del número predeterminado de núcleos y de la memoria predeterminada de los ejecutores de Spark en el bloque de almacenamiento
Actualice el número predeterminado de núcleos de los ejecutores a 4 para el bloque de almacenamiento.
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Configuración de rutas de acceso adicionales a la ruta de acceso de clase predeterminada de las aplicaciones Spark
La ruta de acceso /opt/hadoop/share/hadoop/tools/lib/
contiene varias bibliotecas que las aplicaciones Spark usarán, pero la ruta de acceso a la que se hace referencia no se carga de forma predeterminada en la ruta de acceso de clase de las aplicaciones Spark. Para habilitar esta configuración, aplique el patrón de configuración siguiente.
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
Visualización de los cambios de configuración pendientes almacenados provisionalmente en el clúster de macrodatos
Vea los cambios de configuración pendientes para el servicio Spark únicamente y en todo el clúster de macrodatos.
Cambios de configuración pendientes del servicio Spark
azdata bdc spark settings show --filter-option=pending --include-details
Servicio Spark
Parámetro | Valor actual | Valor configurado | Configurable | Configurado | Última actualización |
---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Todos los cambios de configuración pendientes
azdata bdc settings show --filter-option=pending --include-details --recursive
Cambios de configuración pendientes del servicio Spark
Parámetro | Valor actual | Valor configurado | Configurable | Configurado | Última actualización |
---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Cambios de configuración pendientes del recurso storage-0 de Spark
Parámetro | Valor actual | Valor configurado | Configurable | Configurado | Última actualización |
---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
Aplicación de las configuraciones pendientes en el clúster de macrodatos
azdata bdc settings apply
Supervisión del estado de la actualización de la configuración
azdata bdc status show
Pasos opcionales
Reversión de las configuraciones pendientes
Si determina que ya no quiere cambiar las configuraciones pendientes, puede dejar de almacenarlas provisionalmente. Esto revertirá las configuraciones pendientes en todos los ámbitos.
azdata bdc settings revert
Anulación de la actualización de la configuración
Si se produce un error en la actualización de la configuración para cualquiera de los componentes, puede cancelar el proceso de actualización y revertir el clúster a sus configuraciones anteriores. Las configuraciones almacenadas provisionalmente durante la actualización se volverán a mostrar como configuraciones pendientes.
azdata bdc settings cancel-apply