Clústeres de Microsoft.HDInsightpools/clusters 2023-11-01-preview
- más reciente
- 2024-05-01-preview
- 2023-11-01-preview
- 2023-06-01-preview
Definición de recursos de Bicep
El tipo de recurso clusterpools/clusters se puede implementar con operaciones destinadas a:
- grupos de recursos: consulte comandos de implementación de grupos de recursos
Para obtener una lista de las propiedades modificadas en cada versión de API, consulte registro de cambios.
Formato de recurso
Para crear un recurso Microsoft.HDInsight/clusterpools/clusters, agregue el siguiente bicep a la plantilla.
resource symbolicname 'Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview' = {
parent: resourceSymbolicName
location: 'string'
name: 'string'
properties: {
clusterProfile: {
authorizationProfile: {
groupIds: [
'string'
]
userIds: [
'string'
]
}
autoscaleProfile: {
autoscaleType: 'string'
enabled: bool
gracefulDecommissionTimeout: int
loadBasedConfig: {
cooldownPeriod: int
maxNodes: int
minNodes: int
pollInterval: int
scalingRules: [
{
actionType: 'string'
comparisonRule: {
operator: 'string'
threshold: int
}
evaluationCount: int
scalingMetric: 'string'
}
]
}
scheduleBasedConfig: {
defaultCount: int
schedules: [
{
count: int
days: [
'string'
]
endTime: 'string'
startTime: 'string'
}
]
timeZone: 'string'
}
}
clusterAccessProfile: {
enableInternalIngress: bool
}
clusterVersion: 'string'
flinkProfile: {
catalogOptions: {
hive: {
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
}
}
deploymentMode: 'string'
historyServer: {
cpu: int
memory: int
}
jobManager: {
cpu: int
memory: int
}
jobSpec: {
args: 'string'
entryClass: 'string'
jarName: 'string'
jobJarDirectory: 'string'
savePointName: 'string'
upgradeMode: 'string'
}
numReplicas: int
storage: {
storagekey: 'string'
storageUri: 'string'
}
taskManager: {
cpu: int
memory: int
}
}
identityProfile: {
msiClientId: 'string'
msiObjectId: 'string'
msiResourceId: 'string'
}
kafkaProfile: {
diskStorage: {
dataDiskSize: int
dataDiskType: 'string'
}
enableKRaft: bool
enablePublicEndpoints: bool
remoteStorageUri: 'string'
}
llapProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
logAnalyticsProfile: {
applicationLogs: {
stdErrorEnabled: bool
stdOutEnabled: bool
}
enabled: bool
metricsEnabled: bool
}
ossVersion: 'string'
prometheusProfile: {
enabled: bool
}
rangerPluginProfile: {
enabled: bool
}
rangerProfile: {
rangerAdmin: {
admins: [
'string'
]
database: {
host: 'string'
name: 'string'
passwordSecretRef: 'string'
username: 'string'
}
}
rangerAudit: {
storageAccount: 'string'
}
rangerUsersync: {
enabled: bool
groups: [
'string'
]
mode: 'string'
userMappingLocation: 'string'
users: [
'string'
]
}
}
scriptActionProfiles: [
{
name: 'string'
parameters: 'string'
services: [
'string'
]
shouldPersist: bool
timeoutInMinutes: int
type: 'string'
url: 'string'
}
]
secretsProfile: {
keyVaultResourceId: 'string'
secrets: [
{
keyVaultObjectName: 'string'
referenceName: 'string'
type: 'string'
version: 'string'
}
]
}
serviceConfigsProfiles: [
{
configs: [
{
component: 'string'
files: [
{
content: 'string'
encoding: 'string'
fileName: 'string'
path: 'string'
values: {
{customized property}: 'string'
}
}
]
}
]
serviceName: 'string'
}
]
sparkProfile: {
defaultStorageUrl: 'string'
metastoreSpec: {
dbConnectionAuthenticationMode: 'string'
dbName: 'string'
dbPasswordSecretName: 'string'
dbServerHost: 'string'
dbUserName: 'string'
keyVaultId: 'string'
thriftUrl: 'string'
}
userPluginsSpec: {
plugins: [
{
path: 'string'
}
]
}
}
sshProfile: {
count: int
}
stubProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
trinoProfile: {
catalogOptions: {
hive: [
{
catalogName: 'string'
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
metastoreWarehouseDir: 'string'
}
]
}
coordinator: {
debug: {
enable: bool
port: int
suspend: bool
}
highAvailabilityEnabled: bool
}
userPluginsSpec: {
plugins: [
{
enabled: bool
name: 'string'
path: 'string'
}
]
}
userTelemetrySpec: {
storage: {
hivecatalogName: 'string'
hivecatalogSchema: 'string'
partitionRetentionInDays: int
path: 'string'
}
}
worker: {
debug: {
enable: bool
port: int
suspend: bool
}
}
}
}
clusterType: 'string'
computeProfile: {
nodes: [
{
count: int
type: 'string'
vmSize: 'string'
}
]
}
}
tags: {
{customized property}: 'string'
}
}
Valores de propiedad
AuthorizationProfile
Nombre | Descripción | Valor |
---|---|---|
groupIds | Identificadores de grupo de AAD autorizados para el acceso al plano de datos. | string[] |
userIds | Identificadores de usuario de AAD autorizados para el acceso al plano de datos. | string[] |
Escalado automáticoProfile
Nombre | Descripción | Valor |
---|---|---|
autoscaleType | Usuario para especificar qué tipo de escalado automático se va a implementar: basado en programación o basado en carga. | 'LoadBased' 'ScheduleBased' |
Habilitado | Esto indica si la escala automática está habilitada en HDInsight en el clúster de AKS. | bool (obligatorio) |
gracefulDecommissionTimeout | Esta propiedad es para tiempo de espera de retirada correcto; Tiene una configuración predeterminada de 3600 segundos antes de que se produzca el apagado forzado. Este es el tiempo máximo para esperar a que se completen los contenedores y las aplicaciones en ejecución antes de realizar la transición de un nodo DECOMMISSIONING a DECOMMISSIONED. El valor predeterminado es 3600 segundos. El valor negativo (como -1) se controla como tiempo de espera infinito. | Int |
loadBasedConfig | Perfiles de escalabilidad automática basada en carga. | LoadBasedConfig |
scheduleBasedConfig | Perfiles de escalabilidad automática basada en programación. | ScheduleBasedConfig |
CatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opciones del catálogo de hive. | hiveCatalogOption [] |
ClusterAccessProfile
Nombre | Descripción | Valor |
---|---|---|
enableInternalIngress | Si se va a crear un clúster mediante una dirección IP privada en lugar de una dirección IP pública. Esta propiedad debe establecerse en tiempo de creación. | bool (obligatorio) |
ClusterConfigFile
ClusterConfigFileValues
Nombre | Descripción | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Nombre | Descripción | Valor |
---|---|---|
stdErrorEnabled | True si stderror está habilitado; de lo contrario, false. | Bool |
stdOutEnabled | True si stdout está habilitado; de lo contrario, false. | Bool |
ClusterLogAnalyticsProfile
Nombre | Descripción | Valor |
---|---|---|
applicationLogs | Recopilación de registros que se van a habilitar o deshabilitar para Log Analytics. | ClusterLogAnalyticsApplicationLogs |
Habilitado | True si Log Analytics está habilitado para el clúster; de lo contrario, false. | bool (obligatorio) |
metricsEnabled | True si las métricas están habilitadas; de lo contrario, false. | Bool |
ClusterProfile
Nombre | Descripción | Valor |
---|---|---|
authorizationProfile | Perfil de autorización con detalles de identificadores de usuario y identificadores de grupo de AAD autorizados para el acceso al plano de datos. | authorizationProfile (obligatorio) |
autoscaleProfile | Este es el perfil de escalado automático del clúster. Esto permitirá al cliente crear un clúster habilitado con escalabilidad automática. | AutoscaleProfile |
clusterAccessProfile | Perfil de acceso al clúster. | clusterAccessProfile de |
clusterVersion | Versión con 3/4 parte. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obligatorio) |
flinkProfile | Perfil de clúster de Flink. | FlinkProfile |
identityProfile | El clúster de Trino, Spark y Flink requieren esta propiedad, pero es opcional para el clúster de Kafka. | IdentityProfile |
kafkaProfile | Perfil de clúster de Kafka. | KafkaProfile |
llapProfile | Perfil de clúster de LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análisis de registros de clúster para habilitar o deshabilitar el agente de OMS para el clúster. | ClusterLogAnalyticsProfile |
ossVersion | Versión con tres partes. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obligatorio) |
prometheusProfile | Perfil de Prometheus del clúster. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil del complemento Cluster Ranger. | ClusterRangerPluginProfile |
rangerProfile | Perfil de clúster de ranger. | RangerProfile |
scriptActionProfiles | Lista de perfiles de acción de script. | scriptActionProfile[] |
secretsProfile | Perfil de secreto de clúster. | secretsProfile |
serviceConfigsProfiles | Perfiles de configuración del servicio. | clusterServiceConfigsProfile[] |
sparkProfile | El perfil del clúster de Spark. | SparkProfile |
sshProfile | Perfil ssh para el clúster. | SshProfile |
stubProfile | Perfil de clúster de código auxiliar. | ClusterProfileStubProfile |
trinoProfile | Perfil de clúster de Trino. | TrinoProfile |
ClusterProfileLlapProfile
Nombre | Descripción | Valor |
---|
ClusterProfileStubProfile
Nombre | Descripción | Valor |
---|
ClusterPrometheusProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Prometheus para el clúster o no. | bool (obligatorio) |
ClusterRangerPluginProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Ranger para el clúster o no. | bool (obligatorio) |
ClusterResourceProperties
ClusterServiceConfig
Nombre | Descripción | Valor |
---|---|---|
componente | Nombre del componente al que se deben aplicar los archivos de configuración. | string (obligatorio) |
Archivos | Lista de archivos de configuración. | ClusterConfigFile[] (obligatorio) |
ClusterServiceConfigsProfile
Nombre | Descripción | Valor |
---|---|---|
configs | Lista de configuraciones de servicio. | ClusterServiceConfig[] (obligatorio) |
serviceName | Nombre del servicio al que se deben aplicar las configuraciones. | string (obligatorio) |
ComparisonRule
Nombre | Descripción | Valor |
---|---|---|
operador | Operador de comparación. | 'greaterThan' 'greaterThanOrEqual' 'lessThan' 'lessThanOrEqual' (obligatorio) |
umbral | Valor de umbral. | int (obligatorio) |
ComputeProfile
Nombre | Descripción | Valor |
---|---|---|
Nodos | Definiciones de nodos. | NodeProfile [] (obligatorio) |
ComputeResourceDefinition
Nombre | Descripción | Valor |
---|---|---|
CPU | Cpu necesaria. | int (obligatorio) |
memoria | La memoria necesaria en MB, la memoria del contenedor será de 110 percentil. | int (obligatorio) |
DiskStorageProfile
Nombre | Descripción | Valor |
---|---|---|
dataDiskSize | Tamaño de disco administrado en GB. El tamaño máximo de disco admitido para HDD/SSD Estándar y Premium es de 32 TB, excepto ssd Premium v2, que admite hasta 64 TB. | int (obligatorio) |
dataDiskType | Tipo de disco administrado. | "Premium_SSD_LRS" "Premium_SSD_v2_LRS" "Premium_SSD_ZRS" "Standard_HDD_LRS" "Standard_SSD_LRS" 'Standard_SSD_ZRS' (obligatorio) |
FlinkCatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opción de catálogo de Hive para el clúster de Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
FlinkJobProfile
Nombre | Descripción | Valor |
---|---|---|
args | Propiedad de cadena que representa argumentos JVM adicionales para el trabajo de Flink. Debe ser un valor separado por espacio. | cuerda |
entryClass | Propiedad de cadena que especifica la clase de entrada para el trabajo de Flink. Si no se especifica, el punto de entrada se detecta automáticamente desde el paquete jar del trabajo flink. | cuerda |
jarName | Propiedad de cadena que representa el nombre del archivo JAR del trabajo. | string (obligatorio) |
jobJarDirectory | Propiedad de cadena que especifica el directorio donde se encuentra el archivo JAR del trabajo. | string (obligatorio) |
savePointName | Propiedad de cadena que representa el nombre del punto de guardado para el trabajo de Flink | cuerda |
upgradeMode | Propiedad de cadena que indica el modo de actualización que se va a realizar en el trabajo de Flink. Puede tener uno de los siguientes valores de enumeración => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | "LAST_STATE_UPDATE" "STATELESS_UPDATE" 'UPDATE' (obligatorio) |
FlinkProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Flink. | |
deploymentMode | Propiedad de cadena que indica el modo de implementación del clúster de Flink. Puede tener uno de los siguientes valores de enumeración => Application, Session. El valor predeterminado es Session | 'Aplicación' 'Sesión' |
historyServer | Requisitos de CPU y memoria del servidor de historial | ComputeResourceDefinition |
jobManager | Requisitos de CPU y memoria de proceso de Job Manager | computeResourceDefinition (obligatorio) |
jobSpec | Especificaciones de trabajo para clústeres de flink en modo de implementación de aplicaciones. La especificación es inmutable incluso si se cambian las propiedades del trabajo mediante una llamada a runJob API, use listJob API para obtener la información más reciente del trabajo. | FlinkJobProfile |
numReplicas | Número de administradores de tareas. | Int |
almacenamiento | El perfil de almacenamiento | FlinkStorageProfile (obligatorio) |
taskManager | Requisitos de CPU y memoria del contenedor o proceso del Administrador de tareas | computeResourceDefinition (obligatorio) |
FlinkStorageProfile
Nombre | Descripción | Valor |
---|---|---|
storagekey | La clave de almacenamiento solo es necesaria para el almacenamiento wasb(s). | cuerda Restricciones: Valor confidencial. Pase como parámetro seguro. |
storageUri | URI de la cuenta de almacenamiento que se usa para el estado de punto de comprobación y de punto de comprobación. | cuerda Restricciones: Patrón = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obligatorio) |
HiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
catalogName | Nombre del catálogo de trino que debe usar el metastore de Hive especificado. | cuerda Restricciones: Longitud mínima = 1 (obligatorio) |
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
metastoreWarehouseDir | URI del directorio raíz de metastore, formato: abfs[s]://<contenedor>@<account_name>ruta de acceso .dfs.core.windows.net/<>. Más detalles: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obligatorio) |
IdentityProfile
Nombre | Descripción | Valor |
---|---|---|
msiClientId | ClientId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiObjectId | ObjectId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiResourceId | ResourceId del MSI. | string (obligatorio) |
KafkaProfile
LoadBasedConfig
Nombre | Descripción | Valor |
---|---|---|
cooldownPeriod | Se trata de un período de tiempo de esporádico, es un período de tiempo en segundos, que determina la cantidad de tiempo que debe transcurrir entre una actividad de escalado iniciada por una regla y el inicio de la siguiente actividad de escalado, independientemente de la regla que la desencadene. El valor predeterminado es 300 segundos. | Int |
maxNodes | El usuario debe establecer el número máximo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
minNodes | El usuario debe establecer el número mínimo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
pollInterval | El usuario puede especificar el intervalo de sondeo, este es el período de tiempo (en segundos) después del cual se sondean las métricas de escalado para desencadenar una operación de escalado. | Int |
scalingRules | Reglas de escalado. | ScalingRule[] (obligatorio) |
Microsoft.HDInsight/clusterpools/clusters
Nombre | Descripción | Valor |
---|---|---|
ubicación | Ubicación geográfica donde reside el recurso | string (obligatorio) |
nombre | El nombre del recurso | string (obligatorio) |
padre | En Bicep, puede especificar el recurso primario para un recurso secundario. Solo tiene que agregar esta propiedad cuando el recurso secundario se declara fuera del recurso primario. Para obtener más información, consulte recurso secundario fuera del recurso primario. |
Nombre simbólico del recurso de tipo: de grupos de clústeres |
Propiedades | Obtiene o establece las propiedades. Defina propiedades específicas del clúster. | ClusterResourceProperties |
Etiquetas | Etiquetas de recursos | Diccionario de nombres y valores de etiqueta. Consulte etiquetas de en plantillas |
NodeProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de máquinas virtuales. | Int Restricciones: Valor mínimo = 1 (obligatorio) |
tipo | Tipo de nodo. | cuerda Restricciones: Patrón = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obligatorio) |
vmSize | SKU de máquina virtual. | cuerda Restricciones: Patrón = ^[a-zA-Z0-9_\-]{0,256}$ (obligatorio) |
RangerAdminSpec
Nombre | Descripción | Valor |
---|---|---|
administradores | Lista de nombres de usuario que se deben marcar como administradores de ranger. Estos nombres de usuario deben coincidir con el nombre principal de usuario (UPN) de los usuarios de AAD respectivos. | string[] (obligatorio) |
base de datos | rangerAdminSpecDatabase (obligatorio) |
RangerAdminSpecDatabase
Nombre | Descripción | Valor |
---|---|---|
anfitrión | Dirección URL de la base de datos | string (obligatorio) |
nombre | El nombre de la base de datos | string (obligatorio) |
passwordSecretRef | Referencia de la contraseña de la base de datos | cuerda |
nombre de usuario | Nombre del usuario de la base de datos | cuerda |
RangerAuditSpec
Nombre | Descripción | Valor |
---|---|---|
storageAccount | Ubicación de Azure Storage de los blobs. MSI debe tener acceso de lectura y escritura a esta cuenta de almacenamiento. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
RangerProfile
Nombre | Descripción | Valor |
---|---|---|
rangerAdmin | Especificación del servicio de administración de Ranger. | RangerAdminSpec (obligatorio) |
rangerAudit | Propiedades necesarias para describir el almacenamiento del registro de auditoría. | RangerAuditSpec |
rangerUsersync | Especificación del servicio Ranger Usersync | RangerUsersyncSpec (obligatorio) |
RangerUsersyncSpec
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si se debe habilitar el servicio usersync. | Bool |
grupos | Lista de grupos que se deben sincronizar. Estos nombres de grupo deben coincidir con el identificador de objeto de los grupos de AAD respectivos. | string[] |
modo | Los grupos de & de usuario se pueden sincronizar automáticamente o a través de una lista estática que se actualiza. | 'automático' 'static' |
userMappingLocation | Ubicación de almacenamiento de Azure de un archivo de asignación que enumera las asociaciones de grupo de usuarios &. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
Usuarios | Lista de nombres de usuario que se deben sincronizar. Estos nombres de usuario deben coincidir con el nombre principal de usuario de los usuarios de AAD correspondientes. | string[] |
ScalingRule
Nombre | Descripción | Valor |
---|---|---|
actionType | Tipo de acción. | "reducción horizontal" 'scaleup' (obligatorio) |
comparisonRule | Regla de comparación. | ComparisonRule (obligatorio) |
evaluationCount | Se trata de un recuento de evaluación para una condición de escalado, el número de veces que se debe realizar correctamente una condición de desencadenador antes de que se desencadene la actividad de escalado. | int (obligatorio) |
scalingMetric | Nombre de métricas para cargas de trabajo individuales. Por ejemplo: cpu | string (obligatorio) |
Horario
Nombre | Descripción | Valor |
---|---|---|
contar | El usuario debe establecer el número de nodos previsto al final de la operación de escalado de la configuración de programación actual establecida, el formato es entero. | int (obligatorio) |
Días | El usuario debe establecer los días en los que se debe establecer la programación para la operación de escalado automático. | Matriz de cadenas que contiene cualquiera de: 'Viernes' "Lunes" 'Sábado' 'Domingo' 'Jueves' "Martes" 'Miércoles' (obligatorio) |
endTime | El usuario tiene que establecer la hora de finalización de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
startTime | El usuario tiene que establecer la hora de inicio de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
ScheduleBasedConfig
Nombre | Descripción | Valor |
---|---|---|
defaultCount | Establecer el número de nodos predeterminado de la configuración de programación actual. El recuento de nodos predeterminado especifica el número de nodos que son predeterminados cuando se ejecuta una operación de escalado especificada (escalado vertical o reducción vertical) | int (obligatorio) |
Horarios | Esto especifica las programaciones en las que se habilitará la escalabilidad automática basada en programación, el usuario tiene la opción de establecer varias reglas dentro de la programación en días y horas (inicio y fin). | programación[] (obligatorio) |
timeZone | El usuario debe especificar la zona horaria en la que se debe establecer la programación para la configuración de escalado automático basado en programación. | string (obligatorio) |
ScriptActionProfile
Nombre | Descripción | Valor |
---|---|---|
nombre | Nombre del script. | string (obligatorio) |
Parámetros | Parámetros adicionales para la acción de script. Debe ser una lista separada por espacios de argumentos necesarios para la ejecución del script. | cuerda |
servicios | Lista de servicios para aplicar la acción de script. | string[] (obligatorio) |
shouldPersist | Especifique si el script debe conservarse en el clúster. | Bool |
timeoutInMinutes | Duración del tiempo de espera de la acción del script en minutos. | Int |
tipo | Tipo de la acción de script. El tipo admitido es scripts de Bash. | string (obligatorio) |
URL | Dirección URL del archivo de script. | cuerda Restricciones: Patrón = ^(https)|(http)://.*$ (obligatorio) |
SecretReference
Nombre | Descripción | Valor |
---|---|---|
keyVaultObjectName | Nombre del identificador de objeto del secreto en el almacén de claves. | cuerda Restricciones: Patrón = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obligatorio) |
referenceName | Nombre de referencia del secreto que se va a usar en las configuraciones de servicio. | string (obligatorio) |
tipo | Tipo de objeto de almacén de claves: secreto, clave o certificado. | 'Certificado' 'Clave' 'Secreto' (obligatorio) |
Versión | Versión del secreto en el almacén de claves. | cuerda |
SecretsProfile
Nombre | Descripción | Valor |
---|---|---|
keyVaultResourceId | Nombre del almacén de claves de usuario donde se almacenan todos los secretos de usuario específicos del clúster. | string (obligatorio) |
Secretos | Propiedades del secreto de Key Vault. | SecretReference[] |
SparkMetastoreSpec
Nombre | Descripción | Valor |
---|---|---|
dbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbName | Nombre de la base de datos. | string (obligatorio) |
dbPasswordSecretName | Nombre del secreto que contiene la contraseña de usuario de la base de datos. | cuerda |
dbServerHost | Host del servidor de base de datos. | string (obligatorio) |
dbUserName | Nombre de usuario de la base de datos. | cuerda |
keyVaultId | Identificador de recurso del almacén de claves. | cuerda |
thriftUrl | Dirección URL de thrift. | cuerda |
SparkProfile
SparkUserPlugin
Nombre | Descripción | Valor |
---|---|---|
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ (obligatorio) |
SparkUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Spark. | SparkUserPlugin [] |
SshProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de pods ssh por clúster. | Int Restricciones: Valor mínimo = 0 Valor máximo = 5 (obligatorio) |
TrackedResourceTags
Nombre | Descripción | Valor |
---|
TrinoCoordinator
TrinoDebugConfig
Nombre | Descripción | Valor |
---|---|---|
habilitar | Marca que si habilita la depuración o no. | Bool |
puerto | Puerto de depuración. | Int |
suspender | Marca que si suspende la depuración o no. | Bool |
TrinoProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Trino. | CatalogOptions de |
coordinador | Coordinador de Trino. | TrinoCoordinator |
userPluginsSpec | Especificación de complementos de usuario de Trino | TrinoUserPlugins |
userTelemetrySpec | Telemetría de usuario | TrinoUserTelemetry |
trabajador | Trabajador de Trino. | TrinoWorker |
TrinoTelemetryConfig
Nombre | Descripción | Valor |
---|---|---|
hivecatalogName | Nombre del catálogo de Hive que se usa para montar tablas externas en los registros escritos por trino, si no se especifica que no se creen tablas. | cuerda Restricciones: Longitud mínima = 1 |
hivecatalogSchema | Esquema del catálogo anterior que se va a usar para montar registros de consulta como tablas externas, si no se especifican tablas, se montarán en trinologs de esquema. | cuerda |
partitionRetentionInDays | Período de retención para las particiones de la tabla de registro de consultas, esto no afecta a los datos reales. | Int |
camino | Ubicación de Azure Storage de los blobs. | cuerda Restricciones: Longitud mínima = 1 |
TrinoUserPlugin
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si el complemento está activo o no. | Bool |
nombre | Este campo se asigna al subdirectorio en la ubicación de los complementos de trino, que contendrá todos los complementos en la ruta de acceso. | cuerda Restricciones: Longitud mínima = 1 |
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Trino. | TrinoUserPlugin [] |
TrinoUserTelemetry
Nombre | Descripción | Valor |
---|---|---|
almacenamiento | Definición de telemetría de usuario de Trino. | TrinoTelemetryConfig |
TrinoWorker
Nombre | Descripción | Valor |
---|---|---|
depurar | Configuración de depuración de Trino. | TrinoDebugConfig |
Definición de recursos de plantilla de ARM
El tipo de recurso clusterpools/clusters se puede implementar con operaciones destinadas a:
- grupos de recursos: consulte comandos de implementación de grupos de recursos
Para obtener una lista de las propiedades modificadas en cada versión de API, consulte registro de cambios.
Formato de recurso
Para crear un recurso Microsoft.HDInsight/clusterpools/clusters, agregue el siguiente json a la plantilla.
{
"type": "Microsoft.HDInsight/clusterpools/clusters",
"apiVersion": "2023-11-01-preview",
"name": "string",
"location": "string",
"properties": {
"clusterProfile": {
"authorizationProfile": {
"groupIds": [ "string" ],
"userIds": [ "string" ]
},
"autoscaleProfile": {
"autoscaleType": "string",
"enabled": "bool",
"gracefulDecommissionTimeout": "int",
"loadBasedConfig": {
"cooldownPeriod": "int",
"maxNodes": "int",
"minNodes": "int",
"pollInterval": "int",
"scalingRules": [
{
"actionType": "string",
"comparisonRule": {
"operator": "string",
"threshold": "int"
},
"evaluationCount": "int",
"scalingMetric": "string"
}
]
},
"scheduleBasedConfig": {
"defaultCount": "int",
"schedules": [
{
"count": "int",
"days": [ "string" ],
"endTime": "string",
"startTime": "string"
}
],
"timeZone": "string"
}
},
"clusterAccessProfile": {
"enableInternalIngress": "bool"
},
"clusterVersion": "string",
"flinkProfile": {
"catalogOptions": {
"hive": {
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string"
}
},
"deploymentMode": "string",
"historyServer": {
"cpu": "int",
"memory": "int"
},
"jobManager": {
"cpu": "int",
"memory": "int"
},
"jobSpec": {
"args": "string",
"entryClass": "string",
"jarName": "string",
"jobJarDirectory": "string",
"savePointName": "string",
"upgradeMode": "string"
},
"numReplicas": "int",
"storage": {
"storagekey": "string",
"storageUri": "string"
},
"taskManager": {
"cpu": "int",
"memory": "int"
}
},
"identityProfile": {
"msiClientId": "string",
"msiObjectId": "string",
"msiResourceId": "string"
},
"kafkaProfile": {
"diskStorage": {
"dataDiskSize": "int",
"dataDiskType": "string"
},
"enableKRaft": "bool",
"enablePublicEndpoints": "bool",
"remoteStorageUri": "string"
},
"llapProfile": {
"{customized property}": {}
},
"logAnalyticsProfile": {
"applicationLogs": {
"stdErrorEnabled": "bool",
"stdOutEnabled": "bool"
},
"enabled": "bool",
"metricsEnabled": "bool"
},
"ossVersion": "string",
"prometheusProfile": {
"enabled": "bool"
},
"rangerPluginProfile": {
"enabled": "bool"
},
"rangerProfile": {
"rangerAdmin": {
"admins": [ "string" ],
"database": {
"host": "string",
"name": "string",
"passwordSecretRef": "string",
"username": "string"
}
},
"rangerAudit": {
"storageAccount": "string"
},
"rangerUsersync": {
"enabled": "bool",
"groups": [ "string" ],
"mode": "string",
"userMappingLocation": "string",
"users": [ "string" ]
}
},
"scriptActionProfiles": [
{
"name": "string",
"parameters": "string",
"services": [ "string" ],
"shouldPersist": "bool",
"timeoutInMinutes": "int",
"type": "string",
"url": "string"
}
],
"secretsProfile": {
"keyVaultResourceId": "string",
"secrets": [
{
"keyVaultObjectName": "string",
"referenceName": "string",
"type": "string",
"version": "string"
}
]
},
"serviceConfigsProfiles": [
{
"configs": [
{
"component": "string",
"files": [
{
"content": "string",
"encoding": "string",
"fileName": "string",
"path": "string",
"values": {
"{customized property}": "string"
}
}
]
}
],
"serviceName": "string"
}
],
"sparkProfile": {
"defaultStorageUrl": "string",
"metastoreSpec": {
"dbConnectionAuthenticationMode": "string",
"dbName": "string",
"dbPasswordSecretName": "string",
"dbServerHost": "string",
"dbUserName": "string",
"keyVaultId": "string",
"thriftUrl": "string"
},
"userPluginsSpec": {
"plugins": [
{
"path": "string"
}
]
}
},
"sshProfile": {
"count": "int"
},
"stubProfile": {
"{customized property}": {}
},
"trinoProfile": {
"catalogOptions": {
"hive": [
{
"catalogName": "string",
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string",
"metastoreWarehouseDir": "string"
}
]
},
"coordinator": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
},
"highAvailabilityEnabled": "bool"
},
"userPluginsSpec": {
"plugins": [
{
"enabled": "bool",
"name": "string",
"path": "string"
}
]
},
"userTelemetrySpec": {
"storage": {
"hivecatalogName": "string",
"hivecatalogSchema": "string",
"partitionRetentionInDays": "int",
"path": "string"
}
},
"worker": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
}
}
}
},
"clusterType": "string",
"computeProfile": {
"nodes": [
{
"count": "int",
"type": "string",
"vmSize": "string"
}
]
}
},
"tags": {
"{customized property}": "string"
}
}
Valores de propiedad
AuthorizationProfile
Nombre | Descripción | Valor |
---|---|---|
groupIds | Identificadores de grupo de AAD autorizados para el acceso al plano de datos. | string[] |
userIds | Identificadores de usuario de AAD autorizados para el acceso al plano de datos. | string[] |
Escalado automáticoProfile
Nombre | Descripción | Valor |
---|---|---|
autoscaleType | Usuario para especificar qué tipo de escalado automático se va a implementar: basado en programación o basado en carga. | 'LoadBased' 'ScheduleBased' |
Habilitado | Esto indica si la escala automática está habilitada en HDInsight en el clúster de AKS. | bool (obligatorio) |
gracefulDecommissionTimeout | Esta propiedad es para tiempo de espera de retirada correcto; Tiene una configuración predeterminada de 3600 segundos antes de que se produzca el apagado forzado. Este es el tiempo máximo para esperar a que se completen los contenedores y las aplicaciones en ejecución antes de realizar la transición de un nodo DECOMMISSIONING a DECOMMISSIONED. El valor predeterminado es 3600 segundos. El valor negativo (como -1) se controla como tiempo de espera infinito. | Int |
loadBasedConfig | Perfiles de escalabilidad automática basada en carga. | LoadBasedConfig |
scheduleBasedConfig | Perfiles de escalabilidad automática basada en programación. | ScheduleBasedConfig |
CatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opciones del catálogo de hive. | hiveCatalogOption [] |
ClusterAccessProfile
Nombre | Descripción | Valor |
---|---|---|
enableInternalIngress | Si se va a crear un clúster mediante una dirección IP privada en lugar de una dirección IP pública. Esta propiedad debe establecerse en tiempo de creación. | bool (obligatorio) |
ClusterConfigFile
ClusterConfigFileValues
Nombre | Descripción | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Nombre | Descripción | Valor |
---|---|---|
stdErrorEnabled | True si stderror está habilitado; de lo contrario, false. | Bool |
stdOutEnabled | True si stdout está habilitado; de lo contrario, false. | Bool |
ClusterLogAnalyticsProfile
Nombre | Descripción | Valor |
---|---|---|
applicationLogs | Recopilación de registros que se van a habilitar o deshabilitar para Log Analytics. | ClusterLogAnalyticsApplicationLogs |
Habilitado | True si Log Analytics está habilitado para el clúster; de lo contrario, false. | bool (obligatorio) |
metricsEnabled | True si las métricas están habilitadas; de lo contrario, false. | Bool |
ClusterProfile
Nombre | Descripción | Valor |
---|---|---|
authorizationProfile | Perfil de autorización con detalles de identificadores de usuario y identificadores de grupo de AAD autorizados para el acceso al plano de datos. | authorizationProfile (obligatorio) |
autoscaleProfile | Este es el perfil de escalado automático del clúster. Esto permitirá al cliente crear un clúster habilitado con escalabilidad automática. | AutoscaleProfile |
clusterAccessProfile | Perfil de acceso al clúster. | clusterAccessProfile de |
clusterVersion | Versión con 3/4 parte. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obligatorio) |
flinkProfile | Perfil de clúster de Flink. | FlinkProfile |
identityProfile | El clúster de Trino, Spark y Flink requieren esta propiedad, pero es opcional para el clúster de Kafka. | IdentityProfile |
kafkaProfile | Perfil de clúster de Kafka. | KafkaProfile |
llapProfile | Perfil de clúster de LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análisis de registros de clúster para habilitar o deshabilitar el agente de OMS para el clúster. | ClusterLogAnalyticsProfile |
ossVersion | Versión con tres partes. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obligatorio) |
prometheusProfile | Perfil de Prometheus del clúster. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil del complemento Cluster Ranger. | ClusterRangerPluginProfile |
rangerProfile | Perfil de clúster de ranger. | RangerProfile |
scriptActionProfiles | Lista de perfiles de acción de script. | scriptActionProfile[] |
secretsProfile | Perfil de secreto de clúster. | secretsProfile |
serviceConfigsProfiles | Perfiles de configuración del servicio. | clusterServiceConfigsProfile[] |
sparkProfile | El perfil del clúster de Spark. | SparkProfile |
sshProfile | Perfil ssh para el clúster. | SshProfile |
stubProfile | Perfil de clúster de código auxiliar. | ClusterProfileStubProfile |
trinoProfile | Perfil de clúster de Trino. | TrinoProfile |
ClusterProfileLlapProfile
Nombre | Descripción | Valor |
---|
ClusterProfileStubProfile
Nombre | Descripción | Valor |
---|
ClusterPrometheusProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Prometheus para el clúster o no. | bool (obligatorio) |
ClusterRangerPluginProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Ranger para el clúster o no. | bool (obligatorio) |
ClusterResourceProperties
ClusterServiceConfig
Nombre | Descripción | Valor |
---|---|---|
componente | Nombre del componente al que se deben aplicar los archivos de configuración. | string (obligatorio) |
Archivos | Lista de archivos de configuración. | ClusterConfigFile[] (obligatorio) |
ClusterServiceConfigsProfile
Nombre | Descripción | Valor |
---|---|---|
configs | Lista de configuraciones de servicio. | ClusterServiceConfig[] (obligatorio) |
serviceName | Nombre del servicio al que se deben aplicar las configuraciones. | string (obligatorio) |
ComparisonRule
Nombre | Descripción | Valor |
---|---|---|
operador | Operador de comparación. | 'greaterThan' 'greaterThanOrEqual' 'lessThan' 'lessThanOrEqual' (obligatorio) |
umbral | Valor de umbral. | int (obligatorio) |
ComputeProfile
Nombre | Descripción | Valor |
---|---|---|
Nodos | Definiciones de nodos. | NodeProfile [] (obligatorio) |
ComputeResourceDefinition
Nombre | Descripción | Valor |
---|---|---|
CPU | Cpu necesaria. | int (obligatorio) |
memoria | La memoria necesaria en MB, la memoria del contenedor será de 110 percentil. | int (obligatorio) |
DiskStorageProfile
Nombre | Descripción | Valor |
---|---|---|
dataDiskSize | Tamaño de disco administrado en GB. El tamaño máximo de disco admitido para HDD/SSD Estándar y Premium es de 32 TB, excepto ssd Premium v2, que admite hasta 64 TB. | int (obligatorio) |
dataDiskType | Tipo de disco administrado. | "Premium_SSD_LRS" "Premium_SSD_v2_LRS" "Premium_SSD_ZRS" "Standard_HDD_LRS" "Standard_SSD_LRS" 'Standard_SSD_ZRS' (obligatorio) |
FlinkCatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opción de catálogo de Hive para el clúster de Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
FlinkJobProfile
Nombre | Descripción | Valor |
---|---|---|
args | Propiedad de cadena que representa argumentos JVM adicionales para el trabajo de Flink. Debe ser un valor separado por espacio. | cuerda |
entryClass | Propiedad de cadena que especifica la clase de entrada para el trabajo de Flink. Si no se especifica, el punto de entrada se detecta automáticamente desde el paquete jar del trabajo flink. | cuerda |
jarName | Propiedad de cadena que representa el nombre del archivo JAR del trabajo. | string (obligatorio) |
jobJarDirectory | Propiedad de cadena que especifica el directorio donde se encuentra el archivo JAR del trabajo. | string (obligatorio) |
savePointName | Propiedad de cadena que representa el nombre del punto de guardado para el trabajo de Flink | cuerda |
upgradeMode | Propiedad de cadena que indica el modo de actualización que se va a realizar en el trabajo de Flink. Puede tener uno de los siguientes valores de enumeración => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | "LAST_STATE_UPDATE" "STATELESS_UPDATE" 'UPDATE' (obligatorio) |
FlinkProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Flink. | |
deploymentMode | Propiedad de cadena que indica el modo de implementación del clúster de Flink. Puede tener uno de los siguientes valores de enumeración => Application, Session. El valor predeterminado es Session | 'Aplicación' 'Sesión' |
historyServer | Requisitos de CPU y memoria del servidor de historial | ComputeResourceDefinition |
jobManager | Requisitos de CPU y memoria de proceso de Job Manager | computeResourceDefinition (obligatorio) |
jobSpec | Especificaciones de trabajo para clústeres de flink en modo de implementación de aplicaciones. La especificación es inmutable incluso si se cambian las propiedades del trabajo mediante una llamada a runJob API, use listJob API para obtener la información más reciente del trabajo. | FlinkJobProfile |
numReplicas | Número de administradores de tareas. | Int |
almacenamiento | El perfil de almacenamiento | FlinkStorageProfile (obligatorio) |
taskManager | Requisitos de CPU y memoria del contenedor o proceso del Administrador de tareas | computeResourceDefinition (obligatorio) |
FlinkStorageProfile
Nombre | Descripción | Valor |
---|---|---|
storagekey | La clave de almacenamiento solo es necesaria para el almacenamiento wasb(s). | cuerda Restricciones: Valor confidencial. Pase como parámetro seguro. |
storageUri | URI de la cuenta de almacenamiento que se usa para el estado de punto de comprobación y de punto de comprobación. | cuerda Restricciones: Patrón = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obligatorio) |
HiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
catalogName | Nombre del catálogo de trino que debe usar el metastore de Hive especificado. | cuerda Restricciones: Longitud mínima = 1 (obligatorio) |
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
metastoreWarehouseDir | URI del directorio raíz de metastore, formato: abfs[s]://<contenedor>@<account_name>ruta de acceso .dfs.core.windows.net/<>. Más detalles: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obligatorio) |
IdentityProfile
Nombre | Descripción | Valor |
---|---|---|
msiClientId | ClientId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiObjectId | ObjectId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiResourceId | ResourceId del MSI. | string (obligatorio) |
KafkaProfile
LoadBasedConfig
Nombre | Descripción | Valor |
---|---|---|
cooldownPeriod | Se trata de un período de tiempo de esporádico, es un período de tiempo en segundos, que determina la cantidad de tiempo que debe transcurrir entre una actividad de escalado iniciada por una regla y el inicio de la siguiente actividad de escalado, independientemente de la regla que la desencadene. El valor predeterminado es 300 segundos. | Int |
maxNodes | El usuario debe establecer el número máximo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
minNodes | El usuario debe establecer el número mínimo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
pollInterval | El usuario puede especificar el intervalo de sondeo, este es el período de tiempo (en segundos) después del cual se sondean las métricas de escalado para desencadenar una operación de escalado. | Int |
scalingRules | Reglas de escalado. | ScalingRule[] (obligatorio) |
Microsoft.HDInsight/clusterpools/clusters
Nombre | Descripción | Valor |
---|---|---|
apiVersion | La versión de api | "2023-11-01-preview" |
ubicación | Ubicación geográfica donde reside el recurso | string (obligatorio) |
nombre | El nombre del recurso | string (obligatorio) |
Propiedades | Obtiene o establece las propiedades. Defina propiedades específicas del clúster. | ClusterResourceProperties |
Etiquetas | Etiquetas de recursos | Diccionario de nombres y valores de etiqueta. Consulte etiquetas de en plantillas |
tipo | El tipo de recurso | "Microsoft.HDInsight/clusterpools/clusters" |
NodeProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de máquinas virtuales. | Int Restricciones: Valor mínimo = 1 (obligatorio) |
tipo | Tipo de nodo. | cuerda Restricciones: Patrón = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obligatorio) |
vmSize | SKU de máquina virtual. | cuerda Restricciones: Patrón = ^[a-zA-Z0-9_\-]{0,256}$ (obligatorio) |
RangerAdminSpec
Nombre | Descripción | Valor |
---|---|---|
administradores | Lista de nombres de usuario que se deben marcar como administradores de ranger. Estos nombres de usuario deben coincidir con el nombre principal de usuario (UPN) de los usuarios de AAD respectivos. | string[] (obligatorio) |
base de datos | rangerAdminSpecDatabase (obligatorio) |
RangerAdminSpecDatabase
Nombre | Descripción | Valor |
---|---|---|
anfitrión | Dirección URL de la base de datos | string (obligatorio) |
nombre | El nombre de la base de datos | string (obligatorio) |
passwordSecretRef | Referencia de la contraseña de la base de datos | cuerda |
nombre de usuario | Nombre del usuario de la base de datos | cuerda |
RangerAuditSpec
Nombre | Descripción | Valor |
---|---|---|
storageAccount | Ubicación de Azure Storage de los blobs. MSI debe tener acceso de lectura y escritura a esta cuenta de almacenamiento. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
RangerProfile
Nombre | Descripción | Valor |
---|---|---|
rangerAdmin | Especificación del servicio de administración de Ranger. | RangerAdminSpec (obligatorio) |
rangerAudit | Propiedades necesarias para describir el almacenamiento del registro de auditoría. | RangerAuditSpec |
rangerUsersync | Especificación del servicio Ranger Usersync | RangerUsersyncSpec (obligatorio) |
RangerUsersyncSpec
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si se debe habilitar el servicio usersync. | Bool |
grupos | Lista de grupos que se deben sincronizar. Estos nombres de grupo deben coincidir con el identificador de objeto de los grupos de AAD respectivos. | string[] |
modo | Los grupos de & de usuario se pueden sincronizar automáticamente o a través de una lista estática que se actualiza. | 'automático' 'static' |
userMappingLocation | Ubicación de almacenamiento de Azure de un archivo de asignación que enumera las asociaciones de grupo de usuarios &. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
Usuarios | Lista de nombres de usuario que se deben sincronizar. Estos nombres de usuario deben coincidir con el nombre principal de usuario de los usuarios de AAD correspondientes. | string[] |
ScalingRule
Nombre | Descripción | Valor |
---|---|---|
actionType | Tipo de acción. | "reducción horizontal" 'scaleup' (obligatorio) |
comparisonRule | Regla de comparación. | ComparisonRule (obligatorio) |
evaluationCount | Se trata de un recuento de evaluación para una condición de escalado, el número de veces que se debe realizar correctamente una condición de desencadenador antes de que se desencadene la actividad de escalado. | int (obligatorio) |
scalingMetric | Nombre de métricas para cargas de trabajo individuales. Por ejemplo: cpu | string (obligatorio) |
Horario
Nombre | Descripción | Valor |
---|---|---|
contar | El usuario debe establecer el número de nodos previsto al final de la operación de escalado de la configuración de programación actual establecida, el formato es entero. | int (obligatorio) |
Días | El usuario debe establecer los días en los que se debe establecer la programación para la operación de escalado automático. | Matriz de cadenas que contiene cualquiera de: 'Viernes' "Lunes" 'Sábado' 'Domingo' 'Jueves' "Martes" 'Miércoles' (obligatorio) |
endTime | El usuario tiene que establecer la hora de finalización de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
startTime | El usuario tiene que establecer la hora de inicio de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
ScheduleBasedConfig
Nombre | Descripción | Valor |
---|---|---|
defaultCount | Establecer el número de nodos predeterminado de la configuración de programación actual. El recuento de nodos predeterminado especifica el número de nodos que son predeterminados cuando se ejecuta una operación de escalado especificada (escalado vertical o reducción vertical) | int (obligatorio) |
Horarios | Esto especifica las programaciones en las que se habilitará la escalabilidad automática basada en programación, el usuario tiene la opción de establecer varias reglas dentro de la programación en días y horas (inicio y fin). | programación[] (obligatorio) |
timeZone | El usuario debe especificar la zona horaria en la que se debe establecer la programación para la configuración de escalado automático basado en programación. | string (obligatorio) |
ScriptActionProfile
Nombre | Descripción | Valor |
---|---|---|
nombre | Nombre del script. | string (obligatorio) |
Parámetros | Parámetros adicionales para la acción de script. Debe ser una lista separada por espacios de argumentos necesarios para la ejecución del script. | cuerda |
servicios | Lista de servicios para aplicar la acción de script. | string[] (obligatorio) |
shouldPersist | Especifique si el script debe conservarse en el clúster. | Bool |
timeoutInMinutes | Duración del tiempo de espera de la acción del script en minutos. | Int |
tipo | Tipo de la acción de script. El tipo admitido es scripts de Bash. | string (obligatorio) |
URL | Dirección URL del archivo de script. | cuerda Restricciones: Patrón = ^(https)|(http)://.*$ (obligatorio) |
SecretReference
Nombre | Descripción | Valor |
---|---|---|
keyVaultObjectName | Nombre del identificador de objeto del secreto en el almacén de claves. | cuerda Restricciones: Patrón = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obligatorio) |
referenceName | Nombre de referencia del secreto que se va a usar en las configuraciones de servicio. | string (obligatorio) |
tipo | Tipo de objeto de almacén de claves: secreto, clave o certificado. | 'Certificado' 'Clave' 'Secreto' (obligatorio) |
Versión | Versión del secreto en el almacén de claves. | cuerda |
SecretsProfile
Nombre | Descripción | Valor |
---|---|---|
keyVaultResourceId | Nombre del almacén de claves de usuario donde se almacenan todos los secretos de usuario específicos del clúster. | string (obligatorio) |
Secretos | Propiedades del secreto de Key Vault. | SecretReference[] |
SparkMetastoreSpec
Nombre | Descripción | Valor |
---|---|---|
dbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbName | Nombre de la base de datos. | string (obligatorio) |
dbPasswordSecretName | Nombre del secreto que contiene la contraseña de usuario de la base de datos. | cuerda |
dbServerHost | Host del servidor de base de datos. | string (obligatorio) |
dbUserName | Nombre de usuario de la base de datos. | cuerda |
keyVaultId | Identificador de recurso del almacén de claves. | cuerda |
thriftUrl | Dirección URL de thrift. | cuerda |
SparkProfile
SparkUserPlugin
Nombre | Descripción | Valor |
---|---|---|
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ (obligatorio) |
SparkUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Spark. | SparkUserPlugin [] |
SshProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de pods ssh por clúster. | Int Restricciones: Valor mínimo = 0 Valor máximo = 5 (obligatorio) |
TrackedResourceTags
Nombre | Descripción | Valor |
---|
TrinoCoordinator
TrinoDebugConfig
Nombre | Descripción | Valor |
---|---|---|
habilitar | Marca que si habilita la depuración o no. | Bool |
puerto | Puerto de depuración. | Int |
suspender | Marca que si suspende la depuración o no. | Bool |
TrinoProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Trino. | CatalogOptions de |
coordinador | Coordinador de Trino. | TrinoCoordinator |
userPluginsSpec | Especificación de complementos de usuario de Trino | TrinoUserPlugins |
userTelemetrySpec | Telemetría de usuario | TrinoUserTelemetry |
trabajador | Trabajador de Trino. | TrinoWorker |
TrinoTelemetryConfig
Nombre | Descripción | Valor |
---|---|---|
hivecatalogName | Nombre del catálogo de Hive que se usa para montar tablas externas en los registros escritos por trino, si no se especifica que no se creen tablas. | cuerda Restricciones: Longitud mínima = 1 |
hivecatalogSchema | Esquema del catálogo anterior que se va a usar para montar registros de consulta como tablas externas, si no se especifican tablas, se montarán en trinologs de esquema. | cuerda |
partitionRetentionInDays | Período de retención para las particiones de la tabla de registro de consultas, esto no afecta a los datos reales. | Int |
camino | Ubicación de Azure Storage de los blobs. | cuerda Restricciones: Longitud mínima = 1 |
TrinoUserPlugin
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si el complemento está activo o no. | Bool |
nombre | Este campo se asigna al subdirectorio en la ubicación de los complementos de trino, que contendrá todos los complementos en la ruta de acceso. | cuerda Restricciones: Longitud mínima = 1 |
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Trino. | TrinoUserPlugin [] |
TrinoUserTelemetry
Nombre | Descripción | Valor |
---|---|---|
almacenamiento | Definición de telemetría de usuario de Trino. | TrinoTelemetryConfig |
TrinoWorker
Nombre | Descripción | Valor |
---|---|---|
depurar | Configuración de depuración de Trino. | TrinoDebugConfig |
Definición de recursos de Terraform (proveedor AzAPI)
El tipo de recurso clusterpools/clusters se puede implementar con operaciones destinadas a:
- grupos de recursos de
Para obtener una lista de las propiedades modificadas en cada versión de API, consulte registro de cambios.
Formato de recurso
Para crear un recurso Microsoft.HDInsight/clusterpools/clusters, agregue el siguiente terraform a la plantilla.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview"
name = "string"
location = "string"
tags = {
{customized property} = "string"
}
body = jsonencode({
properties = {
clusterProfile = {
authorizationProfile = {
groupIds = [
"string"
]
userIds = [
"string"
]
}
autoscaleProfile = {
autoscaleType = "string"
enabled = bool
gracefulDecommissionTimeout = int
loadBasedConfig = {
cooldownPeriod = int
maxNodes = int
minNodes = int
pollInterval = int
scalingRules = [
{
actionType = "string"
comparisonRule = {
operator = "string"
threshold = int
}
evaluationCount = int
scalingMetric = "string"
}
]
}
scheduleBasedConfig = {
defaultCount = int
schedules = [
{
count = int
days = [
"string"
]
endTime = "string"
startTime = "string"
}
]
timeZone = "string"
}
}
clusterAccessProfile = {
enableInternalIngress = bool
}
clusterVersion = "string"
flinkProfile = {
catalogOptions = {
hive = {
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
}
}
deploymentMode = "string"
historyServer = {
cpu = int
memory = int
}
jobManager = {
cpu = int
memory = int
}
jobSpec = {
args = "string"
entryClass = "string"
jarName = "string"
jobJarDirectory = "string"
savePointName = "string"
upgradeMode = "string"
}
numReplicas = int
storage = {
storagekey = "string"
storageUri = "string"
}
taskManager = {
cpu = int
memory = int
}
}
identityProfile = {
msiClientId = "string"
msiObjectId = "string"
msiResourceId = "string"
}
kafkaProfile = {
diskStorage = {
dataDiskSize = int
dataDiskType = "string"
}
enableKRaft = bool
enablePublicEndpoints = bool
remoteStorageUri = "string"
}
llapProfile = {
{customized property} = ?
}
logAnalyticsProfile = {
applicationLogs = {
stdErrorEnabled = bool
stdOutEnabled = bool
}
enabled = bool
metricsEnabled = bool
}
ossVersion = "string"
prometheusProfile = {
enabled = bool
}
rangerPluginProfile = {
enabled = bool
}
rangerProfile = {
rangerAdmin = {
admins = [
"string"
]
database = {
host = "string"
name = "string"
passwordSecretRef = "string"
username = "string"
}
}
rangerAudit = {
storageAccount = "string"
}
rangerUsersync = {
enabled = bool
groups = [
"string"
]
mode = "string"
userMappingLocation = "string"
users = [
"string"
]
}
}
scriptActionProfiles = [
{
name = "string"
parameters = "string"
services = [
"string"
]
shouldPersist = bool
timeoutInMinutes = int
type = "string"
url = "string"
}
]
secretsProfile = {
keyVaultResourceId = "string"
secrets = [
{
keyVaultObjectName = "string"
referenceName = "string"
type = "string"
version = "string"
}
]
}
serviceConfigsProfiles = [
{
configs = [
{
component = "string"
files = [
{
content = "string"
encoding = "string"
fileName = "string"
path = "string"
values = {
{customized property} = "string"
}
}
]
}
]
serviceName = "string"
}
]
sparkProfile = {
defaultStorageUrl = "string"
metastoreSpec = {
dbConnectionAuthenticationMode = "string"
dbName = "string"
dbPasswordSecretName = "string"
dbServerHost = "string"
dbUserName = "string"
keyVaultId = "string"
thriftUrl = "string"
}
userPluginsSpec = {
plugins = [
{
path = "string"
}
]
}
}
sshProfile = {
count = int
}
stubProfile = {
{customized property} = ?
}
trinoProfile = {
catalogOptions = {
hive = [
{
catalogName = "string"
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
metastoreWarehouseDir = "string"
}
]
}
coordinator = {
debug = {
enable = bool
port = int
suspend = bool
}
highAvailabilityEnabled = bool
}
userPluginsSpec = {
plugins = [
{
enabled = bool
name = "string"
path = "string"
}
]
}
userTelemetrySpec = {
storage = {
hivecatalogName = "string"
hivecatalogSchema = "string"
partitionRetentionInDays = int
path = "string"
}
}
worker = {
debug = {
enable = bool
port = int
suspend = bool
}
}
}
}
clusterType = "string"
computeProfile = {
nodes = [
{
count = int
type = "string"
vmSize = "string"
}
]
}
}
})
}
Valores de propiedad
AuthorizationProfile
Nombre | Descripción | Valor |
---|---|---|
groupIds | Identificadores de grupo de AAD autorizados para el acceso al plano de datos. | string[] |
userIds | Identificadores de usuario de AAD autorizados para el acceso al plano de datos. | string[] |
Escalado automáticoProfile
Nombre | Descripción | Valor |
---|---|---|
autoscaleType | Usuario para especificar qué tipo de escalado automático se va a implementar: basado en programación o basado en carga. | 'LoadBased' 'ScheduleBased' |
Habilitado | Esto indica si la escala automática está habilitada en HDInsight en el clúster de AKS. | bool (obligatorio) |
gracefulDecommissionTimeout | Esta propiedad es para tiempo de espera de retirada correcto; Tiene una configuración predeterminada de 3600 segundos antes de que se produzca el apagado forzado. Este es el tiempo máximo para esperar a que se completen los contenedores y las aplicaciones en ejecución antes de realizar la transición de un nodo DECOMMISSIONING a DECOMMISSIONED. El valor predeterminado es 3600 segundos. El valor negativo (como -1) se controla como tiempo de espera infinito. | Int |
loadBasedConfig | Perfiles de escalabilidad automática basada en carga. | LoadBasedConfig |
scheduleBasedConfig | Perfiles de escalabilidad automática basada en programación. | ScheduleBasedConfig |
CatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opciones del catálogo de hive. | hiveCatalogOption [] |
ClusterAccessProfile
Nombre | Descripción | Valor |
---|---|---|
enableInternalIngress | Si se va a crear un clúster mediante una dirección IP privada en lugar de una dirección IP pública. Esta propiedad debe establecerse en tiempo de creación. | bool (obligatorio) |
ClusterConfigFile
ClusterConfigFileValues
Nombre | Descripción | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Nombre | Descripción | Valor |
---|---|---|
stdErrorEnabled | True si stderror está habilitado; de lo contrario, false. | Bool |
stdOutEnabled | True si stdout está habilitado; de lo contrario, false. | Bool |
ClusterLogAnalyticsProfile
Nombre | Descripción | Valor |
---|---|---|
applicationLogs | Recopilación de registros que se van a habilitar o deshabilitar para Log Analytics. | ClusterLogAnalyticsApplicationLogs |
Habilitado | True si Log Analytics está habilitado para el clúster; de lo contrario, false. | bool (obligatorio) |
metricsEnabled | True si las métricas están habilitadas; de lo contrario, false. | Bool |
ClusterProfile
Nombre | Descripción | Valor |
---|---|---|
authorizationProfile | Perfil de autorización con detalles de identificadores de usuario y identificadores de grupo de AAD autorizados para el acceso al plano de datos. | authorizationProfile (obligatorio) |
autoscaleProfile | Este es el perfil de escalado automático del clúster. Esto permitirá al cliente crear un clúster habilitado con escalabilidad automática. | AutoscaleProfile |
clusterAccessProfile | Perfil de acceso al clúster. | clusterAccessProfile de |
clusterVersion | Versión con 3/4 parte. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obligatorio) |
flinkProfile | Perfil de clúster de Flink. | FlinkProfile |
identityProfile | El clúster de Trino, Spark y Flink requieren esta propiedad, pero es opcional para el clúster de Kafka. | IdentityProfile |
kafkaProfile | Perfil de clúster de Kafka. | KafkaProfile |
llapProfile | Perfil de clúster de LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análisis de registros de clúster para habilitar o deshabilitar el agente de OMS para el clúster. | ClusterLogAnalyticsProfile |
ossVersion | Versión con tres partes. | cuerda Restricciones: Patrón = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obligatorio) |
prometheusProfile | Perfil de Prometheus del clúster. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil del complemento Cluster Ranger. | ClusterRangerPluginProfile |
rangerProfile | Perfil de clúster de ranger. | RangerProfile |
scriptActionProfiles | Lista de perfiles de acción de script. | scriptActionProfile[] |
secretsProfile | Perfil de secreto de clúster. | secretsProfile |
serviceConfigsProfiles | Perfiles de configuración del servicio. | clusterServiceConfigsProfile[] |
sparkProfile | El perfil del clúster de Spark. | SparkProfile |
sshProfile | Perfil ssh para el clúster. | SshProfile |
stubProfile | Perfil de clúster de código auxiliar. | ClusterProfileStubProfile |
trinoProfile | Perfil de clúster de Trino. | TrinoProfile |
ClusterProfileLlapProfile
Nombre | Descripción | Valor |
---|
ClusterProfileStubProfile
Nombre | Descripción | Valor |
---|
ClusterPrometheusProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Prometheus para el clúster o no. | bool (obligatorio) |
ClusterRangerPluginProfile
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Habilite Ranger para el clúster o no. | bool (obligatorio) |
ClusterResourceProperties
ClusterServiceConfig
Nombre | Descripción | Valor |
---|---|---|
componente | Nombre del componente al que se deben aplicar los archivos de configuración. | string (obligatorio) |
Archivos | Lista de archivos de configuración. | ClusterConfigFile[] (obligatorio) |
ClusterServiceConfigsProfile
Nombre | Descripción | Valor |
---|---|---|
configs | Lista de configuraciones de servicio. | ClusterServiceConfig[] (obligatorio) |
serviceName | Nombre del servicio al que se deben aplicar las configuraciones. | string (obligatorio) |
ComparisonRule
Nombre | Descripción | Valor |
---|---|---|
operador | Operador de comparación. | 'greaterThan' 'greaterThanOrEqual' 'lessThan' 'lessThanOrEqual' (obligatorio) |
umbral | Valor de umbral. | int (obligatorio) |
ComputeProfile
Nombre | Descripción | Valor |
---|---|---|
Nodos | Definiciones de nodos. | NodeProfile [] (obligatorio) |
ComputeResourceDefinition
Nombre | Descripción | Valor |
---|---|---|
CPU | Cpu necesaria. | int (obligatorio) |
memoria | La memoria necesaria en MB, la memoria del contenedor será de 110 percentil. | int (obligatorio) |
DiskStorageProfile
Nombre | Descripción | Valor |
---|---|---|
dataDiskSize | Tamaño de disco administrado en GB. El tamaño máximo de disco admitido para HDD/SSD Estándar y Premium es de 32 TB, excepto ssd Premium v2, que admite hasta 64 TB. | int (obligatorio) |
dataDiskType | Tipo de disco administrado. | "Premium_SSD_LRS" "Premium_SSD_v2_LRS" "Premium_SSD_ZRS" "Standard_HDD_LRS" "Standard_SSD_LRS" 'Standard_SSD_ZRS' (obligatorio) |
FlinkCatalogOptions
Nombre | Descripción | Valor |
---|---|---|
colmena | Opción de catálogo de Hive para el clúster de Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
FlinkJobProfile
Nombre | Descripción | Valor |
---|---|---|
args | Propiedad de cadena que representa argumentos JVM adicionales para el trabajo de Flink. Debe ser un valor separado por espacio. | cuerda |
entryClass | Propiedad de cadena que especifica la clase de entrada para el trabajo de Flink. Si no se especifica, el punto de entrada se detecta automáticamente desde el paquete jar del trabajo flink. | cuerda |
jarName | Propiedad de cadena que representa el nombre del archivo JAR del trabajo. | string (obligatorio) |
jobJarDirectory | Propiedad de cadena que especifica el directorio donde se encuentra el archivo JAR del trabajo. | string (obligatorio) |
savePointName | Propiedad de cadena que representa el nombre del punto de guardado para el trabajo de Flink | cuerda |
upgradeMode | Propiedad de cadena que indica el modo de actualización que se va a realizar en el trabajo de Flink. Puede tener uno de los siguientes valores de enumeración => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | "LAST_STATE_UPDATE" "STATELESS_UPDATE" 'UPDATE' (obligatorio) |
FlinkProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Flink. | |
deploymentMode | Propiedad de cadena que indica el modo de implementación del clúster de Flink. Puede tener uno de los siguientes valores de enumeración => Application, Session. El valor predeterminado es Session | 'Aplicación' 'Sesión' |
historyServer | Requisitos de CPU y memoria del servidor de historial | ComputeResourceDefinition |
jobManager | Requisitos de CPU y memoria de proceso de Job Manager | computeResourceDefinition (obligatorio) |
jobSpec | Especificaciones de trabajo para clústeres de flink en modo de implementación de aplicaciones. La especificación es inmutable incluso si se cambian las propiedades del trabajo mediante una llamada a runJob API, use listJob API para obtener la información más reciente del trabajo. | FlinkJobProfile |
numReplicas | Número de administradores de tareas. | Int |
almacenamiento | El perfil de almacenamiento | FlinkStorageProfile (obligatorio) |
taskManager | Requisitos de CPU y memoria del contenedor o proceso del Administrador de tareas | computeResourceDefinition (obligatorio) |
FlinkStorageProfile
Nombre | Descripción | Valor |
---|---|---|
storagekey | La clave de almacenamiento solo es necesaria para el almacenamiento wasb(s). | cuerda Restricciones: Valor confidencial. Pase como parámetro seguro. |
storageUri | URI de la cuenta de almacenamiento que se usa para el estado de punto de comprobación y de punto de comprobación. | cuerda Restricciones: Patrón = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obligatorio) |
HiveCatalogOption
Nombre | Descripción | Valor |
---|---|---|
catalogName | Nombre del catálogo de trino que debe usar el metastore de Hive especificado. | cuerda Restricciones: Longitud mínima = 1 (obligatorio) |
metastoreDbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nombre de referencia de secreto de secretsProfile.secrets que contiene la contraseña para la conexión de base de datos. | cuerda |
metastoreDbConnectionURL | Cadena de conexión para la base de datos de metastore de Hive. | string (obligatorio) |
metastoreDbConnectionUserName | Nombre de usuario para la conexión de base de datos. | cuerda |
metastoreWarehouseDir | URI del directorio raíz de metastore, formato: abfs[s]://<contenedor>@<account_name>ruta de acceso .dfs.core.windows.net/<>. Más detalles: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obligatorio) |
IdentityProfile
Nombre | Descripción | Valor |
---|---|---|
msiClientId | ClientId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiObjectId | ObjectId del MSI. | cuerda Restricciones: Patrón = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obligatorio) |
msiResourceId | ResourceId del MSI. | string (obligatorio) |
KafkaProfile
LoadBasedConfig
Nombre | Descripción | Valor |
---|---|---|
cooldownPeriod | Se trata de un período de tiempo de esporádico, es un período de tiempo en segundos, que determina la cantidad de tiempo que debe transcurrir entre una actividad de escalado iniciada por una regla y el inicio de la siguiente actividad de escalado, independientemente de la regla que la desencadene. El valor predeterminado es 300 segundos. | Int |
maxNodes | El usuario debe establecer el número máximo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
minNodes | El usuario debe establecer el número mínimo de nodos para el escalado basado en carga, el escalado basado en la carga lo usará para escalar verticalmente y reducir verticalmente entre el número mínimo y máximo de nodos. | int (obligatorio) |
pollInterval | El usuario puede especificar el intervalo de sondeo, este es el período de tiempo (en segundos) después del cual se sondean las métricas de escalado para desencadenar una operación de escalado. | Int |
scalingRules | Reglas de escalado. | ScalingRule[] (obligatorio) |
Microsoft.HDInsight/clusterpools/clusters
Nombre | Descripción | Valor |
---|---|---|
ubicación | Ubicación geográfica donde reside el recurso | string (obligatorio) |
nombre | El nombre del recurso | string (obligatorio) |
parent_id | Identificador del recurso que es el elemento primario de este recurso. | Identificador del recurso de tipo: clústeres |
Propiedades | Obtiene o establece las propiedades. Defina propiedades específicas del clúster. | ClusterResourceProperties |
Etiquetas | Etiquetas de recursos | Diccionario de nombres y valores de etiqueta. |
tipo | El tipo de recurso | "Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview" |
NodeProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de máquinas virtuales. | Int Restricciones: Valor mínimo = 1 (obligatorio) |
tipo | Tipo de nodo. | cuerda Restricciones: Patrón = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obligatorio) |
vmSize | SKU de máquina virtual. | cuerda Restricciones: Patrón = ^[a-zA-Z0-9_\-]{0,256}$ (obligatorio) |
RangerAdminSpec
Nombre | Descripción | Valor |
---|---|---|
administradores | Lista de nombres de usuario que se deben marcar como administradores de ranger. Estos nombres de usuario deben coincidir con el nombre principal de usuario (UPN) de los usuarios de AAD respectivos. | string[] (obligatorio) |
base de datos | rangerAdminSpecDatabase (obligatorio) |
RangerAdminSpecDatabase
Nombre | Descripción | Valor |
---|---|---|
anfitrión | Dirección URL de la base de datos | string (obligatorio) |
nombre | El nombre de la base de datos | string (obligatorio) |
passwordSecretRef | Referencia de la contraseña de la base de datos | cuerda |
nombre de usuario | Nombre del usuario de la base de datos | cuerda |
RangerAuditSpec
Nombre | Descripción | Valor |
---|---|---|
storageAccount | Ubicación de Azure Storage de los blobs. MSI debe tener acceso de lectura y escritura a esta cuenta de almacenamiento. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
RangerProfile
Nombre | Descripción | Valor |
---|---|---|
rangerAdmin | Especificación del servicio de administración de Ranger. | RangerAdminSpec (obligatorio) |
rangerAudit | Propiedades necesarias para describir el almacenamiento del registro de auditoría. | RangerAuditSpec |
rangerUsersync | Especificación del servicio Ranger Usersync | RangerUsersyncSpec (obligatorio) |
RangerUsersyncSpec
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si se debe habilitar el servicio usersync. | Bool |
grupos | Lista de grupos que se deben sincronizar. Estos nombres de grupo deben coincidir con el identificador de objeto de los grupos de AAD respectivos. | string[] |
modo | Los grupos de & de usuario se pueden sincronizar automáticamente o a través de una lista estática que se actualiza. | 'automático' 'static' |
userMappingLocation | Ubicación de almacenamiento de Azure de un archivo de asignación que enumera las asociaciones de grupo de usuarios &. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
Usuarios | Lista de nombres de usuario que se deben sincronizar. Estos nombres de usuario deben coincidir con el nombre principal de usuario de los usuarios de AAD correspondientes. | string[] |
ScalingRule
Nombre | Descripción | Valor |
---|---|---|
actionType | Tipo de acción. | "reducción horizontal" 'scaleup' (obligatorio) |
comparisonRule | Regla de comparación. | ComparisonRule (obligatorio) |
evaluationCount | Se trata de un recuento de evaluación para una condición de escalado, el número de veces que se debe realizar correctamente una condición de desencadenador antes de que se desencadene la actividad de escalado. | int (obligatorio) |
scalingMetric | Nombre de métricas para cargas de trabajo individuales. Por ejemplo: cpu | string (obligatorio) |
Horario
Nombre | Descripción | Valor |
---|---|---|
contar | El usuario debe establecer el número de nodos previsto al final de la operación de escalado de la configuración de programación actual establecida, el formato es entero. | int (obligatorio) |
Días | El usuario debe establecer los días en los que se debe establecer la programación para la operación de escalado automático. | Matriz de cadenas que contiene cualquiera de: 'Viernes' "Lunes" 'Sábado' 'Domingo' 'Jueves' "Martes" 'Miércoles' (obligatorio) |
endTime | El usuario tiene que establecer la hora de finalización de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
startTime | El usuario tiene que establecer la hora de inicio de la configuración de programación actual, formato como 10:30 (HH:MM). | cuerda Restricciones: Patrón = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obligatorio) |
ScheduleBasedConfig
Nombre | Descripción | Valor |
---|---|---|
defaultCount | Establecer el número de nodos predeterminado de la configuración de programación actual. El recuento de nodos predeterminado especifica el número de nodos que son predeterminados cuando se ejecuta una operación de escalado especificada (escalado vertical o reducción vertical) | int (obligatorio) |
Horarios | Esto especifica las programaciones en las que se habilitará la escalabilidad automática basada en programación, el usuario tiene la opción de establecer varias reglas dentro de la programación en días y horas (inicio y fin). | programación[] (obligatorio) |
timeZone | El usuario debe especificar la zona horaria en la que se debe establecer la programación para la configuración de escalado automático basado en programación. | string (obligatorio) |
ScriptActionProfile
Nombre | Descripción | Valor |
---|---|---|
nombre | Nombre del script. | string (obligatorio) |
Parámetros | Parámetros adicionales para la acción de script. Debe ser una lista separada por espacios de argumentos necesarios para la ejecución del script. | cuerda |
servicios | Lista de servicios para aplicar la acción de script. | string[] (obligatorio) |
shouldPersist | Especifique si el script debe conservarse en el clúster. | Bool |
timeoutInMinutes | Duración del tiempo de espera de la acción del script en minutos. | Int |
tipo | Tipo de la acción de script. El tipo admitido es scripts de Bash. | string (obligatorio) |
URL | Dirección URL del archivo de script. | cuerda Restricciones: Patrón = ^(https)|(http)://.*$ (obligatorio) |
SecretReference
Nombre | Descripción | Valor |
---|---|---|
keyVaultObjectName | Nombre del identificador de objeto del secreto en el almacén de claves. | cuerda Restricciones: Patrón = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obligatorio) |
referenceName | Nombre de referencia del secreto que se va a usar en las configuraciones de servicio. | string (obligatorio) |
tipo | Tipo de objeto de almacén de claves: secreto, clave o certificado. | 'Certificado' 'Clave' 'Secreto' (obligatorio) |
Versión | Versión del secreto en el almacén de claves. | cuerda |
SecretsProfile
Nombre | Descripción | Valor |
---|---|---|
keyVaultResourceId | Nombre del almacén de claves de usuario donde se almacenan todos los secretos de usuario específicos del clúster. | string (obligatorio) |
Secretos | Propiedades del secreto de Key Vault. | SecretReference[] |
SparkMetastoreSpec
Nombre | Descripción | Valor |
---|---|---|
dbConnectionAuthenticationMode | Modo de autenticación para conectarse a la base de datos de metastore de Hive. Más detalles: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbName | Nombre de la base de datos. | string (obligatorio) |
dbPasswordSecretName | Nombre del secreto que contiene la contraseña de usuario de la base de datos. | cuerda |
dbServerHost | Host del servidor de base de datos. | string (obligatorio) |
dbUserName | Nombre de usuario de la base de datos. | cuerda |
keyVaultId | Identificador de recurso del almacén de claves. | cuerda |
thriftUrl | Dirección URL de thrift. | cuerda |
SparkProfile
SparkUserPlugin
Nombre | Descripción | Valor |
---|---|---|
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ (obligatorio) |
SparkUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Spark. | SparkUserPlugin [] |
SshProfile
Nombre | Descripción | Valor |
---|---|---|
contar | Número de pods ssh por clúster. | Int Restricciones: Valor mínimo = 0 Valor máximo = 5 (obligatorio) |
TrackedResourceTags
Nombre | Descripción | Valor |
---|
TrinoCoordinator
TrinoDebugConfig
Nombre | Descripción | Valor |
---|---|---|
habilitar | Marca que si habilita la depuración o no. | Bool |
puerto | Puerto de depuración. | Int |
suspender | Marca que si suspende la depuración o no. | Bool |
TrinoProfile
Nombre | Descripción | Valor |
---|---|---|
catalogOptions | Opciones del catálogo de clústeres de Trino. | CatalogOptions de |
coordinador | Coordinador de Trino. | TrinoCoordinator |
userPluginsSpec | Especificación de complementos de usuario de Trino | TrinoUserPlugins |
userTelemetrySpec | Telemetría de usuario | TrinoUserTelemetry |
trabajador | Trabajador de Trino. | TrinoWorker |
TrinoTelemetryConfig
Nombre | Descripción | Valor |
---|---|---|
hivecatalogName | Nombre del catálogo de Hive que se usa para montar tablas externas en los registros escritos por trino, si no se especifica que no se creen tablas. | cuerda Restricciones: Longitud mínima = 1 |
hivecatalogSchema | Esquema del catálogo anterior que se va a usar para montar registros de consulta como tablas externas, si no se especifican tablas, se montarán en trinologs de esquema. | cuerda |
partitionRetentionInDays | Período de retención para las particiones de la tabla de registro de consultas, esto no afecta a los datos reales. | Int |
camino | Ubicación de Azure Storage de los blobs. | cuerda Restricciones: Longitud mínima = 1 |
TrinoUserPlugin
Nombre | Descripción | Valor |
---|---|---|
Habilitado | Indica si el complemento está activo o no. | Bool |
nombre | Este campo se asigna al subdirectorio en la ubicación de los complementos de trino, que contendrá todos los complementos en la ruta de acceso. | cuerda Restricciones: Longitud mínima = 1 |
camino | Ruta de acceso completa a la carpeta que contiene los complementos. | cuerda Restricciones: Longitud mínima = 1 Patrón = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Nombre | Descripción | Valor |
---|---|---|
complementos | Complementos de usuario de Trino. | TrinoUserPlugin [] |
TrinoUserTelemetry
Nombre | Descripción | Valor |
---|---|---|
almacenamiento | Definición de telemetría de usuario de Trino. | TrinoTelemetryConfig |
TrinoWorker
Nombre | Descripción | Valor |
---|---|---|
depurar | Configuración de depuración de Trino. | TrinoDebugConfig |