Clusterpools/clusters do Microsoft.HDInsight 2024-05-01-preview
Definição de recursos do bíceps
O tipo de recurso clusterpools/clusters pode ser implantado com operações que visam:
- Grupos de recursos - Consulte comandos de implantação de grupo de recursos
Para obter uma lista de propriedades alteradas em cada versão da API, consulte log de alterações.
Formato do recurso
Para criar um recurso Microsoft.HDInsight/clusterpools/clusters, adicione o seguinte Bicep ao seu modelo.
resource symbolicname 'Microsoft.HDInsight/clusterpools/clusters@2024-05-01-preview' = {
parent: resourceSymbolicName
location: 'string'
name: 'string'
properties: {
clusterProfile: {
authorizationProfile: {
groupIds: [
'string'
]
userIds: [
'string'
]
}
autoscaleProfile: {
autoscaleType: 'string'
enabled: bool
gracefulDecommissionTimeout: int
loadBasedConfig: {
cooldownPeriod: int
maxNodes: int
minNodes: int
pollInterval: int
scalingRules: [
{
actionType: 'string'
comparisonRule: {
operator: 'string'
threshold: int
}
evaluationCount: int
scalingMetric: 'string'
}
]
}
scheduleBasedConfig: {
defaultCount: int
schedules: [
{
count: int
days: [
'string'
]
endTime: 'string'
startTime: 'string'
}
]
timeZone: 'string'
}
}
clusterAccessProfile: {
enableInternalIngress: bool
}
clusterVersion: 'string'
flinkProfile: {
catalogOptions: {
hive: {
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
}
}
deploymentMode: 'string'
historyServer: {
cpu: int
memory: int
}
jobManager: {
cpu: int
memory: int
}
jobSpec: {
args: 'string'
entryClass: 'string'
jarName: 'string'
jobJarDirectory: 'string'
savePointName: 'string'
upgradeMode: 'string'
}
numReplicas: int
storage: {
storagekey: 'string'
storageUri: 'string'
}
taskManager: {
cpu: int
memory: int
}
}
identityProfile: {
msiClientId: 'string'
msiObjectId: 'string'
msiResourceId: 'string'
}
kafkaProfile: {
diskStorage: {
dataDiskSize: int
dataDiskType: 'string'
}
enableKRaft: bool
enablePublicEndpoints: bool
remoteStorageUri: 'string'
}
llapProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
logAnalyticsProfile: {
applicationLogs: {
stdErrorEnabled: bool
stdOutEnabled: bool
}
enabled: bool
metricsEnabled: bool
}
managedIdentityProfile: {
identityList: [
{
clientId: 'string'
objectId: 'string'
resourceId: 'string'
type: 'string'
}
]
}
ossVersion: 'string'
prometheusProfile: {
enabled: bool
}
rangerPluginProfile: {
enabled: bool
}
rangerProfile: {
rangerAdmin: {
admins: [
'string'
]
database: {
host: 'string'
name: 'string'
passwordSecretRef: 'string'
username: 'string'
}
}
rangerAudit: {
storageAccount: 'string'
}
rangerUsersync: {
enabled: bool
groups: [
'string'
]
mode: 'string'
userMappingLocation: 'string'
users: [
'string'
]
}
}
scriptActionProfiles: [
{
name: 'string'
parameters: 'string'
services: [
'string'
]
shouldPersist: bool
timeoutInMinutes: int
type: 'string'
url: 'string'
}
]
secretsProfile: {
keyVaultResourceId: 'string'
secrets: [
{
keyVaultObjectName: 'string'
referenceName: 'string'
type: 'string'
version: 'string'
}
]
}
serviceConfigsProfiles: [
{
configs: [
{
component: 'string'
files: [
{
content: 'string'
encoding: 'string'
fileName: 'string'
path: 'string'
values: {
{customized property}: 'string'
}
}
]
}
]
serviceName: 'string'
}
]
sparkProfile: {
defaultStorageUrl: 'string'
metastoreSpec: {
dbConnectionAuthenticationMode: 'string'
dbName: 'string'
dbPasswordSecretName: 'string'
dbServerHost: 'string'
dbUserName: 'string'
keyVaultId: 'string'
thriftUrl: 'string'
}
userPluginsSpec: {
plugins: [
{
path: 'string'
}
]
}
}
sshProfile: {
count: int
vmSize: 'string'
}
stubProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
trinoProfile: {
catalogOptions: {
hive: [
{
catalogName: 'string'
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
metastoreWarehouseDir: 'string'
}
]
}
coordinator: {
debug: {
enable: bool
port: int
suspend: bool
}
highAvailabilityEnabled: bool
}
userPluginsSpec: {
plugins: [
{
enabled: bool
name: 'string'
path: 'string'
}
]
}
userTelemetrySpec: {
storage: {
hivecatalogName: 'string'
hivecatalogSchema: 'string'
partitionRetentionInDays: int
path: 'string'
}
}
worker: {
debug: {
enable: bool
port: int
suspend: bool
}
}
}
}
clusterType: 'string'
computeProfile: {
availabilityZones: [
'string'
]
nodes: [
{
count: int
type: 'string'
vmSize: 'string'
}
]
}
}
tags: {
{customized property}: 'string'
}
}
Valores de propriedade
AuthorizationProfile
Designação | Descrição | Valor |
---|---|---|
groupIds | Ids de grupo do AAD autorizados para acesso ao plano de dados. | string[] |
userIds | Ids de usuário do AAD autorizados para acesso ao plano de dados. | string[] |
AutoscaleProfile
CatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opções de catálogo do Hive. | HiveCatalogOption[] |
ClusterAccessProfile
Designação | Descrição | Valor |
---|---|---|
enableInternalIngress | Se deseja criar cluster usando IP privado em vez de IP público. Esta propriedade deve ser definida em tempo de criação. | bool (obrigatório) |
ClusterConfigFile
ClusterConfigFileValues
Designação | Descrição | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Designação | Descrição | Valor |
---|---|---|
stdErrorEnabled | True se stderror estiver habilitado, caso contrário, false. | Bool |
stdOutEnabled | True se stdout estiver habilitado, caso contrário, false. | Bool |
ClusterLogAnalyticsProfile
ClusterProfile
Designação | Descrição | Valor |
---|---|---|
authorizationPerfil | Perfil de autorização com detalhes de IDs de usuário do AAD e IDs de grupo autorizados para acesso ao plano de dados. | AuthorizationProfile (obrigatório) |
autoscaleProfile | Este é o perfil de dimensionamento automático para o cluster. Isso permitirá que o cliente crie clusters habilitados com o Autoscale. | AutoscaleProfile |
clusterAccessProfile | Perfil de acesso ao cluster. | ClusterAccessProfile |
clusterVersion | Versão com 3/4 parte. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obrigatório) |
flinkProfile | O perfil do cluster Flink. | FlinkProfile |
identityProfile | Isso foi preterido. Em vez disso, use o perfil de identidade gerenciado. | IdentityProfile |
kafkaPerfil | O perfil do cluster de Kafka. | KafkaProfile |
llapPerfil | Perfil de cluster LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análise de log de cluster para habilitar ou desabilitar o agente do OMS para cluster. | ClusterLogAnalyticsProfile |
managedIdentityProfile | Esta propriedade é exigida pelo cluster Trino, Spark e Flink, mas é opcional para o cluster Kafka. | ManagedIdentityProfile |
ossVersão | Versão com três partes. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obrigatório) |
prometheusPerfil | Perfil do Cluster Prometheus. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil do plugin Cluster Ranger. | ClusterRangerPluginProfile |
rangerPerfil | O perfil do cluster ranger. | RangerProfile |
scriptActionProfiles | A lista de perfis de ação de script. | ScriptActionProfile [] |
segredosPerfil | O perfil secreto do cluster. | SecretsPerfil |
serviceConfigsProfiles | O serviço configura perfis. | ClusterServiceConfigsProfile[] |
faíscaPerfil | O perfil do cluster de faísca. | SparkProfile |
sshProfile | Perfil Ssh para o cluster. | SshProfile |
stubProfile | Perfil do cluster de stub. | ClusterProfileStubProfile |
trinoPerfil | Perfil do Trino Cluster. | TrinoProfile |
ClusterProfileLlapProfile
Designação | Descrição | Valor |
---|
ClusterProfileStubProfile
Designação | Descrição | Valor |
---|
ClusterPrometheusProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Prometheus para cluster ou não. | bool (obrigatório) |
ClusterRangerPluginProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Ranger para cluster ou não. | bool (obrigatório) |
ClusterResourceProperties
ClusterServiceConfig
Designação | Descrição | Valor |
---|---|---|
componente | Nome do componente ao qual os arquivos de configuração devem se aplicar. | string (obrigatório) |
ficheiros | Lista de arquivos de configuração. | ClusterConfigFile[] (obrigatório) |
ClusterServiceConfigsProfile
Designação | Descrição | Valor |
---|---|---|
configurações | Lista de configurações de serviço. | ClusterServiceConfig[] (obrigatório) |
nome_do_serviço | Nome do serviço ao qual as configurações devem se aplicar. | string (obrigatório) |
Regra de comparação
Designação | Descrição | Valor |
---|---|---|
Operador | O operador de comparação. | 'MaiorQue' 'maiorThanOrEqual' 'MenosQue' 'lessThanOrEqual' (obrigatório) |
limiar | Definição de limites. | int (obrigatório) |
ComputeProfile
Designação | Descrição | Valor |
---|---|---|
disponibilidadeZonas | A lista de zonas de disponibilidade a serem usadas para nós AKS VMSS. | string[] |
nós | As definições de nós. | NodeProfile[] (obrigatório) |
ComputeResourceDefinition
Designação | Descrição | Valor |
---|---|---|
CPU | A CPU necessária. | int (obrigatório) |
memória | A memória necessária em MB, memória de contêiner será percentil 110 | int (obrigatório) |
DiskStorageProfile
Designação | Descrição | Valor |
---|---|---|
dataDiskSize | Tamanho do disco gerenciado em GB. O tamanho máximo de disco suportado para HDD/SSD Standard e Premium é de 32TB, exceto para SSD Premium v2, que suporta até 64TB. | int (obrigatório) |
dataDiskType | Tipo de disco gerenciado. | 'Premium_SSD_LRS' 'Premium_SSD_v2_LRS' 'Premium_SSD_ZRS' 'Standard_HDD_LRS' 'Standard_SSD_LRS' 'Standard_SSD_ZRS' (obrigatório) |
FlinkCatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opção de catálogo do Hive para cluster Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
FlinkJobProfile
Designação | Descrição | Valor |
---|---|---|
Args | Uma propriedade string que representa argumentos JVM adicionais para o trabalho Flink. Deve ser um valor separado por espaço. | string |
entryClasse | Uma propriedade string que especifica a classe de entrada para o trabalho Flink. Se não for especificado, o ponto de entrada será detetado automaticamente a partir do pacote flink job jar. | string |
jarName | Uma propriedade string que representa o nome do trabalho JAR. | string (obrigatório) |
jobJarDirectory | Uma propriedade string que especifica o diretório onde o JAR do trabalho está localizado. | string (obrigatório) |
savePointName | Uma propriedade string que representa o nome do savepoint para o trabalho Flink | string |
upgradeMode | Uma propriedade string que indica o modo de atualização a ser executado no trabalho Flink. Ele pode ter um dos seguintes valores de enum => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | 'LAST_STATE_UPDATE' 'STATELESS_UPDATE' 'UPDATE' (obrigatório) |
FlinkProfile
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções do catálogo do cluster Flink. | FlinkCatalogOptions |
deploymentMode | Uma propriedade string que indica o modo de implantação do cluster Flink. Ele pode ter um dos seguintes valores enum => Application, Session. O valor padrão é Session | 'Aplicação' 'Sessão' |
historyServer | Contêiner do servidor de histórico/requisitos de CPU e memória de processo | ComputeResourceDefinition |
gestor de emprego | Requisitos de contêiner/CPU e memória de processo do Job Manager | ComputeResourceDefinition (obrigatório) |
jobSpec | Especificações de trabalho para clusters flink no modo de implantação de aplicativos. A especificação é imutável, mesmo que as propriedades do trabalho sejam alteradas chamando a API RunJob, use a API ListJob para obter as informações de trabalho mais recentes. | FlinkJobProfile |
numRéplicas | O número de gerentes de tarefas. | Int |
armazenamento | O perfil de armazenamento | FlinkStorageProfile (obrigatório) |
gestor de tarefas | Requisitos de CPU e memória do contêiner/processo do Gerenciador de Tarefas | ComputeResourceDefinition (obrigatório) |
FlinkStorageProfile
Designação | Descrição | Valor |
---|---|---|
chave de armazenamento | A chave de armazenamento só é necessária para o armazenamento de wasb(s). | string Restrições: Valor sensível. Passe como um parâmetro seguro. |
storageUri | Uri da conta de armazenamento que é usado para o estado de savepoint e checkpoint. | string Restrições: Padrão = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obrigatório) |
HiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
nome_do_catálogo | Nome do catálogo trino que deve usar metastore hive especificado. | string Restrições: Comprimento mínimo = 1 (obrigatório) |
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
metastoreWarehouseDir | URI do diretório raiz do Metastore, formato: abfs[s]://<container>@<account_name>caminho .dfs.core.windows.net/<>. Mais detalhes: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obrigatório) |
Perfil de Identidade
Designação | Descrição | Valor |
---|---|---|
msiClientId | ClientId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiObjectId | ObjectId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiResourceId | ResourceId do MSI. | string (obrigatório) |
KafkaPerfil
LoadBasedConfig
Designação | Descrição | Valor |
---|---|---|
período de arrefecimento | Este é um período de resfriamento, este é um período de tempo em segundos, que determina a quantidade de tempo que deve decorrer entre uma atividade de dimensionamento iniciada por uma regra e o início da próxima atividade de dimensionamento, independentemente da regra que a aciona. O valor padrão é 300 segundos. | Int |
maxNós | O usuário precisa definir o número máximo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
minNodes | O usuário precisa definir o número mínimo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
pollInterval | O usuário pode especificar o intervalo de sondagem, este é o período de tempo (em segundos) após o qual as métricas de dimensionamento são sondadas para acionar uma operação de dimensionamento. | Int |
Regras de dimensionamento | As regras de escala. | ScalingRule[] (obrigatório) |
ManagedIdentityProfile
Designação | Descrição | Valor |
---|---|---|
identityList | A lista de identidade gerenciada. | ManagedIdentitySpec [] (obrigatório) |
ManagedIdentitySpec
Designação | Descrição | Valor |
---|---|---|
ID do cliente | ClientId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
objectId | ObjectId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
resourceId | ResourceId da identidade gerenciada. | string (obrigatório) |
tipo | O tipo de identidade gerenciada. | 'Aglomeração' 'interna' 'utilizador' (obrigatório) |
Microsoft.HDInsight/clusterpools/clusters
Designação | Descrição | Valor |
---|---|---|
Localização | A geolocalização onde o recurso vive | string (obrigatório) |
Designação | O nome do recurso | string (obrigatório) |
pai | No Bicep, você pode especificar o recurso pai para um recurso filho. Você só precisa adicionar essa propriedade quando o recurso filho é declarado fora do recurso pai. Para obter mais informações, consulte recurso filho fora do recurso pai. |
Nome simbólico para recurso do tipo: clusterpools |
propriedades | Obtém ou define as propriedades. Defina propriedades específicas do cluster. | ClusterResourceProperties |
Etiquetas | Tags de recursos | Dicionário de nomes e valores de tags. Consulte Tags em modelos |
NodeProfile
Designação | Descrição | Valor |
---|---|---|
contagem | O número de máquinas virtuais. | Int Restrições: Valor mínimo = 0 (obrigatório) |
tipo | O tipo de nó. | string Restrições: Padrão = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ (obrigatório) |
RangerAdminSpec
RangerAdminSpecDatabase
Designação | Descrição | Valor |
---|---|---|
anfitrião | O URL do banco de dados | string (obrigatório) |
Designação | O nome do banco de dados | string (obrigatório) |
senhaSecretRef | Referência para a senha do banco de dados | string |
nome de utilizador | O nome do usuário do banco de dados | string |
RangerAuditSpec
Designação | Descrição | Valor |
---|---|---|
storageAccount | Local de armazenamento do Azure dos blobs. A MSI deve ter acesso de leitura/gravação a essa conta de armazenamento. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
RangerProfile
RangerUsersyncSpec
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o serviço usersync deve ser habilitado | Bool |
Publicações | Lista de grupos que devem ser sincronizados. Esses nomes de grupo devem corresponder à id do objeto dos respetivos grupos do AAD. | string[] |
modo | Os grupos de & de usuários podem ser sincronizados automaticamente ou por meio de uma lista estática atualizada. | 'Automático' 'estática' |
userMappingLocation | Local de armazenamento do Azure de um arquivo de mapeamento que lista associações de usuário & grupo. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
utilizadores | Lista de nomes de usuário que devem ser sincronizados. Esses nomes de usuário devem corresponder ao nome principal do usuário dos respetivos usuários do AAD. | string[] |
ScalingRule
Designação | Descrição | Valor |
---|---|---|
actionType | O tipo de ação. | 'Redução de escala' 'scaleup' (obrigatório) |
comparaçãoRegra | A regra de comparação. | ComparisonRule (obrigatório) |
avaliaçãoContagem | Esta é uma contagem de avaliação para uma condição de escala, o número de vezes que uma condição de gatilho deve ser bem-sucedida, antes que a atividade de dimensionamento seja acionada. | int (obrigatório) |
scalingMetric | Nome das métricas para cargas de trabalho individuais. Por exemplo: cpu | string (obrigatório) |
Horário
Designação | Descrição | Valor |
---|---|---|
contagem | O usuário tem que definir a contagem de nós prevista no final da operação de dimensionamento da configuração de agendamento atual definida, o formato é inteiro. | int (obrigatório) |
Dias | O usuário tem que definir os dias em que o cronograma deve ser definido para a operação de escala automática. | Matriz de cadeia de caracteres contendo qualquer uma das: 'Sexta-feira' 'Segunda-feira' 'Sábado' 'Domingo' 'Quinta-feira' 'Terça-feira' 'Quarta-feira' (obrigatório) |
Tempo de Fim | O usuário tem que definir a hora de término da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
startTime | O usuário tem que definir a hora de início da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
ScheduleBasedConfig
Designação | Descrição | Valor |
---|---|---|
defaultCount | Definição da contagem de nós padrão da configuração de agenda atual. A contagem de nós padrão especifica o número de nós que são padrão quando uma operação de dimensionamento especificada é executada (escalar/reduzir) | int (obrigatório) |
horários | Isso especifica as agendas em que o Autoscale baseado em agendamento deve ser habilitado, o usuário tem a opção de definir várias regras dentro do cronograma em dias e horários (início/fim). | Cronograma[] (obrigatório) |
Fuso horário | O usuário deve especificar o fuso horário no qual o agendamento deve ser definido para a configuração de escala automática baseada em agendamento. | string (obrigatório) |
ScriptActionProfile
Designação | Descrição | Valor |
---|---|---|
Designação | Nome do script. | string (obrigatório) |
Parâmetros | Parâmetros adicionais para a ação de script. Deve ser uma lista separada por espaços dos argumentos necessários para a execução do script. | string |
serviços | Lista de serviços para aplicar a ação de script. | string[] (obrigatório) |
devePersistir | Especifique se o script deve persistir no cluster. | Bool |
timeoutInMinutes | Duração do tempo limite para a ação de script em minutos. | Int |
tipo | Tipo de ação de script. O tipo suportado é scripts bash. | string (obrigatório) |
URL | Url do arquivo de script. | string Restrições: Padrão = ^(https)|(http)://.*$ (obrigatório) |
SecretReference
Designação | Descrição | Valor |
---|---|---|
keyVaultObjectName | Nome do identificador de objeto do segredo no cofre de chaves. | string Restrições: Padrão = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obrigatório) |
nome_referência | Nome de referência do segredo a ser usado nas configurações de serviço. | string (obrigatório) |
tipo | Tipo de objeto do cofre de chaves: segredo, chave ou certificado. | 'Certificado' 'Chave' 'Secreto' (obrigatório) |
Versão | Versão do segredo no cofre das chaves. | string |
SegredosPerfil
SparkMetastoreSpec
Designação | Descrição | Valor |
---|---|---|
dbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbNome | O nome do banco de dados. | string (obrigatório) |
dbPasswordSecretName | O nome secreto que contém a senha de usuário do banco de dados. | string |
dbServerHost | O host do servidor de banco de dados. | string (obrigatório) |
dbUserName | O nome de usuário do banco de dados. | string |
keyVaultId | A ID do recurso do cofre de chaves. | string |
thriftUrl | A url do brechó. | string |
SparkProfile
Designação | Descrição | Valor |
---|---|---|
defaultStorageUrl | A URL de armazenamento padrão. | string |
metastoreSpec | A especificação do metastore para o cluster Spark. | SparkMetastoreSpec |
userPluginsSpec | Especificação de plugins de usuário do Spark | SparkUserPlugins |
SparkUserPlugin
Designação | Descrição | Valor |
---|---|---|
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ (obrigatório) |
SparkUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Plug-ins de usuário do Spark. | SparkUserPlugin[] |
SshProfile
Designação | Descrição | Valor |
---|---|---|
contagem | Número de vagens ssh por aglomerado. | Int Restrições: Valor mínimo = 0 Valor máximo = 5 (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ |
TrackedResourceTags
Designação | Descrição | Valor |
---|
TrinoCoordenador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |
highAvailabilityEnabled | O sinalizador que, se habilitar a HA do coordenador, usa várias réplicas de coordenador com failover automático, uma por cada nó principal. Padrão: true. | Bool |
TrinoDebugConfig
Designação | Descrição | Valor |
---|---|---|
ativar | O sinalizador que se habilitar depurar ou não. | Bool |
porto | A porta de depuração. | Int |
suspender | O sinalizador que se suspende depurar ou não. | Bool |
TrinoPerfil
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções de catálogo de cluster Trino. | CatalogOptions |
Coordenador | Coordenador do Trino. | TrinoCoordenador |
userPluginsSpec | Trino usuário plugins spec | TrinoUserPlugins |
usuárioTelemetrySpec | Telemetria do usuário | TrinoUserTelemetry |
trabalhador | Trino trabalhador. | TrinoWorker |
TrinoTelemetryConfig
Designação | Descrição | Valor |
---|---|---|
hivecatalogName | Hive Nome do catálogo usado para montar tabelas externas nos logs escritos pelo trino, se não especificado lá tabelas não são criadas. | string Restrições: Comprimento mínimo = 1 |
hivecatalogSchema | Esquema do catálogo acima para usar, para montar logs de consulta como tabelas externas, se não especificado tabelas serão montadas em trinologs de esquema. | string |
partitionRetentionInDays | Período de retenção para partições de tabela de log de consulta, isso não afeta os dados reais. | Int |
caminho | Local de armazenamento do Azure dos blobs. | string Restrições: Comprimento mínimo = 1 |
TrinoUserPlugin
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o plugin está ativo ou não. | Bool |
Designação | Este campo mapeia para o subdiretório na localização de plugins trino, que conterá todos os plugins no caminho. | string Restrições: Comprimento mínimo = 1 |
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Trino plugins de usuário. | TrinoUserPlugin[] |
TrinoUserTelemetry
Designação | Descrição | Valor |
---|---|---|
armazenamento | Definição de telemetria do usuário Trino. | TrinoTelemetryConfig |
TrinoTrabalhador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |
Definição de recurso de modelo ARM
O tipo de recurso clusterpools/clusters pode ser implantado com operações que visam:
- Grupos de recursos - Consulte comandos de implantação de grupo de recursos
Para obter uma lista de propriedades alteradas em cada versão da API, consulte log de alterações.
Formato do recurso
Para criar um recurso Microsoft.HDInsight/clusterpools/clusters, adicione o seguinte JSON ao seu modelo.
{
"type": "Microsoft.HDInsight/clusterpools/clusters",
"apiVersion": "2024-05-01-preview",
"name": "string",
"location": "string",
"properties": {
"clusterProfile": {
"authorizationProfile": {
"groupIds": [ "string" ],
"userIds": [ "string" ]
},
"autoscaleProfile": {
"autoscaleType": "string",
"enabled": "bool",
"gracefulDecommissionTimeout": "int",
"loadBasedConfig": {
"cooldownPeriod": "int",
"maxNodes": "int",
"minNodes": "int",
"pollInterval": "int",
"scalingRules": [
{
"actionType": "string",
"comparisonRule": {
"operator": "string",
"threshold": "int"
},
"evaluationCount": "int",
"scalingMetric": "string"
}
]
},
"scheduleBasedConfig": {
"defaultCount": "int",
"schedules": [
{
"count": "int",
"days": [ "string" ],
"endTime": "string",
"startTime": "string"
}
],
"timeZone": "string"
}
},
"clusterAccessProfile": {
"enableInternalIngress": "bool"
},
"clusterVersion": "string",
"flinkProfile": {
"catalogOptions": {
"hive": {
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string"
}
},
"deploymentMode": "string",
"historyServer": {
"cpu": "int",
"memory": "int"
},
"jobManager": {
"cpu": "int",
"memory": "int"
},
"jobSpec": {
"args": "string",
"entryClass": "string",
"jarName": "string",
"jobJarDirectory": "string",
"savePointName": "string",
"upgradeMode": "string"
},
"numReplicas": "int",
"storage": {
"storagekey": "string",
"storageUri": "string"
},
"taskManager": {
"cpu": "int",
"memory": "int"
}
},
"identityProfile": {
"msiClientId": "string",
"msiObjectId": "string",
"msiResourceId": "string"
},
"kafkaProfile": {
"diskStorage": {
"dataDiskSize": "int",
"dataDiskType": "string"
},
"enableKRaft": "bool",
"enablePublicEndpoints": "bool",
"remoteStorageUri": "string"
},
"llapProfile": {
"{customized property}": {}
},
"logAnalyticsProfile": {
"applicationLogs": {
"stdErrorEnabled": "bool",
"stdOutEnabled": "bool"
},
"enabled": "bool",
"metricsEnabled": "bool"
},
"managedIdentityProfile": {
"identityList": [
{
"clientId": "string",
"objectId": "string",
"resourceId": "string",
"type": "string"
}
]
},
"ossVersion": "string",
"prometheusProfile": {
"enabled": "bool"
},
"rangerPluginProfile": {
"enabled": "bool"
},
"rangerProfile": {
"rangerAdmin": {
"admins": [ "string" ],
"database": {
"host": "string",
"name": "string",
"passwordSecretRef": "string",
"username": "string"
}
},
"rangerAudit": {
"storageAccount": "string"
},
"rangerUsersync": {
"enabled": "bool",
"groups": [ "string" ],
"mode": "string",
"userMappingLocation": "string",
"users": [ "string" ]
}
},
"scriptActionProfiles": [
{
"name": "string",
"parameters": "string",
"services": [ "string" ],
"shouldPersist": "bool",
"timeoutInMinutes": "int",
"type": "string",
"url": "string"
}
],
"secretsProfile": {
"keyVaultResourceId": "string",
"secrets": [
{
"keyVaultObjectName": "string",
"referenceName": "string",
"type": "string",
"version": "string"
}
]
},
"serviceConfigsProfiles": [
{
"configs": [
{
"component": "string",
"files": [
{
"content": "string",
"encoding": "string",
"fileName": "string",
"path": "string",
"values": {
"{customized property}": "string"
}
}
]
}
],
"serviceName": "string"
}
],
"sparkProfile": {
"defaultStorageUrl": "string",
"metastoreSpec": {
"dbConnectionAuthenticationMode": "string",
"dbName": "string",
"dbPasswordSecretName": "string",
"dbServerHost": "string",
"dbUserName": "string",
"keyVaultId": "string",
"thriftUrl": "string"
},
"userPluginsSpec": {
"plugins": [
{
"path": "string"
}
]
}
},
"sshProfile": {
"count": "int",
"vmSize": "string"
},
"stubProfile": {
"{customized property}": {}
},
"trinoProfile": {
"catalogOptions": {
"hive": [
{
"catalogName": "string",
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string",
"metastoreWarehouseDir": "string"
}
]
},
"coordinator": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
},
"highAvailabilityEnabled": "bool"
},
"userPluginsSpec": {
"plugins": [
{
"enabled": "bool",
"name": "string",
"path": "string"
}
]
},
"userTelemetrySpec": {
"storage": {
"hivecatalogName": "string",
"hivecatalogSchema": "string",
"partitionRetentionInDays": "int",
"path": "string"
}
},
"worker": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
}
}
}
},
"clusterType": "string",
"computeProfile": {
"availabilityZones": [ "string" ],
"nodes": [
{
"count": "int",
"type": "string",
"vmSize": "string"
}
]
}
},
"tags": {
"{customized property}": "string"
}
}
Valores de propriedade
AuthorizationProfile
Designação | Descrição | Valor |
---|---|---|
groupIds | Ids de grupo do AAD autorizados para acesso ao plano de dados. | string[] |
userIds | Ids de usuário do AAD autorizados para acesso ao plano de dados. | string[] |
AutoscaleProfile
CatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opções de catálogo do Hive. | HiveCatalogOption[] |
ClusterAccessProfile
Designação | Descrição | Valor |
---|---|---|
enableInternalIngress | Se deseja criar cluster usando IP privado em vez de IP público. Esta propriedade deve ser definida em tempo de criação. | bool (obrigatório) |
ClusterConfigFile
ClusterConfigFileValues
Designação | Descrição | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Designação | Descrição | Valor |
---|---|---|
stdErrorEnabled | True se stderror estiver habilitado, caso contrário, false. | Bool |
stdOutEnabled | True se stdout estiver habilitado, caso contrário, false. | Bool |
ClusterLogAnalyticsProfile
ClusterProfile
Designação | Descrição | Valor |
---|---|---|
authorizationPerfil | Perfil de autorização com detalhes de IDs de usuário do AAD e IDs de grupo autorizados para acesso ao plano de dados. | AuthorizationProfile (obrigatório) |
autoscaleProfile | Este é o perfil de dimensionamento automático para o cluster. Isso permitirá que o cliente crie clusters habilitados com o Autoscale. | AutoscaleProfile |
clusterAccessProfile | Perfil de acesso ao cluster. | ClusterAccessProfile |
clusterVersion | Versão com 3/4 parte. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obrigatório) |
flinkProfile | O perfil do cluster Flink. | FlinkProfile |
identityProfile | Isso foi preterido. Em vez disso, use o perfil de identidade gerenciado. | IdentityProfile |
kafkaPerfil | O perfil do cluster de Kafka. | KafkaProfile |
llapPerfil | Perfil de cluster LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análise de log de cluster para habilitar ou desabilitar o agente do OMS para cluster. | ClusterLogAnalyticsProfile |
managedIdentityProfile | Esta propriedade é exigida pelo cluster Trino, Spark e Flink, mas é opcional para o cluster Kafka. | ManagedIdentityProfile |
ossVersão | Versão com três partes. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obrigatório) |
prometheusPerfil | Perfil do Cluster Prometheus. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil do plugin Cluster Ranger. | ClusterRangerPluginProfile |
rangerPerfil | O perfil do cluster ranger. | RangerProfile |
scriptActionProfiles | A lista de perfis de ação de script. | ScriptActionProfile [] |
segredosPerfil | O perfil secreto do cluster. | SecretsPerfil |
serviceConfigsProfiles | O serviço configura perfis. | ClusterServiceConfigsProfile[] |
faíscaPerfil | O perfil do cluster de faísca. | SparkProfile |
sshProfile | Perfil Ssh para o cluster. | SshProfile |
stubProfile | Perfil do cluster de stub. | ClusterProfileStubProfile |
trinoPerfil | Perfil do Trino Cluster. | TrinoProfile |
ClusterProfileLlapProfile
Designação | Descrição | Valor |
---|
ClusterProfileStubProfile
Designação | Descrição | Valor |
---|
ClusterPrometheusProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Prometheus para cluster ou não. | bool (obrigatório) |
ClusterRangerPluginProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Ranger para cluster ou não. | bool (obrigatório) |
ClusterResourceProperties
ClusterServiceConfig
Designação | Descrição | Valor |
---|---|---|
componente | Nome do componente ao qual os arquivos de configuração devem se aplicar. | string (obrigatório) |
ficheiros | Lista de arquivos de configuração. | ClusterConfigFile[] (obrigatório) |
ClusterServiceConfigsProfile
Designação | Descrição | Valor |
---|---|---|
configurações | Lista de configurações de serviço. | ClusterServiceConfig[] (obrigatório) |
nome_do_serviço | Nome do serviço ao qual as configurações devem se aplicar. | string (obrigatório) |
Regra de comparação
Designação | Descrição | Valor |
---|---|---|
Operador | O operador de comparação. | 'MaiorQue' 'maiorThanOrEqual' 'MenosQue' 'lessThanOrEqual' (obrigatório) |
limiar | Definição de limites. | int (obrigatório) |
ComputeProfile
Designação | Descrição | Valor |
---|---|---|
disponibilidadeZonas | A lista de zonas de disponibilidade a serem usadas para nós AKS VMSS. | string[] |
nós | As definições de nós. | NodeProfile[] (obrigatório) |
ComputeResourceDefinition
Designação | Descrição | Valor |
---|---|---|
CPU | A CPU necessária. | int (obrigatório) |
memória | A memória necessária em MB, memória de contêiner será percentil 110 | int (obrigatório) |
DiskStorageProfile
Designação | Descrição | Valor |
---|---|---|
dataDiskSize | Tamanho do disco gerenciado em GB. O tamanho máximo de disco suportado para HDD/SSD Standard e Premium é de 32TB, exceto para SSD Premium v2, que suporta até 64TB. | int (obrigatório) |
dataDiskType | Tipo de disco gerenciado. | 'Premium_SSD_LRS' 'Premium_SSD_v2_LRS' 'Premium_SSD_ZRS' 'Standard_HDD_LRS' 'Standard_SSD_LRS' 'Standard_SSD_ZRS' (obrigatório) |
FlinkCatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opção de catálogo do Hive para cluster Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
FlinkJobProfile
Designação | Descrição | Valor |
---|---|---|
Args | Uma propriedade string que representa argumentos JVM adicionais para o trabalho Flink. Deve ser um valor separado por espaço. | string |
entryClasse | Uma propriedade string que especifica a classe de entrada para o trabalho Flink. Se não for especificado, o ponto de entrada será detetado automaticamente a partir do pacote flink job jar. | string |
jarName | Uma propriedade string que representa o nome do trabalho JAR. | string (obrigatório) |
jobJarDirectory | Uma propriedade string que especifica o diretório onde o JAR do trabalho está localizado. | string (obrigatório) |
savePointName | Uma propriedade string que representa o nome do savepoint para o trabalho Flink | string |
upgradeMode | Uma propriedade string que indica o modo de atualização a ser executado no trabalho Flink. Ele pode ter um dos seguintes valores de enum => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | 'LAST_STATE_UPDATE' 'STATELESS_UPDATE' 'UPDATE' (obrigatório) |
FlinkProfile
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções do catálogo do cluster Flink. | FlinkCatalogOptions |
deploymentMode | Uma propriedade string que indica o modo de implantação do cluster Flink. Ele pode ter um dos seguintes valores enum => Application, Session. O valor padrão é Session | 'Aplicação' 'Sessão' |
historyServer | Contêiner do servidor de histórico/requisitos de CPU e memória de processo | ComputeResourceDefinition |
gestor de emprego | Requisitos de contêiner/CPU e memória de processo do Job Manager | ComputeResourceDefinition (obrigatório) |
jobSpec | Especificações de trabalho para clusters flink no modo de implantação de aplicativos. A especificação é imutável, mesmo que as propriedades do trabalho sejam alteradas chamando a API RunJob, use a API ListJob para obter as informações de trabalho mais recentes. | FlinkJobProfile |
numRéplicas | O número de gerentes de tarefas. | Int |
armazenamento | O perfil de armazenamento | FlinkStorageProfile (obrigatório) |
gestor de tarefas | Requisitos de CPU e memória do contêiner/processo do Gerenciador de Tarefas | ComputeResourceDefinition (obrigatório) |
FlinkStorageProfile
Designação | Descrição | Valor |
---|---|---|
chave de armazenamento | A chave de armazenamento só é necessária para o armazenamento de wasb(s). | string Restrições: Valor sensível. Passe como um parâmetro seguro. |
storageUri | Uri da conta de armazenamento que é usado para o estado de savepoint e checkpoint. | string Restrições: Padrão = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obrigatório) |
HiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
nome_do_catálogo | Nome do catálogo trino que deve usar metastore hive especificado. | string Restrições: Comprimento mínimo = 1 (obrigatório) |
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
metastoreWarehouseDir | URI do diretório raiz do Metastore, formato: abfs[s]://<container>@<account_name>caminho .dfs.core.windows.net/<>. Mais detalhes: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obrigatório) |
Perfil de Identidade
Designação | Descrição | Valor |
---|---|---|
msiClientId | ClientId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiObjectId | ObjectId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiResourceId | ResourceId do MSI. | string (obrigatório) |
KafkaPerfil
LoadBasedConfig
Designação | Descrição | Valor |
---|---|---|
período de arrefecimento | Este é um período de resfriamento, este é um período de tempo em segundos, que determina a quantidade de tempo que deve decorrer entre uma atividade de dimensionamento iniciada por uma regra e o início da próxima atividade de dimensionamento, independentemente da regra que a aciona. O valor padrão é 300 segundos. | Int |
maxNós | O usuário precisa definir o número máximo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
minNodes | O usuário precisa definir o número mínimo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
pollInterval | O usuário pode especificar o intervalo de sondagem, este é o período de tempo (em segundos) após o qual as métricas de dimensionamento são sondadas para acionar uma operação de dimensionamento. | Int |
Regras de dimensionamento | As regras de escala. | ScalingRule[] (obrigatório) |
ManagedIdentityProfile
Designação | Descrição | Valor |
---|---|---|
identityList | A lista de identidade gerenciada. | ManagedIdentitySpec [] (obrigatório) |
ManagedIdentitySpec
Designação | Descrição | Valor |
---|---|---|
ID do cliente | ClientId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
objectId | ObjectId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
resourceId | ResourceId da identidade gerenciada. | string (obrigatório) |
tipo | O tipo de identidade gerenciada. | 'Aglomeração' 'interna' 'utilizador' (obrigatório) |
Microsoft.HDInsight/clusterpools/clusters
Designação | Descrição | Valor |
---|---|---|
apiVersion | A versão api | '2024-05-01-pré-visualização' |
Localização | A geolocalização onde o recurso vive | string (obrigatório) |
Designação | O nome do recurso | string (obrigatório) |
propriedades | Obtém ou define as propriedades. Defina propriedades específicas do cluster. | ClusterResourceProperties |
Etiquetas | Tags de recursos | Dicionário de nomes e valores de tags. Consulte Tags em modelos |
tipo | O tipo de recurso | 'Microsoft.HDInsight/clusterpools/clusters' |
NodeProfile
Designação | Descrição | Valor |
---|---|---|
contagem | O número de máquinas virtuais. | Int Restrições: Valor mínimo = 0 (obrigatório) |
tipo | O tipo de nó. | string Restrições: Padrão = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ (obrigatório) |
RangerAdminSpec
RangerAdminSpecDatabase
Designação | Descrição | Valor |
---|---|---|
anfitrião | O URL do banco de dados | string (obrigatório) |
Designação | O nome do banco de dados | string (obrigatório) |
senhaSecretRef | Referência para a senha do banco de dados | string |
nome de utilizador | O nome do usuário do banco de dados | string |
RangerAuditSpec
Designação | Descrição | Valor |
---|---|---|
storageAccount | Local de armazenamento do Azure dos blobs. A MSI deve ter acesso de leitura/gravação a essa conta de armazenamento. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
RangerProfile
RangerUsersyncSpec
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o serviço usersync deve ser habilitado | Bool |
Publicações | Lista de grupos que devem ser sincronizados. Esses nomes de grupo devem corresponder à id do objeto dos respetivos grupos do AAD. | string[] |
modo | Os grupos de & de usuários podem ser sincronizados automaticamente ou por meio de uma lista estática atualizada. | 'Automático' 'estática' |
userMappingLocation | Local de armazenamento do Azure de um arquivo de mapeamento que lista associações de usuário & grupo. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
utilizadores | Lista de nomes de usuário que devem ser sincronizados. Esses nomes de usuário devem corresponder ao nome principal do usuário dos respetivos usuários do AAD. | string[] |
ScalingRule
Designação | Descrição | Valor |
---|---|---|
actionType | O tipo de ação. | 'Redução de escala' 'scaleup' (obrigatório) |
comparaçãoRegra | A regra de comparação. | ComparisonRule (obrigatório) |
avaliaçãoContagem | Esta é uma contagem de avaliação para uma condição de escala, o número de vezes que uma condição de gatilho deve ser bem-sucedida, antes que a atividade de dimensionamento seja acionada. | int (obrigatório) |
scalingMetric | Nome das métricas para cargas de trabalho individuais. Por exemplo: cpu | string (obrigatório) |
Horário
Designação | Descrição | Valor |
---|---|---|
contagem | O usuário tem que definir a contagem de nós prevista no final da operação de dimensionamento da configuração de agendamento atual definida, o formato é inteiro. | int (obrigatório) |
Dias | O usuário tem que definir os dias em que o cronograma deve ser definido para a operação de escala automática. | Matriz de cadeia de caracteres contendo qualquer uma das: 'Sexta-feira' 'Segunda-feira' 'Sábado' 'Domingo' 'Quinta-feira' 'Terça-feira' 'Quarta-feira' (obrigatório) |
Tempo de Fim | O usuário tem que definir a hora de término da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
startTime | O usuário tem que definir a hora de início da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
ScheduleBasedConfig
Designação | Descrição | Valor |
---|---|---|
defaultCount | Definição da contagem de nós padrão da configuração de agenda atual. A contagem de nós padrão especifica o número de nós que são padrão quando uma operação de dimensionamento especificada é executada (escalar/reduzir) | int (obrigatório) |
horários | Isso especifica as agendas em que o Autoscale baseado em agendamento deve ser habilitado, o usuário tem a opção de definir várias regras dentro do cronograma em dias e horários (início/fim). | Cronograma[] (obrigatório) |
Fuso horário | O usuário deve especificar o fuso horário no qual o agendamento deve ser definido para a configuração de escala automática baseada em agendamento. | string (obrigatório) |
ScriptActionProfile
Designação | Descrição | Valor |
---|---|---|
Designação | Nome do script. | string (obrigatório) |
Parâmetros | Parâmetros adicionais para a ação de script. Deve ser uma lista separada por espaços dos argumentos necessários para a execução do script. | string |
serviços | Lista de serviços para aplicar a ação de script. | string[] (obrigatório) |
devePersistir | Especifique se o script deve persistir no cluster. | Bool |
timeoutInMinutes | Duração do tempo limite para a ação de script em minutos. | Int |
tipo | Tipo de ação de script. O tipo suportado é scripts bash. | string (obrigatório) |
URL | Url do arquivo de script. | string Restrições: Padrão = ^(https)|(http)://.*$ (obrigatório) |
SecretReference
Designação | Descrição | Valor |
---|---|---|
keyVaultObjectName | Nome do identificador de objeto do segredo no cofre de chaves. | string Restrições: Padrão = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obrigatório) |
nome_referência | Nome de referência do segredo a ser usado nas configurações de serviço. | string (obrigatório) |
tipo | Tipo de objeto do cofre de chaves: segredo, chave ou certificado. | 'Certificado' 'Chave' 'Secreto' (obrigatório) |
Versão | Versão do segredo no cofre das chaves. | string |
SegredosPerfil
SparkMetastoreSpec
Designação | Descrição | Valor |
---|---|---|
dbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbNome | O nome do banco de dados. | string (obrigatório) |
dbPasswordSecretName | O nome secreto que contém a senha de usuário do banco de dados. | string |
dbServerHost | O host do servidor de banco de dados. | string (obrigatório) |
dbUserName | O nome de usuário do banco de dados. | string |
keyVaultId | A ID do recurso do cofre de chaves. | string |
thriftUrl | A url do brechó. | string |
SparkProfile
Designação | Descrição | Valor |
---|---|---|
defaultStorageUrl | A URL de armazenamento padrão. | string |
metastoreSpec | A especificação do metastore para o cluster Spark. | SparkMetastoreSpec |
userPluginsSpec | Especificação de plugins de usuário do Spark | SparkUserPlugins |
SparkUserPlugin
Designação | Descrição | Valor |
---|---|---|
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ (obrigatório) |
SparkUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Plug-ins de usuário do Spark. | SparkUserPlugin[] |
SshProfile
Designação | Descrição | Valor |
---|---|---|
contagem | Número de vagens ssh por aglomerado. | Int Restrições: Valor mínimo = 0 Valor máximo = 5 (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ |
TrackedResourceTags
Designação | Descrição | Valor |
---|
TrinoCoordenador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |
highAvailabilityEnabled | O sinalizador que, se habilitar a HA do coordenador, usa várias réplicas de coordenador com failover automático, uma por cada nó principal. Padrão: true. | Bool |
TrinoDebugConfig
Designação | Descrição | Valor |
---|---|---|
ativar | O sinalizador que se habilitar depurar ou não. | Bool |
porto | A porta de depuração. | Int |
suspender | O sinalizador que se suspende depurar ou não. | Bool |
TrinoPerfil
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções de catálogo de cluster Trino. | CatalogOptions |
Coordenador | Coordenador do Trino. | TrinoCoordenador |
userPluginsSpec | Trino usuário plugins spec | TrinoUserPlugins |
usuárioTelemetrySpec | Telemetria do usuário | TrinoUserTelemetry |
trabalhador | Trino trabalhador. | TrinoWorker |
TrinoTelemetryConfig
Designação | Descrição | Valor |
---|---|---|
hivecatalogName | Hive Nome do catálogo usado para montar tabelas externas nos logs escritos pelo trino, se não especificado lá tabelas não são criadas. | string Restrições: Comprimento mínimo = 1 |
hivecatalogSchema | Esquema do catálogo acima para usar, para montar logs de consulta como tabelas externas, se não especificado tabelas serão montadas em trinologs de esquema. | string |
partitionRetentionInDays | Período de retenção para partições de tabela de log de consulta, isso não afeta os dados reais. | Int |
caminho | Local de armazenamento do Azure dos blobs. | string Restrições: Comprimento mínimo = 1 |
TrinoUserPlugin
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o plugin está ativo ou não. | Bool |
Designação | Este campo mapeia para o subdiretório na localização de plugins trino, que conterá todos os plugins no caminho. | string Restrições: Comprimento mínimo = 1 |
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Trino plugins de usuário. | TrinoUserPlugin[] |
TrinoUserTelemetry
Designação | Descrição | Valor |
---|---|---|
armazenamento | Definição de telemetria do usuário Trino. | TrinoTelemetryConfig |
TrinoTrabalhador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |
Definição de recursos Terraform (provedor AzAPI)
O tipo de recurso clusterpools/clusters pode ser implantado com operações que visam:
- Grupos de recursos
Para obter uma lista de propriedades alteradas em cada versão da API, consulte log de alterações.
Formato do recurso
Para criar um recurso Microsoft.HDInsight/clusterpools/clusters, adicione o seguinte Terraform ao seu modelo.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.HDInsight/clusterpools/clusters@2024-05-01-preview"
name = "string"
location = "string"
tags = {
{customized property} = "string"
}
body = jsonencode({
properties = {
clusterProfile = {
authorizationProfile = {
groupIds = [
"string"
]
userIds = [
"string"
]
}
autoscaleProfile = {
autoscaleType = "string"
enabled = bool
gracefulDecommissionTimeout = int
loadBasedConfig = {
cooldownPeriod = int
maxNodes = int
minNodes = int
pollInterval = int
scalingRules = [
{
actionType = "string"
comparisonRule = {
operator = "string"
threshold = int
}
evaluationCount = int
scalingMetric = "string"
}
]
}
scheduleBasedConfig = {
defaultCount = int
schedules = [
{
count = int
days = [
"string"
]
endTime = "string"
startTime = "string"
}
]
timeZone = "string"
}
}
clusterAccessProfile = {
enableInternalIngress = bool
}
clusterVersion = "string"
flinkProfile = {
catalogOptions = {
hive = {
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
}
}
deploymentMode = "string"
historyServer = {
cpu = int
memory = int
}
jobManager = {
cpu = int
memory = int
}
jobSpec = {
args = "string"
entryClass = "string"
jarName = "string"
jobJarDirectory = "string"
savePointName = "string"
upgradeMode = "string"
}
numReplicas = int
storage = {
storagekey = "string"
storageUri = "string"
}
taskManager = {
cpu = int
memory = int
}
}
identityProfile = {
msiClientId = "string"
msiObjectId = "string"
msiResourceId = "string"
}
kafkaProfile = {
diskStorage = {
dataDiskSize = int
dataDiskType = "string"
}
enableKRaft = bool
enablePublicEndpoints = bool
remoteStorageUri = "string"
}
llapProfile = {
{customized property} = ?
}
logAnalyticsProfile = {
applicationLogs = {
stdErrorEnabled = bool
stdOutEnabled = bool
}
enabled = bool
metricsEnabled = bool
}
managedIdentityProfile = {
identityList = [
{
clientId = "string"
objectId = "string"
resourceId = "string"
type = "string"
}
]
}
ossVersion = "string"
prometheusProfile = {
enabled = bool
}
rangerPluginProfile = {
enabled = bool
}
rangerProfile = {
rangerAdmin = {
admins = [
"string"
]
database = {
host = "string"
name = "string"
passwordSecretRef = "string"
username = "string"
}
}
rangerAudit = {
storageAccount = "string"
}
rangerUsersync = {
enabled = bool
groups = [
"string"
]
mode = "string"
userMappingLocation = "string"
users = [
"string"
]
}
}
scriptActionProfiles = [
{
name = "string"
parameters = "string"
services = [
"string"
]
shouldPersist = bool
timeoutInMinutes = int
type = "string"
url = "string"
}
]
secretsProfile = {
keyVaultResourceId = "string"
secrets = [
{
keyVaultObjectName = "string"
referenceName = "string"
type = "string"
version = "string"
}
]
}
serviceConfigsProfiles = [
{
configs = [
{
component = "string"
files = [
{
content = "string"
encoding = "string"
fileName = "string"
path = "string"
values = {
{customized property} = "string"
}
}
]
}
]
serviceName = "string"
}
]
sparkProfile = {
defaultStorageUrl = "string"
metastoreSpec = {
dbConnectionAuthenticationMode = "string"
dbName = "string"
dbPasswordSecretName = "string"
dbServerHost = "string"
dbUserName = "string"
keyVaultId = "string"
thriftUrl = "string"
}
userPluginsSpec = {
plugins = [
{
path = "string"
}
]
}
}
sshProfile = {
count = int
vmSize = "string"
}
stubProfile = {
{customized property} = ?
}
trinoProfile = {
catalogOptions = {
hive = [
{
catalogName = "string"
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
metastoreWarehouseDir = "string"
}
]
}
coordinator = {
debug = {
enable = bool
port = int
suspend = bool
}
highAvailabilityEnabled = bool
}
userPluginsSpec = {
plugins = [
{
enabled = bool
name = "string"
path = "string"
}
]
}
userTelemetrySpec = {
storage = {
hivecatalogName = "string"
hivecatalogSchema = "string"
partitionRetentionInDays = int
path = "string"
}
}
worker = {
debug = {
enable = bool
port = int
suspend = bool
}
}
}
}
clusterType = "string"
computeProfile = {
availabilityZones = [
"string"
]
nodes = [
{
count = int
type = "string"
vmSize = "string"
}
]
}
}
})
}
Valores de propriedade
AuthorizationProfile
Designação | Descrição | Valor |
---|---|---|
groupIds | Ids de grupo do AAD autorizados para acesso ao plano de dados. | string[] |
userIds | Ids de usuário do AAD autorizados para acesso ao plano de dados. | string[] |
AutoscaleProfile
CatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opções de catálogo do Hive. | HiveCatalogOption[] |
ClusterAccessProfile
Designação | Descrição | Valor |
---|---|---|
enableInternalIngress | Se deseja criar cluster usando IP privado em vez de IP público. Esta propriedade deve ser definida em tempo de criação. | bool (obrigatório) |
ClusterConfigFile
ClusterConfigFileValues
Designação | Descrição | Valor |
---|
ClusterLogAnalyticsApplicationLogs
Designação | Descrição | Valor |
---|---|---|
stdErrorEnabled | True se stderror estiver habilitado, caso contrário, false. | Bool |
stdOutEnabled | True se stdout estiver habilitado, caso contrário, false. | Bool |
ClusterLogAnalyticsProfile
ClusterProfile
Designação | Descrição | Valor |
---|---|---|
authorizationPerfil | Perfil de autorização com detalhes de IDs de usuário do AAD e IDs de grupo autorizados para acesso ao plano de dados. | AuthorizationProfile (obrigatório) |
autoscaleProfile | Este é o perfil de dimensionamento automático para o cluster. Isso permitirá que o cliente crie clusters habilitados com o Autoscale. | AutoscaleProfile |
clusterAccessProfile | Perfil de acesso ao cluster. | ClusterAccessProfile |
clusterVersion | Versão com 3/4 parte. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ (obrigatório) |
flinkProfile | O perfil do cluster Flink. | FlinkProfile |
identityProfile | Isso foi preterido. Em vez disso, use o perfil de identidade gerenciado. | IdentityProfile |
kafkaPerfil | O perfil do cluster de Kafka. | KafkaProfile |
llapPerfil | Perfil de cluster LLAP. | ClusterProfileLlapProfile |
logAnalyticsProfile | Perfil de análise de log de cluster para habilitar ou desabilitar o agente do OMS para cluster. | ClusterLogAnalyticsProfile |
managedIdentityProfile | Esta propriedade é exigida pelo cluster Trino, Spark e Flink, mas é opcional para o cluster Kafka. | ManagedIdentityProfile |
ossVersão | Versão com três partes. | string Restrições: Padrão = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ (obrigatório) |
prometheusPerfil | Perfil do Cluster Prometheus. | ClusterPrometheusProfile |
rangerPluginProfile | Perfil do plugin Cluster Ranger. | ClusterRangerPluginProfile |
rangerPerfil | O perfil do cluster ranger. | RangerProfile |
scriptActionProfiles | A lista de perfis de ação de script. | ScriptActionProfile [] |
segredosPerfil | O perfil secreto do cluster. | SecretsPerfil |
serviceConfigsProfiles | O serviço configura perfis. | ClusterServiceConfigsProfile[] |
faíscaPerfil | O perfil do cluster de faísca. | SparkProfile |
sshProfile | Perfil Ssh para o cluster. | SshProfile |
stubProfile | Perfil do cluster de stub. | ClusterProfileStubProfile |
trinoPerfil | Perfil do Trino Cluster. | TrinoProfile |
ClusterProfileLlapProfile
Designação | Descrição | Valor |
---|
ClusterProfileStubProfile
Designação | Descrição | Valor |
---|
ClusterPrometheusProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Prometheus para cluster ou não. | bool (obrigatório) |
ClusterRangerPluginProfile
Designação | Descrição | Valor |
---|---|---|
ativado | Habilite o Ranger para cluster ou não. | bool (obrigatório) |
ClusterResourceProperties
ClusterServiceConfig
Designação | Descrição | Valor |
---|---|---|
componente | Nome do componente ao qual os arquivos de configuração devem se aplicar. | string (obrigatório) |
ficheiros | Lista de arquivos de configuração. | ClusterConfigFile[] (obrigatório) |
ClusterServiceConfigsProfile
Designação | Descrição | Valor |
---|---|---|
configurações | Lista de configurações de serviço. | ClusterServiceConfig[] (obrigatório) |
nome_do_serviço | Nome do serviço ao qual as configurações devem se aplicar. | string (obrigatório) |
Regra de comparação
Designação | Descrição | Valor |
---|---|---|
Operador | O operador de comparação. | 'MaiorQue' 'maiorThanOrEqual' 'MenosQue' 'lessThanOrEqual' (obrigatório) |
limiar | Definição de limites. | int (obrigatório) |
ComputeProfile
Designação | Descrição | Valor |
---|---|---|
disponibilidadeZonas | A lista de zonas de disponibilidade a serem usadas para nós AKS VMSS. | string[] |
nós | As definições de nós. | NodeProfile[] (obrigatório) |
ComputeResourceDefinition
Designação | Descrição | Valor |
---|---|---|
CPU | A CPU necessária. | int (obrigatório) |
memória | A memória necessária em MB, memória de contêiner será percentil 110 | int (obrigatório) |
DiskStorageProfile
Designação | Descrição | Valor |
---|---|---|
dataDiskSize | Tamanho do disco gerenciado em GB. O tamanho máximo de disco suportado para HDD/SSD Standard e Premium é de 32TB, exceto para SSD Premium v2, que suporta até 64TB. | int (obrigatório) |
dataDiskType | Tipo de disco gerenciado. | 'Premium_SSD_LRS' 'Premium_SSD_v2_LRS' 'Premium_SSD_ZRS' 'Standard_HDD_LRS' 'Standard_SSD_LRS' 'Standard_SSD_ZRS' (obrigatório) |
FlinkCatalogOptions
Designação | Descrição | Valor |
---|---|---|
colmeia | Opção de catálogo do Hive para cluster Flink. | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
FlinkJobProfile
Designação | Descrição | Valor |
---|---|---|
Args | Uma propriedade string que representa argumentos JVM adicionais para o trabalho Flink. Deve ser um valor separado por espaço. | string |
entryClasse | Uma propriedade string que especifica a classe de entrada para o trabalho Flink. Se não for especificado, o ponto de entrada será detetado automaticamente a partir do pacote flink job jar. | string |
jarName | Uma propriedade string que representa o nome do trabalho JAR. | string (obrigatório) |
jobJarDirectory | Uma propriedade string que especifica o diretório onde o JAR do trabalho está localizado. | string (obrigatório) |
savePointName | Uma propriedade string que representa o nome do savepoint para o trabalho Flink | string |
upgradeMode | Uma propriedade string que indica o modo de atualização a ser executado no trabalho Flink. Ele pode ter um dos seguintes valores de enum => STATELESS_UPDATE, UPDATE, LAST_STATE_UPDATE. | 'LAST_STATE_UPDATE' 'STATELESS_UPDATE' 'UPDATE' (obrigatório) |
FlinkProfile
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções do catálogo do cluster Flink. | FlinkCatalogOptions |
deploymentMode | Uma propriedade string que indica o modo de implantação do cluster Flink. Ele pode ter um dos seguintes valores enum => Application, Session. O valor padrão é Session | 'Aplicação' 'Sessão' |
historyServer | Contêiner do servidor de histórico/requisitos de CPU e memória de processo | ComputeResourceDefinition |
gestor de emprego | Requisitos de contêiner/CPU e memória de processo do Job Manager | ComputeResourceDefinition (obrigatório) |
jobSpec | Especificações de trabalho para clusters flink no modo de implantação de aplicativos. A especificação é imutável, mesmo que as propriedades do trabalho sejam alteradas chamando a API RunJob, use a API ListJob para obter as informações de trabalho mais recentes. | FlinkJobProfile |
numRéplicas | O número de gerentes de tarefas. | Int |
armazenamento | O perfil de armazenamento | FlinkStorageProfile (obrigatório) |
gestor de tarefas | Requisitos de CPU e memória do contêiner/processo do Gerenciador de Tarefas | ComputeResourceDefinition (obrigatório) |
FlinkStorageProfile
Designação | Descrição | Valor |
---|---|---|
chave de armazenamento | A chave de armazenamento só é necessária para o armazenamento de wasb(s). | string Restrições: Valor sensível. Passe como um parâmetro seguro. |
storageUri | Uri da conta de armazenamento que é usado para o estado de savepoint e checkpoint. | string Restrições: Padrão = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ (obrigatório) |
HiveCatalogOption
Designação | Descrição | Valor |
---|---|---|
nome_do_catálogo | Nome do catálogo trino que deve usar metastore hive especificado. | string Restrições: Comprimento mínimo = 1 (obrigatório) |
metastoreDbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
metastoreDbConnectionPasswordSecret | Nome de referência secreto de secretsProfile.secrets que contém senha para conexão de banco de dados. | string |
metastoreDbConnectionURL | Cadeia de conexão para banco de dados de metastore hive. | string (obrigatório) |
metastoreDbConnectionUserName | Nome de usuário para conexão de banco de dados. | string |
metastoreWarehouseDir | URI do diretório raiz do Metastore, formato: abfs[s]://<container>@<account_name>caminho .dfs.core.windows.net/<>. Mais detalhes: /azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string (obrigatório) |
Perfil de Identidade
Designação | Descrição | Valor |
---|---|---|
msiClientId | ClientId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiObjectId | ObjectId do MSI. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
msiResourceId | ResourceId do MSI. | string (obrigatório) |
KafkaPerfil
LoadBasedConfig
Designação | Descrição | Valor |
---|---|---|
período de arrefecimento | Este é um período de resfriamento, este é um período de tempo em segundos, que determina a quantidade de tempo que deve decorrer entre uma atividade de dimensionamento iniciada por uma regra e o início da próxima atividade de dimensionamento, independentemente da regra que a aciona. O valor padrão é 300 segundos. | Int |
maxNós | O usuário precisa definir o número máximo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
minNodes | O usuário precisa definir o número mínimo de nós para o dimensionamento baseado em carga, o dimensionamento baseado em carga usará isso para aumentar e diminuir entre o número mínimo e máximo de nós. | int (obrigatório) |
pollInterval | O usuário pode especificar o intervalo de sondagem, este é o período de tempo (em segundos) após o qual as métricas de dimensionamento são sondadas para acionar uma operação de dimensionamento. | Int |
Regras de dimensionamento | As regras de escala. | ScalingRule[] (obrigatório) |
ManagedIdentityProfile
Designação | Descrição | Valor |
---|---|---|
identityList | A lista de identidade gerenciada. | ManagedIdentitySpec [] (obrigatório) |
ManagedIdentitySpec
Designação | Descrição | Valor |
---|---|---|
ID do cliente | ClientId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
objectId | ObjectId da identidade gerenciada. | string Restrições: Padrão = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ (obrigatório) |
resourceId | ResourceId da identidade gerenciada. | string (obrigatório) |
tipo | O tipo de identidade gerenciada. | 'Aglomeração' 'interna' 'utilizador' (obrigatório) |
Microsoft.HDInsight/clusterpools/clusters
Designação | Descrição | Valor |
---|---|---|
Localização | A geolocalização onde o recurso vive | string (obrigatório) |
Designação | O nome do recurso | string (obrigatório) |
parent_id | A ID do recurso que é o pai para este recurso. | ID do recurso do tipo: clusterpools |
propriedades | Obtém ou define as propriedades. Defina propriedades específicas do cluster. | ClusterResourceProperties |
Etiquetas | Tags de recursos | Dicionário de nomes e valores de tags. |
tipo | O tipo de recurso | "Microsoft.HDInsight/clusterpools/clusters@2024-05-01-preview" |
NodeProfile
Designação | Descrição | Valor |
---|---|---|
contagem | O número de máquinas virtuais. | Int Restrições: Valor mínimo = 0 (obrigatório) |
tipo | O tipo de nó. | string Restrições: Padrão = ^(head|Head|HEAD|worker|Worker|WORKER)$ (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ (obrigatório) |
RangerAdminSpec
RangerAdminSpecDatabase
Designação | Descrição | Valor |
---|---|---|
anfitrião | O URL do banco de dados | string (obrigatório) |
Designação | O nome do banco de dados | string (obrigatório) |
senhaSecretRef | Referência para a senha do banco de dados | string |
nome de utilizador | O nome do usuário do banco de dados | string |
RangerAuditSpec
Designação | Descrição | Valor |
---|---|---|
storageAccount | Local de armazenamento do Azure dos blobs. A MSI deve ter acesso de leitura/gravação a essa conta de armazenamento. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
RangerProfile
RangerUsersyncSpec
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o serviço usersync deve ser habilitado | Bool |
Publicações | Lista de grupos que devem ser sincronizados. Esses nomes de grupo devem corresponder à id do objeto dos respetivos grupos do AAD. | string[] |
modo | Os grupos de & de usuários podem ser sincronizados automaticamente ou por meio de uma lista estática atualizada. | 'Automático' 'estática' |
userMappingLocation | Local de armazenamento do Azure de um arquivo de mapeamento que lista associações de usuário & grupo. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
utilizadores | Lista de nomes de usuário que devem ser sincronizados. Esses nomes de usuário devem corresponder ao nome principal do usuário dos respetivos usuários do AAD. | string[] |
ScalingRule
Designação | Descrição | Valor |
---|---|---|
actionType | O tipo de ação. | 'Redução de escala' 'scaleup' (obrigatório) |
comparaçãoRegra | A regra de comparação. | ComparisonRule (obrigatório) |
avaliaçãoContagem | Esta é uma contagem de avaliação para uma condição de escala, o número de vezes que uma condição de gatilho deve ser bem-sucedida, antes que a atividade de dimensionamento seja acionada. | int (obrigatório) |
scalingMetric | Nome das métricas para cargas de trabalho individuais. Por exemplo: cpu | string (obrigatório) |
Horário
Designação | Descrição | Valor |
---|---|---|
contagem | O usuário tem que definir a contagem de nós prevista no final da operação de dimensionamento da configuração de agendamento atual definida, o formato é inteiro. | int (obrigatório) |
Dias | O usuário tem que definir os dias em que o cronograma deve ser definido para a operação de escala automática. | Matriz de cadeia de caracteres contendo qualquer uma das: 'Sexta-feira' 'Segunda-feira' 'Sábado' 'Domingo' 'Quinta-feira' 'Terça-feira' 'Quarta-feira' (obrigatório) |
Tempo de Fim | O usuário tem que definir a hora de término da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
startTime | O usuário tem que definir a hora de início da configuração de programação atual, formato como 10:30 (HH:MM). | string Restrições: Padrão = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ (obrigatório) |
ScheduleBasedConfig
Designação | Descrição | Valor |
---|---|---|
defaultCount | Definição da contagem de nós padrão da configuração de agenda atual. A contagem de nós padrão especifica o número de nós que são padrão quando uma operação de dimensionamento especificada é executada (escalar/reduzir) | int (obrigatório) |
horários | Isso especifica as agendas em que o Autoscale baseado em agendamento deve ser habilitado, o usuário tem a opção de definir várias regras dentro do cronograma em dias e horários (início/fim). | Cronograma[] (obrigatório) |
Fuso horário | O usuário deve especificar o fuso horário no qual o agendamento deve ser definido para a configuração de escala automática baseada em agendamento. | string (obrigatório) |
ScriptActionProfile
Designação | Descrição | Valor |
---|---|---|
Designação | Nome do script. | string (obrigatório) |
Parâmetros | Parâmetros adicionais para a ação de script. Deve ser uma lista separada por espaços dos argumentos necessários para a execução do script. | string |
serviços | Lista de serviços para aplicar a ação de script. | string[] (obrigatório) |
devePersistir | Especifique se o script deve persistir no cluster. | Bool |
timeoutInMinutes | Duração do tempo limite para a ação de script em minutos. | Int |
tipo | Tipo de ação de script. O tipo suportado é scripts bash. | string (obrigatório) |
URL | Url do arquivo de script. | string Restrições: Padrão = ^(https)|(http)://.*$ (obrigatório) |
SecretReference
Designação | Descrição | Valor |
---|---|---|
keyVaultObjectName | Nome do identificador de objeto do segredo no cofre de chaves. | string Restrições: Padrão = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ (obrigatório) |
nome_referência | Nome de referência do segredo a ser usado nas configurações de serviço. | string (obrigatório) |
tipo | Tipo de objeto do cofre de chaves: segredo, chave ou certificado. | 'Certificado' 'Chave' 'Secreto' (obrigatório) |
Versão | Versão do segredo no cofre das chaves. | string |
SegredosPerfil
SparkMetastoreSpec
Designação | Descrição | Valor |
---|---|---|
dbConnectionAuthenticationMode | O modo de autenticação para se conectar ao banco de dados de metastore do Hive. Mais detalhes: /azure/azure-sql/database/logins-create-manage?view=azuresql#authentication-and-authorization | 'IdentityAuth' 'SqlAuth' |
dbNome | O nome do banco de dados. | string (obrigatório) |
dbPasswordSecretName | O nome secreto que contém a senha de usuário do banco de dados. | string |
dbServerHost | O host do servidor de banco de dados. | string (obrigatório) |
dbUserName | O nome de usuário do banco de dados. | string |
keyVaultId | A ID do recurso do cofre de chaves. | string |
thriftUrl | A url do brechó. | string |
SparkProfile
Designação | Descrição | Valor |
---|---|---|
defaultStorageUrl | A URL de armazenamento padrão. | string |
metastoreSpec | A especificação do metastore para o cluster Spark. | SparkMetastoreSpec |
userPluginsSpec | Especificação de plugins de usuário do Spark | SparkUserPlugins |
SparkUserPlugin
Designação | Descrição | Valor |
---|---|---|
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ (obrigatório) |
SparkUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Plug-ins de usuário do Spark. | SparkUserPlugin[] |
SshProfile
Designação | Descrição | Valor |
---|---|---|
contagem | Número de vagens ssh por aglomerado. | Int Restrições: Valor mínimo = 0 Valor máximo = 5 (obrigatório) |
vmTamanho | A máquina virtual SKU. | string Restrições: Padrão = ^[a-zA-Z0-9_\-]{0,256}$ |
TrackedResourceTags
Designação | Descrição | Valor |
---|
TrinoCoordenador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |
highAvailabilityEnabled | O sinalizador que, se habilitar a HA do coordenador, usa várias réplicas de coordenador com failover automático, uma por cada nó principal. Padrão: true. | Bool |
TrinoDebugConfig
Designação | Descrição | Valor |
---|---|---|
ativar | O sinalizador que se habilitar depurar ou não. | Bool |
porto | A porta de depuração. | Int |
suspender | O sinalizador que se suspende depurar ou não. | Bool |
TrinoPerfil
Designação | Descrição | Valor |
---|---|---|
catalogOptions | Opções de catálogo de cluster Trino. | CatalogOptions |
Coordenador | Coordenador do Trino. | TrinoCoordenador |
userPluginsSpec | Trino usuário plugins spec | TrinoUserPlugins |
usuárioTelemetrySpec | Telemetria do usuário | TrinoUserTelemetry |
trabalhador | Trino trabalhador. | TrinoWorker |
TrinoTelemetryConfig
Designação | Descrição | Valor |
---|---|---|
hivecatalogName | Hive Nome do catálogo usado para montar tabelas externas nos logs escritos pelo trino, se não especificado lá tabelas não são criadas. | string Restrições: Comprimento mínimo = 1 |
hivecatalogSchema | Esquema do catálogo acima para usar, para montar logs de consulta como tabelas externas, se não especificado tabelas serão montadas em trinologs de esquema. | string |
partitionRetentionInDays | Período de retenção para partições de tabela de log de consulta, isso não afeta os dados reais. | Int |
caminho | Local de armazenamento do Azure dos blobs. | string Restrições: Comprimento mínimo = 1 |
TrinoUserPlugin
Designação | Descrição | Valor |
---|---|---|
ativado | Indica se o plugin está ativo ou não. | Bool |
Designação | Este campo mapeia para o subdiretório na localização de plugins trino, que conterá todos os plugins no caminho. | string Restrições: Comprimento mínimo = 1 |
caminho | Caminho totalmente qualificado para a pasta que contém os plugins. | string Restrições: Comprimento mínimo = 1 Padrão = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
Designação | Descrição | Valor |
---|---|---|
Plugins | Trino plugins de usuário. | TrinoUserPlugin[] |
TrinoUserTelemetry
Designação | Descrição | Valor |
---|---|---|
armazenamento | Definição de telemetria do usuário Trino. | TrinoTelemetryConfig |
TrinoTrabalhador
Designação | Descrição | Valor |
---|---|---|
depurar | Configuração de depuração Trino. | TrinoDebugConfig |