你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Microsoft.HDInsight clusterpools/clusters 2023-11-01-preview
Bicep 资源定义
可以使用目标操作部署 clusterpools/clusters 资源类型：
- 资源组 - 请参阅 资源组部署命令
有关每个 API 版本中已更改属性的列表，请参阅 更改日志。
资源格式
若要创建 Microsoft.HDInsight/clusterpools/clusters 资源，请将以下 Bicep 添加到模板。
resource symbolicname 'Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview' = {
parent: resourceSymbolicName
location: 'string'
name: 'string'
properties: {
clusterProfile: {
authorizationProfile: {
groupIds: [
'string'
]
userIds: [
'string'
]
}
autoscaleProfile: {
autoscaleType: 'string'
enabled: bool
gracefulDecommissionTimeout: int
loadBasedConfig: {
cooldownPeriod: int
maxNodes: int
minNodes: int
pollInterval: int
scalingRules: [
{
actionType: 'string'
comparisonRule: {
operator: 'string'
threshold: int
}
evaluationCount: int
scalingMetric: 'string'
}
]
}
scheduleBasedConfig: {
defaultCount: int
schedules: [
{
count: int
days: [
'string'
]
endTime: 'string'
startTime: 'string'
}
]
timeZone: 'string'
}
}
clusterAccessProfile: {
enableInternalIngress: bool
}
clusterVersion: 'string'
flinkProfile: {
catalogOptions: {
hive: {
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
}
}
deploymentMode: 'string'
historyServer: {
cpu: int
memory: int
}
jobManager: {
cpu: int
memory: int
}
jobSpec: {
args: 'string'
entryClass: 'string'
jarName: 'string'
jobJarDirectory: 'string'
savePointName: 'string'
upgradeMode: 'string'
}
numReplicas: int
storage: {
storagekey: 'string'
storageUri: 'string'
}
taskManager: {
cpu: int
memory: int
}
}
identityProfile: {
msiClientId: 'string'
msiObjectId: 'string'
msiResourceId: 'string'
}
kafkaProfile: {
diskStorage: {
dataDiskSize: int
dataDiskType: 'string'
}
enableKRaft: bool
enablePublicEndpoints: bool
remoteStorageUri: 'string'
}
llapProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
logAnalyticsProfile: {
applicationLogs: {
stdErrorEnabled: bool
stdOutEnabled: bool
}
enabled: bool
metricsEnabled: bool
}
ossVersion: 'string'
prometheusProfile: {
enabled: bool
}
rangerPluginProfile: {
enabled: bool
}
rangerProfile: {
rangerAdmin: {
admins: [
'string'
]
database: {
host: 'string'
name: 'string'
passwordSecretRef: 'string'
username: 'string'
}
}
rangerAudit: {
storageAccount: 'string'
}
rangerUsersync: {
enabled: bool
groups: [
'string'
]
mode: 'string'
userMappingLocation: 'string'
users: [
'string'
]
}
}
scriptActionProfiles: [
{
name: 'string'
parameters: 'string'
services: [
'string'
]
shouldPersist: bool
timeoutInMinutes: int
type: 'string'
url: 'string'
}
]
secretsProfile: {
keyVaultResourceId: 'string'
secrets: [
{
keyVaultObjectName: 'string'
referenceName: 'string'
type: 'string'
version: 'string'
}
]
}
serviceConfigsProfiles: [
{
configs: [
{
component: 'string'
files: [
{
content: 'string'
encoding: 'string'
fileName: 'string'
path: 'string'
values: {
{customized property}: 'string'
}
}
]
}
]
serviceName: 'string'
}
]
sparkProfile: {
defaultStorageUrl: 'string'
metastoreSpec: {
dbConnectionAuthenticationMode: 'string'
dbName: 'string'
dbPasswordSecretName: 'string'
dbServerHost: 'string'
dbUserName: 'string'
keyVaultId: 'string'
thriftUrl: 'string'
}
userPluginsSpec: {
plugins: [
{
path: 'string'
}
]
}
}
sshProfile: {
count: int
}
stubProfile: {
{customized property}: any(Azure.Bicep.Types.Concrete.AnyType)
}
trinoProfile: {
catalogOptions: {
hive: [
{
catalogName: 'string'
metastoreDbConnectionAuthenticationMode: 'string'
metastoreDbConnectionPasswordSecret: 'string'
metastoreDbConnectionURL: 'string'
metastoreDbConnectionUserName: 'string'
metastoreWarehouseDir: 'string'
}
]
}
coordinator: {
debug: {
enable: bool
port: int
suspend: bool
}
highAvailabilityEnabled: bool
}
userPluginsSpec: {
plugins: [
{
enabled: bool
name: 'string'
path: 'string'
}
]
}
userTelemetrySpec: {
storage: {
hivecatalogName: 'string'
hivecatalogSchema: 'string'
partitionRetentionInDays: int
path: 'string'
}
}
worker: {
debug: {
enable: bool
port: int
suspend: bool
}
}
}
}
clusterType: 'string'
computeProfile: {
nodes: [
{
count: int
type: 'string'
vmSize: 'string'
}
]
}
}
tags: {
{customized property}: 'string'
}
}
属性值
AuthorizationProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| groupIds | 有权访问数据平面的 AAD 组 ID。 | string[] |
| userIds | 有权访问数据平面的 AAD 用户 ID。 | string[] |
AutoscaleProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| autoscaleType | 用户指定要实现的自动缩放类型 - 基于计划的或基于负载的。 | “LoadBased” “ScheduleBased” |
| 启用 | 这表示是否在 AKS 群集上的 HDInsight 上启用自动缩放。 | bool （必需） |
| gracefulDecommissionTimeout | 此属性用于正常解除授权超时;它在强制关闭前的默认设置为 3600 秒。 这是在将解除授权节点转换为 DECOMMISSIONED 之前等待运行容器和应用程序完成的最大时间。 默认值为 3600 秒。 负值（如 -1）作为无限超时处理。 | int |
| loadBasedConfig | 基于负载的自动缩放配置文件。 | LoadBasedConfig |
| scheduleBasedConfig | 基于计划的自动缩放配置文件。 | ScheduleBasedConfig |
CatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | hive 目录选项。 | HiveCatalogOption[] |
ClusterAccessProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| enableInternalIngress | 是否使用专用 IP 而不是公共 IP 创建群集。 必须在创建时设置此属性。 | bool （必需） |
ClusterConfigFile
| 名字 | 描述 | 价值 |
|---|---|---|
| 内容 | 整个配置文件的自由形式内容。 | 字符串 |
| 编码 | 此属性指示内容是否已编码且不区分大小写。 如果内容经过 base64 编码，请将该值设置为 base64。 如果内容为纯文本，则将其设置为“无”或“跳过”。 | “Base64” “None” |
| 文件名 | 配置文件名称。 | string （必需） |
| 路径 | 如果指定了内容，配置文件的路径。 | 字符串 |
| 值 | 键值对列表 其中，键表示有效的服务配置名称和值表示配置的值。 |
ClusterConfigFileValues |
ClusterConfigFileValues
| 名字 | 描述 | 价值 |
|---|
ClusterLogAnalyticsApplicationLogs
| 名字 | 描述 | 价值 |
|---|---|---|
| stdErrorEnabled | 如果启用了 stderror，则为 True，否则为 false。 | bool |
| stdOutEnabled | 如果启用了 stdout，则为 True，否则为 false。 | bool |
ClusterLogAnalyticsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| applicationLogs | 要为日志分析启用或禁用的日志集合。 | ClusterLogAnalyticsApplicationLogs |
| 启用 | 如果为群集启用了 Log Analytics，则为 True，否则为 false。 | bool （必需） |
| metricsEnabled | 如果启用了指标，则为 True，否则为 false。 | bool |
ClusterProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| authorizationProfile | 授权配置文件，其中包含授权用于数据平面访问的 AAD 用户 ID 和组 ID 的详细信息。 | AuthorizationProfile（必需） |
| autoscaleProfile | 这是群集的自动缩放配置文件。 这将允许客户创建启用了自动缩放的群集。 | AutoscaleProfile |
| clusterAccessProfile | 群集访问配置文件。 | ClusterAccessProfile |
| clusterVersion | 3/4 部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ （必需） |
| flinkProfile | Flink 群集配置文件。 | FlinkProfile |
| identityProfile | Trino、Spark 和 Flink 群集需要此属性，但对于 Kafka 群集是可选的。 | IdentityProfile |
| kafkaProfile | Kafka 群集配置文件。 | KafkaProfile |
| llapProfile | LLAP 群集配置文件。 | ClusterProfileLlapProfile |
| logAnalyticsProfile | 群集日志分析配置文件，用于启用或禁用群集的 OMS 代理。 | ClusterLogAnalyticsProfile |
| ossVersion | 具有三个部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ （必需） |
| prometheusProfile | 群集 Prometheus 配置文件。 | ClusterPrometheusProfile |
| rangerPluginProfile | 群集 Ranger 插件配置文件。 | ClusterRangerPluginProfile |
| rangerProfile | ranger 群集配置文件。 | RangerProfile |
| scriptActionProfiles | 脚本操作配置文件列表。 | ScriptActionProfile[] |
| secretsProfile | 群集机密配置文件。 | SecretsProfile |
| serviceConfigsProfiles | 服务配置配置文件。 | ClusterServiceConfigsProfile[] |
| sparkProfile | Spark 群集配置文件。 | SparkProfile |
| sshProfile | 群集的 Ssh 配置文件。 | SshProfile |
| stubProfile | 存根群集配置文件。 | ClusterProfileStubProfile |
| trinoProfile | Trino 群集配置文件。 | TrinoProfile |
ClusterProfileLlapProfile
| 名字 | 描述 | 价值 |
|---|
ClusterProfileStubProfile
| 名字 | 描述 | 价值 |
|---|
ClusterPrometheusProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Prometheus。 | bool （必需） |
ClusterRangerPluginProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Ranger。 | bool （必需） |
ClusterResourceProperties
| 名字 | 描述 | 价值 |
|---|---|---|
| clusterProfile | 群集配置文件。 | ClusterProfile （必需） |
| clusterType | 群集的类型。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9]{0,31}$ （必需） |
| computeProfile | 计算配置文件。 | ComputeProfile （必需） |
ClusterServiceConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 元件 | 配置文件应应用于的组件的名称。 | string （必需） |
| 文件 | 配置文件列表。 | ClusterConfigFile[] （必需） |
ClusterServiceConfigsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 配置 | 服务配置列表。 | ClusterServiceConfig[] （必需） |
| serviceName | 配置应应用于的服务的名称。 | string （必需） |
ComparisonRule
| 名字 | 描述 | 价值 |
|---|---|---|
| 算子 | 比较运算符。 | “greaterThan” “greaterThanOrEqual” “lessThan” “lessThanOrEqual”（必需） |
| 门槛 | 阈值设置。 | int （必需） |
ComputeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 节点 | 节点定义。 | NodeProfile[] （必需） |
ComputeResourceDefinition
| 名字 | 描述 | 价值 |
|---|---|---|
| 中央处理器 | 所需的 CPU。 | int （必需） |
| 记忆 | 所需的内存（以 MB 为单位）的容器内存将为 110 百分点 | int （必需） |
DiskStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| dataDiskSize | 托管磁盘大小（以 GB 为单位）。 标准版和高级 HDD/SSD 支持的最大磁盘大小为 32TB，高级 SSD v2 支持最多 64TB。 | int （必需） |
| dataDiskType | 托管磁盘类型。 | “Premium_SSD_LRS” “Premium_SSD_v2_LRS” “Premium_SSD_ZRS” “Standard_HDD_LRS” “Standard_SSD_LRS” “Standard_SSD_ZRS”（必需） |
FlinkCatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | Flink 群集的 Hive 目录选项。 | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
FlinkJobProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| args | 表示 Flink 作业的其他 JVM 参数的字符串属性。 它应为空格分隔值。 | 字符串 |
| entryClass | 一个字符串属性，指定 Flink 作业的条目类。 如果未指定，则从 flink 作业 jar 包自动检测入口点。 | 字符串 |
| jarName | 一个表示作业 JAR 名称的字符串属性。 | string （必需） |
| jobJarDirectory | 一个字符串属性，指定作业 JAR 所在的目录。 | string （必需） |
| savePointName | 一个字符串属性，表示 Flink 作业的保存点的名称 | 字符串 |
| upgradeMode | 一个字符串属性，指示要对 Flink 作业执行的升级模式。 它可以具有以下枚举值之一 => STATELESS_UPDATE，UPDATE，LAST_STATE_UPDATE。 | “LAST_STATE_UPDATE” “STATELESS_UPDATE” “UPDATE”（必需） |
FlinkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Flink 群集目录选项。 | FlinkCatalogOptions |
| deploymentMode | 一个字符串属性，指示 Flink 群集的部署模式。 它可以具有以下枚举值之一 => Application， Session。 默认值为 Session | “Application” “Session” |
| historyServer | 历史记录服务器容器/进程 CPU 和内存要求 | ComputeResourceDefinition |
| jobManager | 作业管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
| jobSpec | 应用程序部署模式下 flink 群集的作业规范。 即使通过调用 RunJob API 更改作业属性，规范也不可变，请使用 ListJob API 获取最新的作业信息。 | FlinkJobProfile |
| numReplicas | 任务管理器的数量。 | int |
| 存储 | 存储配置文件 | FlinkStorageProfile （必需） |
| taskManager | 任务管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
FlinkStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| storagekey | 只有 wasb（s） 存储需要存储密钥。 | 字符串 约束： 敏感值。 以安全参数的形式传入。 |
| storageUri | 用于保存点和检查点状态的存储帐户 URI。 | 字符串 约束： 模式 = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ （必需） |
HiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogName | 应使用指定 hive 元存储的 trino 目录的名称。 | 字符串 约束： 最小长度 = 1 （必需） |
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
| metastoreWarehouseDir | 元存储根目录 URI，格式：abfs[s]：//<容器>@<account_name>.dfs.core.windows.net/<路径>。 更多详细信息：/azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string （必需） |
IdentityProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| msiClientId | MSI 的 ClientId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiObjectId | MSI 的 ObjectId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiResourceId | MSI 的 ResourceId。 | string （必需） |
KafkaProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| diskStorage | Kafka 磁盘存储配置文件。 | DiskStorageProfile （必需） |
| enableKRaft | 在 KRaft 模式下公开 Kafka 群集。 | bool |
| enablePublicEndpoints | 将工作器节点公开为公共终结点。 | bool |
| remoteStorageUri | 用于分层存储的 Azure 存储容器的完全限定路径。 | 字符串 约束： Pattern = ^(https?|abfss?):\/\/[^/]+(?:\/|$) |
LoadBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| cooldownPeriod | 这是一个冷却期，这是一个以秒为单位的时间段，它确定在规则启动的缩放活动与下一个缩放活动的开始之间必须经过的时间量，而不考虑触发它的规则。 默认值为 300 秒。 | int |
| maxNodes | 用户需要设置基于负载的缩放的最大节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| minNodes | 用户需要为基于负载的缩放设置最小节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| pollInterval | 用户可以指定轮询间隔，这是在轮询缩放指标以触发缩放操作之后的时间段（以秒为单位）。 | int |
| scalingRules | 缩放规则。 | ScalingRule[] （必需） |
Microsoft.HDInsight/clusterpools/clusters
| 名字 | 描述 | 价值 |
|---|---|---|
| 位置 | 资源所在的地理位置 | string （必需） |
| 名字 | 资源名称 | string （必需） |
| 父母 | 在 Bicep 中，可以为子资源指定父资源。 仅当子资源在父资源外部声明时，才需要添加此属性。 有关详细信息，请参阅 父资源外部的子资源。 |
类型资源的符号名称：群集池 |
| 性能 | 获取或设置属性。 定义特定于群集的属性。 | ClusterResourceProperties |
| 标签 | 资源标记 | 标记名称和值的字典。 请参阅模板 中的 |
NodeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 虚拟机数。 | int 约束： 最小值 = 1 （必需） |
| 类型 | 节点类型。 | 字符串 约束： 模式 = ^(head|Head|HEAD|worker|Worker|WORKER)$ （必需） |
| vmSize | 虚拟机 SKU。 | 字符串 约束： 模式 = ^[a-zA-Z0-9_\-]{0,256}$ （必需） |
RangerAdminSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 管理员 | 应标记为 ranger 管理员的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称（UPN）匹配。 | string[] （必需） |
| 数据库 | RangerAdminSpecDatabase （必需） |
RangerAdminSpecDatabase
| 名字 | 描述 | 价值 |
|---|---|---|
| 主机 | 数据库 URL | string （必需） |
| 名字 | 数据库名称 | string （必需） |
| passwordSecretRef | 数据库密码参考 | 字符串 |
| username | 数据库用户的名称 | 字符串 |
RangerAuditSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| storageAccount | Blob 的 Azure 存储位置。 MSI 应具有对此存储帐户的读/写访问权限。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
RangerProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| rangerAdmin | Ranger 管理服务的规范。 | RangerAdminSpec （必需） |
| rangerAudit | 描述审核日志存储所需的属性。 | RangerAuditSpec |
| rangerUsersync | Ranger Usersync 服务的规范 | RangerUsersyncSpec （必需） |
RangerUsersyncSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示是否应启用用户同步服务 | bool |
| 组 | 应同步的组列表。 这些组名称应与相应 AAD 组的对象 ID 匹配。 | string[] |
| 模式 | 用户 & 组可以自动或通过刷新的静态列表进行同步。 | “automatic” “static” |
| userMappingLocation | 列出用户 & 组关联的映射文件的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
| 用户 | 应同步的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称匹配。 | string[] |
ScalingRule
| 名字 | 描述 | 价值 |
|---|---|---|
| actionType | 操作类型。 | “scaledown” “scaleup”（必需） |
| comparisonRule | 比较规则。 | ComparisonRule （必需） |
| evaluationCount | 这是缩放条件的评估计数，在触发缩放活动之前，触发条件应成功次数。 | int （必需） |
| scalingMetric | 单个工作负荷的指标名称。 例如：cpu | string （必需） |
附表
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 用户必须设置在设置当前计划配置的缩放操作结束时预期的节点计数，格式为整数。 | int （必需） |
| 日 | 用户必须设置必须为自动缩放操作设置计划的日子。 | 包含任一项的字符串数组： “Friday” “Monday” “Saturday” “星期日” “星期四” “Tuesday” “星期三”（必需） |
| endTime | 用户必须设置当前计划配置的结束时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
| startTime | 用户必须设置当前计划配置的开始时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
ScheduleBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultCount | 设置当前计划配置的默认节点计数。 默认节点计数指定执行指定缩放操作时默认的节点数（纵向扩展/缩减） | int （必需） |
| 附表 | 这指定要启用基于计划的自动缩放的计划，用户可以选择在计划内跨天数和时间（开始/结束）设置多个规则。 | 计划[] （必需） |
| timeZone | 用户必须指定必须为其设置基于计划的自动缩放配置的时区。 | string （必需） |
ScriptActionProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 名字 | 脚本名称。 | string （必需） |
| 参数 | 脚本操作的其他参数。 它应该是脚本执行所需的参数的空间分隔列表。 | 字符串 |
| 服务业 | 要应用脚本操作的服务列表。 | string[] （必需） |
| shouldPersist | 指定脚本是否应保留在群集上。 | bool |
| timeoutInMinutes | 脚本操作的超时持续时间（以分钟为单位）。 | int |
| 类型 | 脚本操作的类型。 支持的类型为 bash 脚本。 | string （必需） |
| url | 脚本文件的 URL。 | 字符串 约束： 模式 = ^(https)|(http)://.*$ （必需） |
SecretReference
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultObjectName | 密钥保管库中机密的对象标识符名称。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ （必需） |
| referenceName | 要用于服务配置的机密的引用名称。 | string （必需） |
| 类型 | 密钥保管库对象的类型：机密、密钥或证书。 | “Certificate” “Key” “机密”（必需） |
| 版本 | 密钥保管库中的机密版本。 | 字符串 |
SecretsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultResourceId | 存储所有群集特定用户机密的用户 Key Vault 的名称。 | string （必需） |
| 秘密 | Key Vault 机密的属性。 | SecretReference[] |
SparkMetastoreSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| dbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| dbName | 数据库名称。 | string （必需） |
| dbPasswordSecretName | 包含数据库用户密码的机密名称。 | 字符串 |
| dbServerHost | 数据库服务器主机。 | string （必需） |
| dbUserName | 数据库用户名。 | 字符串 |
| keyVaultId | 密钥保管库资源 ID。 | 字符串 |
| thriftUrl | 节俭 URL。 | 字符串 |
SparkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultStorageUrl | 默认存储 URL。 | 字符串 |
| metastoreSpec | Spark 群集的元存储规范。 | SparkMetastoreSpec |
| userPluginsSpec | Spark 用户插件规范 | SparkUserPlugins |
SparkUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 模式 = ^(https)|(abfss)://.*$ （必需） |
SparkUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Spark 用户插件。 | SparkUserPlugin[] |
SshProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 每个群集的 ssh Pod 数。 | int 约束： 最小值 = 0 最大值 = 5 （必需） |
TrackedResourceTags
| 名字 | 描述 | 价值 |
|---|
TrinoCoordinator
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |
| highAvailabilityEnabled | 如果启用协调器 HA，则使用具有自动故障转移的多个协调器副本，每个头节点各有一个。 默认值：true。 | bool |
TrinoDebugConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 使 | 如果启用调试或不启用的标志。 | bool |
| 港口 | 调试端口。 | int |
| 暂停 | 如果暂停调试或不进行调试的标志。 | bool |
TrinoProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Trino 群集目录选项。 | CatalogOptions |
| 协调者 | Trino 协调器。 | TrinoCoordinator |
| userPluginsSpec | Trino 用户插件规范 | TrinoUserPlugins |
| userTelemetrySpec | 用户遥测 | TrinoUserTelemetry |
| 工人 | Trino 辅助角色。 | TrinoWorker |
TrinoTelemetryConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| hivecatalogName | 如果未指定，则用于在 Trino 编写的日志上装载外部表的 Hive 目录名称。如果未指定，则不会创建表。 | 字符串 约束： 最小长度 = 1 |
| hivecatalogSchema | 要使用的上述目录的架构，若要将查询日志装载为外部表，如果未指定表，则会在架构 trinolog 下装载。 | 字符串 |
| partitionRetentionInDays | 查询日志表分区的保留期，这不会影响实际数据。 | int |
| 路径 | Blob 的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 |
TrinoUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示插件是否处于活动状态。 | bool |
| 名字 | 此字段映射到 trino 插件位置中的子目录，其中包含路径下的所有插件。 | 字符串 约束： 最小长度 = 1 |
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Trino 用户插件。 | TrinoUserPlugin[] |
TrinoUserTelemetry
| 名字 | 描述 | 价值 |
|---|---|---|
| 存储 | Trino 用户遥测定义。 | TrinoTelemetryConfig |
TrinoWorker
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |
ARM 模板资源定义
可以使用目标操作部署 clusterpools/clusters 资源类型：
- 资源组 - 请参阅 资源组部署命令
有关每个 API 版本中已更改属性的列表，请参阅 更改日志。
资源格式
若要创建 Microsoft.HDInsight/clusterpools/clusters 资源，请将以下 JSON 添加到模板。
{
"type": "Microsoft.HDInsight/clusterpools/clusters",
"apiVersion": "2023-11-01-preview",
"name": "string",
"location": "string",
"properties": {
"clusterProfile": {
"authorizationProfile": {
"groupIds": [ "string" ],
"userIds": [ "string" ]
},
"autoscaleProfile": {
"autoscaleType": "string",
"enabled": "bool",
"gracefulDecommissionTimeout": "int",
"loadBasedConfig": {
"cooldownPeriod": "int",
"maxNodes": "int",
"minNodes": "int",
"pollInterval": "int",
"scalingRules": [
{
"actionType": "string",
"comparisonRule": {
"operator": "string",
"threshold": "int"
},
"evaluationCount": "int",
"scalingMetric": "string"
}
]
},
"scheduleBasedConfig": {
"defaultCount": "int",
"schedules": [
{
"count": "int",
"days": [ "string" ],
"endTime": "string",
"startTime": "string"
}
],
"timeZone": "string"
}
},
"clusterAccessProfile": {
"enableInternalIngress": "bool"
},
"clusterVersion": "string",
"flinkProfile": {
"catalogOptions": {
"hive": {
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string"
}
},
"deploymentMode": "string",
"historyServer": {
"cpu": "int",
"memory": "int"
},
"jobManager": {
"cpu": "int",
"memory": "int"
},
"jobSpec": {
"args": "string",
"entryClass": "string",
"jarName": "string",
"jobJarDirectory": "string",
"savePointName": "string",
"upgradeMode": "string"
},
"numReplicas": "int",
"storage": {
"storagekey": "string",
"storageUri": "string"
},
"taskManager": {
"cpu": "int",
"memory": "int"
}
},
"identityProfile": {
"msiClientId": "string",
"msiObjectId": "string",
"msiResourceId": "string"
},
"kafkaProfile": {
"diskStorage": {
"dataDiskSize": "int",
"dataDiskType": "string"
},
"enableKRaft": "bool",
"enablePublicEndpoints": "bool",
"remoteStorageUri": "string"
},
"llapProfile": {
"{customized property}": {}
},
"logAnalyticsProfile": {
"applicationLogs": {
"stdErrorEnabled": "bool",
"stdOutEnabled": "bool"
},
"enabled": "bool",
"metricsEnabled": "bool"
},
"ossVersion": "string",
"prometheusProfile": {
"enabled": "bool"
},
"rangerPluginProfile": {
"enabled": "bool"
},
"rangerProfile": {
"rangerAdmin": {
"admins": [ "string" ],
"database": {
"host": "string",
"name": "string",
"passwordSecretRef": "string",
"username": "string"
}
},
"rangerAudit": {
"storageAccount": "string"
},
"rangerUsersync": {
"enabled": "bool",
"groups": [ "string" ],
"mode": "string",
"userMappingLocation": "string",
"users": [ "string" ]
}
},
"scriptActionProfiles": [
{
"name": "string",
"parameters": "string",
"services": [ "string" ],
"shouldPersist": "bool",
"timeoutInMinutes": "int",
"type": "string",
"url": "string"
}
],
"secretsProfile": {
"keyVaultResourceId": "string",
"secrets": [
{
"keyVaultObjectName": "string",
"referenceName": "string",
"type": "string",
"version": "string"
}
]
},
"serviceConfigsProfiles": [
{
"configs": [
{
"component": "string",
"files": [
{
"content": "string",
"encoding": "string",
"fileName": "string",
"path": "string",
"values": {
"{customized property}": "string"
}
}
]
}
],
"serviceName": "string"
}
],
"sparkProfile": {
"defaultStorageUrl": "string",
"metastoreSpec": {
"dbConnectionAuthenticationMode": "string",
"dbName": "string",
"dbPasswordSecretName": "string",
"dbServerHost": "string",
"dbUserName": "string",
"keyVaultId": "string",
"thriftUrl": "string"
},
"userPluginsSpec": {
"plugins": [
{
"path": "string"
}
]
}
},
"sshProfile": {
"count": "int"
},
"stubProfile": {
"{customized property}": {}
},
"trinoProfile": {
"catalogOptions": {
"hive": [
{
"catalogName": "string",
"metastoreDbConnectionAuthenticationMode": "string",
"metastoreDbConnectionPasswordSecret": "string",
"metastoreDbConnectionURL": "string",
"metastoreDbConnectionUserName": "string",
"metastoreWarehouseDir": "string"
}
]
},
"coordinator": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
},
"highAvailabilityEnabled": "bool"
},
"userPluginsSpec": {
"plugins": [
{
"enabled": "bool",
"name": "string",
"path": "string"
}
]
},
"userTelemetrySpec": {
"storage": {
"hivecatalogName": "string",
"hivecatalogSchema": "string",
"partitionRetentionInDays": "int",
"path": "string"
}
},
"worker": {
"debug": {
"enable": "bool",
"port": "int",
"suspend": "bool"
}
}
}
},
"clusterType": "string",
"computeProfile": {
"nodes": [
{
"count": "int",
"type": "string",
"vmSize": "string"
}
]
}
},
"tags": {
"{customized property}": "string"
}
}
属性值
AuthorizationProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| groupIds | 有权访问数据平面的 AAD 组 ID。 | string[] |
| userIds | 有权访问数据平面的 AAD 用户 ID。 | string[] |
AutoscaleProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| autoscaleType | 用户指定要实现的自动缩放类型 - 基于计划的或基于负载的。 | “LoadBased” “ScheduleBased” |
| 启用 | 这表示是否在 AKS 群集上的 HDInsight 上启用自动缩放。 | bool （必需） |
| gracefulDecommissionTimeout | 此属性用于正常解除授权超时;它在强制关闭前的默认设置为 3600 秒。 这是在将解除授权节点转换为 DECOMMISSIONED 之前等待运行容器和应用程序完成的最大时间。 默认值为 3600 秒。 负值（如 -1）作为无限超时处理。 | int |
| loadBasedConfig | 基于负载的自动缩放配置文件。 | LoadBasedConfig |
| scheduleBasedConfig | 基于计划的自动缩放配置文件。 | ScheduleBasedConfig |
CatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | hive 目录选项。 | HiveCatalogOption[] |
ClusterAccessProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| enableInternalIngress | 是否使用专用 IP 而不是公共 IP 创建群集。 必须在创建时设置此属性。 | bool （必需） |
ClusterConfigFile
| 名字 | 描述 | 价值 |
|---|---|---|
| 内容 | 整个配置文件的自由形式内容。 | 字符串 |
| 编码 | 此属性指示内容是否已编码且不区分大小写。 如果内容经过 base64 编码，请将该值设置为 base64。 如果内容为纯文本，则将其设置为“无”或“跳过”。 | “Base64” “None” |
| 文件名 | 配置文件名称。 | string （必需） |
| 路径 | 如果指定了内容，配置文件的路径。 | 字符串 |
| 值 | 键值对列表 其中，键表示有效的服务配置名称和值表示配置的值。 |
ClusterConfigFileValues |
ClusterConfigFileValues
| 名字 | 描述 | 价值 |
|---|
ClusterLogAnalyticsApplicationLogs
| 名字 | 描述 | 价值 |
|---|---|---|
| stdErrorEnabled | 如果启用了 stderror，则为 True，否则为 false。 | bool |
| stdOutEnabled | 如果启用了 stdout，则为 True，否则为 false。 | bool |
ClusterLogAnalyticsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| applicationLogs | 要为日志分析启用或禁用的日志集合。 | ClusterLogAnalyticsApplicationLogs |
| 启用 | 如果为群集启用了 Log Analytics，则为 True，否则为 false。 | bool （必需） |
| metricsEnabled | 如果启用了指标，则为 True，否则为 false。 | bool |
ClusterProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| authorizationProfile | 授权配置文件，其中包含授权用于数据平面访问的 AAD 用户 ID 和组 ID 的详细信息。 | AuthorizationProfile（必需） |
| autoscaleProfile | 这是群集的自动缩放配置文件。 这将允许客户创建启用了自动缩放的群集。 | AutoscaleProfile |
| clusterAccessProfile | 群集访问配置文件。 | ClusterAccessProfile |
| clusterVersion | 3/4 部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ （必需） |
| flinkProfile | Flink 群集配置文件。 | FlinkProfile |
| identityProfile | Trino、Spark 和 Flink 群集需要此属性，但对于 Kafka 群集是可选的。 | IdentityProfile |
| kafkaProfile | Kafka 群集配置文件。 | KafkaProfile |
| llapProfile | LLAP 群集配置文件。 | ClusterProfileLlapProfile |
| logAnalyticsProfile | 群集日志分析配置文件，用于启用或禁用群集的 OMS 代理。 | ClusterLogAnalyticsProfile |
| ossVersion | 具有三个部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ （必需） |
| prometheusProfile | 群集 Prometheus 配置文件。 | ClusterPrometheusProfile |
| rangerPluginProfile | 群集 Ranger 插件配置文件。 | ClusterRangerPluginProfile |
| rangerProfile | ranger 群集配置文件。 | RangerProfile |
| scriptActionProfiles | 脚本操作配置文件列表。 | ScriptActionProfile[] |
| secretsProfile | 群集机密配置文件。 | SecretsProfile |
| serviceConfigsProfiles | 服务配置配置文件。 | ClusterServiceConfigsProfile[] |
| sparkProfile | Spark 群集配置文件。 | SparkProfile |
| sshProfile | 群集的 Ssh 配置文件。 | SshProfile |
| stubProfile | 存根群集配置文件。 | ClusterProfileStubProfile |
| trinoProfile | Trino 群集配置文件。 | TrinoProfile |
ClusterProfileLlapProfile
| 名字 | 描述 | 价值 |
|---|
ClusterProfileStubProfile
| 名字 | 描述 | 价值 |
|---|
ClusterPrometheusProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Prometheus。 | bool （必需） |
ClusterRangerPluginProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Ranger。 | bool （必需） |
ClusterResourceProperties
| 名字 | 描述 | 价值 |
|---|---|---|
| clusterProfile | 群集配置文件。 | ClusterProfile （必需） |
| clusterType | 群集的类型。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9]{0,31}$ （必需） |
| computeProfile | 计算配置文件。 | ComputeProfile （必需） |
ClusterServiceConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 元件 | 配置文件应应用于的组件的名称。 | string （必需） |
| 文件 | 配置文件列表。 | ClusterConfigFile[] （必需） |
ClusterServiceConfigsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 配置 | 服务配置列表。 | ClusterServiceConfig[] （必需） |
| serviceName | 配置应应用于的服务的名称。 | string （必需） |
ComparisonRule
| 名字 | 描述 | 价值 |
|---|---|---|
| 算子 | 比较运算符。 | “greaterThan” “greaterThanOrEqual” “lessThan” “lessThanOrEqual”（必需） |
| 门槛 | 阈值设置。 | int （必需） |
ComputeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 节点 | 节点定义。 | NodeProfile[] （必需） |
ComputeResourceDefinition
| 名字 | 描述 | 价值 |
|---|---|---|
| 中央处理器 | 所需的 CPU。 | int （必需） |
| 记忆 | 所需的内存（以 MB 为单位）的容器内存将为 110 百分点 | int （必需） |
DiskStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| dataDiskSize | 托管磁盘大小（以 GB 为单位）。 标准版和高级 HDD/SSD 支持的最大磁盘大小为 32TB，高级 SSD v2 支持最多 64TB。 | int （必需） |
| dataDiskType | 托管磁盘类型。 | “Premium_SSD_LRS” “Premium_SSD_v2_LRS” “Premium_SSD_ZRS” “Standard_HDD_LRS” “Standard_SSD_LRS” “Standard_SSD_ZRS”（必需） |
FlinkCatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | Flink 群集的 Hive 目录选项。 | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
FlinkJobProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| args | 表示 Flink 作业的其他 JVM 参数的字符串属性。 它应为空格分隔值。 | 字符串 |
| entryClass | 一个字符串属性，指定 Flink 作业的条目类。 如果未指定，则从 flink 作业 jar 包自动检测入口点。 | 字符串 |
| jarName | 一个表示作业 JAR 名称的字符串属性。 | string （必需） |
| jobJarDirectory | 一个字符串属性，指定作业 JAR 所在的目录。 | string （必需） |
| savePointName | 一个字符串属性，表示 Flink 作业的保存点的名称 | 字符串 |
| upgradeMode | 一个字符串属性，指示要对 Flink 作业执行的升级模式。 它可以具有以下枚举值之一 => STATELESS_UPDATE，UPDATE，LAST_STATE_UPDATE。 | “LAST_STATE_UPDATE” “STATELESS_UPDATE” “UPDATE”（必需） |
FlinkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Flink 群集目录选项。 | FlinkCatalogOptions |
| deploymentMode | 一个字符串属性，指示 Flink 群集的部署模式。 它可以具有以下枚举值之一 => Application， Session。 默认值为 Session | “Application” “Session” |
| historyServer | 历史记录服务器容器/进程 CPU 和内存要求 | ComputeResourceDefinition |
| jobManager | 作业管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
| jobSpec | 应用程序部署模式下 flink 群集的作业规范。 即使通过调用 RunJob API 更改作业属性，规范也不可变，请使用 ListJob API 获取最新的作业信息。 | FlinkJobProfile |
| numReplicas | 任务管理器的数量。 | int |
| 存储 | 存储配置文件 | FlinkStorageProfile （必需） |
| taskManager | 任务管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
FlinkStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| storagekey | 只有 wasb（s） 存储需要存储密钥。 | 字符串 约束： 敏感值。 以安全参数的形式传入。 |
| storageUri | 用于保存点和检查点状态的存储帐户 URI。 | 字符串 约束： 模式 = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ （必需） |
HiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogName | 应使用指定 hive 元存储的 trino 目录的名称。 | 字符串 约束： 最小长度 = 1 （必需） |
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
| metastoreWarehouseDir | 元存储根目录 URI，格式：abfs[s]：//<容器>@<account_name>.dfs.core.windows.net/<路径>。 更多详细信息：/azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string （必需） |
IdentityProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| msiClientId | MSI 的 ClientId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiObjectId | MSI 的 ObjectId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiResourceId | MSI 的 ResourceId。 | string （必需） |
KafkaProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| diskStorage | Kafka 磁盘存储配置文件。 | DiskStorageProfile （必需） |
| enableKRaft | 在 KRaft 模式下公开 Kafka 群集。 | bool |
| enablePublicEndpoints | 将工作器节点公开为公共终结点。 | bool |
| remoteStorageUri | 用于分层存储的 Azure 存储容器的完全限定路径。 | 字符串 约束： Pattern = ^(https?|abfss?):\/\/[^/]+(?:\/|$) |
LoadBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| cooldownPeriod | 这是一个冷却期，这是一个以秒为单位的时间段，它确定在规则启动的缩放活动与下一个缩放活动的开始之间必须经过的时间量，而不考虑触发它的规则。 默认值为 300 秒。 | int |
| maxNodes | 用户需要设置基于负载的缩放的最大节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| minNodes | 用户需要为基于负载的缩放设置最小节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| pollInterval | 用户可以指定轮询间隔，这是在轮询缩放指标以触发缩放操作之后的时间段（以秒为单位）。 | int |
| scalingRules | 缩放规则。 | ScalingRule[] （必需） |
Microsoft.HDInsight/clusterpools/clusters
| 名字 | 描述 | 价值 |
|---|---|---|
| apiVersion | API 版本 | '2023-11-01-preview' |
| 位置 | 资源所在的地理位置 | string （必需） |
| 名字 | 资源名称 | string （必需） |
| 性能 | 获取或设置属性。 定义特定于群集的属性。 | ClusterResourceProperties |
| 标签 | 资源标记 | 标记名称和值的字典。 请参阅模板 中的 |
| 类型 | 资源类型 | “Microsoft.HDInsight/clusterpools/clusters” |
NodeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 虚拟机数。 | int 约束： 最小值 = 1 （必需） |
| 类型 | 节点类型。 | 字符串 约束： 模式 = ^(head|Head|HEAD|worker|Worker|WORKER)$ （必需） |
| vmSize | 虚拟机 SKU。 | 字符串 约束： 模式 = ^[a-zA-Z0-9_\-]{0,256}$ （必需） |
RangerAdminSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 管理员 | 应标记为 ranger 管理员的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称（UPN）匹配。 | string[] （必需） |
| 数据库 | RangerAdminSpecDatabase （必需） |
RangerAdminSpecDatabase
| 名字 | 描述 | 价值 |
|---|---|---|
| 主机 | 数据库 URL | string （必需） |
| 名字 | 数据库名称 | string （必需） |
| passwordSecretRef | 数据库密码参考 | 字符串 |
| username | 数据库用户的名称 | 字符串 |
RangerAuditSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| storageAccount | Blob 的 Azure 存储位置。 MSI 应具有对此存储帐户的读/写访问权限。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
RangerProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| rangerAdmin | Ranger 管理服务的规范。 | RangerAdminSpec （必需） |
| rangerAudit | 描述审核日志存储所需的属性。 | RangerAuditSpec |
| rangerUsersync | Ranger Usersync 服务的规范 | RangerUsersyncSpec （必需） |
RangerUsersyncSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示是否应启用用户同步服务 | bool |
| 组 | 应同步的组列表。 这些组名称应与相应 AAD 组的对象 ID 匹配。 | string[] |
| 模式 | 用户 & 组可以自动或通过刷新的静态列表进行同步。 | “automatic” “static” |
| userMappingLocation | 列出用户 & 组关联的映射文件的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
| 用户 | 应同步的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称匹配。 | string[] |
ScalingRule
| 名字 | 描述 | 价值 |
|---|---|---|
| actionType | 操作类型。 | “scaledown” “scaleup”（必需） |
| comparisonRule | 比较规则。 | ComparisonRule （必需） |
| evaluationCount | 这是缩放条件的评估计数，在触发缩放活动之前，触发条件应成功次数。 | int （必需） |
| scalingMetric | 单个工作负荷的指标名称。 例如：cpu | string （必需） |
附表
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 用户必须设置在设置当前计划配置的缩放操作结束时预期的节点计数，格式为整数。 | int （必需） |
| 日 | 用户必须设置必须为自动缩放操作设置计划的日子。 | 包含任一项的字符串数组： “Friday” “Monday” “Saturday” “星期日” “星期四” “Tuesday” “星期三”（必需） |
| endTime | 用户必须设置当前计划配置的结束时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
| startTime | 用户必须设置当前计划配置的开始时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
ScheduleBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultCount | 设置当前计划配置的默认节点计数。 默认节点计数指定执行指定缩放操作时默认的节点数（纵向扩展/缩减） | int （必需） |
| 附表 | 这指定要启用基于计划的自动缩放的计划，用户可以选择在计划内跨天数和时间（开始/结束）设置多个规则。 | 计划[] （必需） |
| timeZone | 用户必须指定必须为其设置基于计划的自动缩放配置的时区。 | string （必需） |
ScriptActionProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 名字 | 脚本名称。 | string （必需） |
| 参数 | 脚本操作的其他参数。 它应该是脚本执行所需的参数的空间分隔列表。 | 字符串 |
| 服务业 | 要应用脚本操作的服务列表。 | string[] （必需） |
| shouldPersist | 指定脚本是否应保留在群集上。 | bool |
| timeoutInMinutes | 脚本操作的超时持续时间（以分钟为单位）。 | int |
| 类型 | 脚本操作的类型。 支持的类型为 bash 脚本。 | string （必需） |
| url | 脚本文件的 URL。 | 字符串 约束： 模式 = ^(https)|(http)://.*$ （必需） |
SecretReference
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultObjectName | 密钥保管库中机密的对象标识符名称。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ （必需） |
| referenceName | 要用于服务配置的机密的引用名称。 | string （必需） |
| 类型 | 密钥保管库对象的类型：机密、密钥或证书。 | “Certificate” “Key” “机密”（必需） |
| 版本 | 密钥保管库中的机密版本。 | 字符串 |
SecretsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultResourceId | 存储所有群集特定用户机密的用户 Key Vault 的名称。 | string （必需） |
| 秘密 | Key Vault 机密的属性。 | SecretReference[] |
SparkMetastoreSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| dbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| dbName | 数据库名称。 | string （必需） |
| dbPasswordSecretName | 包含数据库用户密码的机密名称。 | 字符串 |
| dbServerHost | 数据库服务器主机。 | string （必需） |
| dbUserName | 数据库用户名。 | 字符串 |
| keyVaultId | 密钥保管库资源 ID。 | 字符串 |
| thriftUrl | 节俭 URL。 | 字符串 |
SparkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultStorageUrl | 默认存储 URL。 | 字符串 |
| metastoreSpec | Spark 群集的元存储规范。 | SparkMetastoreSpec |
| userPluginsSpec | Spark 用户插件规范 | SparkUserPlugins |
SparkUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 模式 = ^(https)|(abfss)://.*$ （必需） |
SparkUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Spark 用户插件。 | SparkUserPlugin[] |
SshProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 每个群集的 ssh Pod 数。 | int 约束： 最小值 = 0 最大值 = 5 （必需） |
TrackedResourceTags
| 名字 | 描述 | 价值 |
|---|
TrinoCoordinator
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |
| highAvailabilityEnabled | 如果启用协调器 HA，则使用具有自动故障转移的多个协调器副本，每个头节点各有一个。 默认值：true。 | bool |
TrinoDebugConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 使 | 如果启用调试或不启用的标志。 | bool |
| 港口 | 调试端口。 | int |
| 暂停 | 如果暂停调试或不进行调试的标志。 | bool |
TrinoProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Trino 群集目录选项。 | CatalogOptions |
| 协调者 | Trino 协调器。 | TrinoCoordinator |
| userPluginsSpec | Trino 用户插件规范 | TrinoUserPlugins |
| userTelemetrySpec | 用户遥测 | TrinoUserTelemetry |
| 工人 | Trino 辅助角色。 | TrinoWorker |
TrinoTelemetryConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| hivecatalogName | 如果未指定，则用于在 Trino 编写的日志上装载外部表的 Hive 目录名称。如果未指定，则不会创建表。 | 字符串 约束： 最小长度 = 1 |
| hivecatalogSchema | 要使用的上述目录的架构，若要将查询日志装载为外部表，如果未指定表，则会在架构 trinolog 下装载。 | 字符串 |
| partitionRetentionInDays | 查询日志表分区的保留期，这不会影响实际数据。 | int |
| 路径 | Blob 的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 |
TrinoUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示插件是否处于活动状态。 | bool |
| 名字 | 此字段映射到 trino 插件位置中的子目录，其中包含路径下的所有插件。 | 字符串 约束： 最小长度 = 1 |
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Trino 用户插件。 | TrinoUserPlugin[] |
TrinoUserTelemetry
| 名字 | 描述 | 价值 |
|---|---|---|
| 存储 | Trino 用户遥测定义。 | TrinoTelemetryConfig |
TrinoWorker
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |
Terraform （AzAPI 提供程序）资源定义
可以使用目标操作部署 clusterpools/clusters 资源类型：
- 资源组
有关每个 API 版本中已更改属性的列表，请参阅 更改日志。
资源格式
若要创建 Microsoft.HDInsight/clusterpools/clusters 资源，请将以下 Terraform 添加到模板。
resource "azapi_resource" "symbolicname" {
type = "Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview"
name = "string"
location = "string"
tags = {
{customized property} = "string"
}
body = jsonencode({
properties = {
clusterProfile = {
authorizationProfile = {
groupIds = [
"string"
]
userIds = [
"string"
]
}
autoscaleProfile = {
autoscaleType = "string"
enabled = bool
gracefulDecommissionTimeout = int
loadBasedConfig = {
cooldownPeriod = int
maxNodes = int
minNodes = int
pollInterval = int
scalingRules = [
{
actionType = "string"
comparisonRule = {
operator = "string"
threshold = int
}
evaluationCount = int
scalingMetric = "string"
}
]
}
scheduleBasedConfig = {
defaultCount = int
schedules = [
{
count = int
days = [
"string"
]
endTime = "string"
startTime = "string"
}
]
timeZone = "string"
}
}
clusterAccessProfile = {
enableInternalIngress = bool
}
clusterVersion = "string"
flinkProfile = {
catalogOptions = {
hive = {
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
}
}
deploymentMode = "string"
historyServer = {
cpu = int
memory = int
}
jobManager = {
cpu = int
memory = int
}
jobSpec = {
args = "string"
entryClass = "string"
jarName = "string"
jobJarDirectory = "string"
savePointName = "string"
upgradeMode = "string"
}
numReplicas = int
storage = {
storagekey = "string"
storageUri = "string"
}
taskManager = {
cpu = int
memory = int
}
}
identityProfile = {
msiClientId = "string"
msiObjectId = "string"
msiResourceId = "string"
}
kafkaProfile = {
diskStorage = {
dataDiskSize = int
dataDiskType = "string"
}
enableKRaft = bool
enablePublicEndpoints = bool
remoteStorageUri = "string"
}
llapProfile = {
{customized property} = ?
}
logAnalyticsProfile = {
applicationLogs = {
stdErrorEnabled = bool
stdOutEnabled = bool
}
enabled = bool
metricsEnabled = bool
}
ossVersion = "string"
prometheusProfile = {
enabled = bool
}
rangerPluginProfile = {
enabled = bool
}
rangerProfile = {
rangerAdmin = {
admins = [
"string"
]
database = {
host = "string"
name = "string"
passwordSecretRef = "string"
username = "string"
}
}
rangerAudit = {
storageAccount = "string"
}
rangerUsersync = {
enabled = bool
groups = [
"string"
]
mode = "string"
userMappingLocation = "string"
users = [
"string"
]
}
}
scriptActionProfiles = [
{
name = "string"
parameters = "string"
services = [
"string"
]
shouldPersist = bool
timeoutInMinutes = int
type = "string"
url = "string"
}
]
secretsProfile = {
keyVaultResourceId = "string"
secrets = [
{
keyVaultObjectName = "string"
referenceName = "string"
type = "string"
version = "string"
}
]
}
serviceConfigsProfiles = [
{
configs = [
{
component = "string"
files = [
{
content = "string"
encoding = "string"
fileName = "string"
path = "string"
values = {
{customized property} = "string"
}
}
]
}
]
serviceName = "string"
}
]
sparkProfile = {
defaultStorageUrl = "string"
metastoreSpec = {
dbConnectionAuthenticationMode = "string"
dbName = "string"
dbPasswordSecretName = "string"
dbServerHost = "string"
dbUserName = "string"
keyVaultId = "string"
thriftUrl = "string"
}
userPluginsSpec = {
plugins = [
{
path = "string"
}
]
}
}
sshProfile = {
count = int
}
stubProfile = {
{customized property} = ?
}
trinoProfile = {
catalogOptions = {
hive = [
{
catalogName = "string"
metastoreDbConnectionAuthenticationMode = "string"
metastoreDbConnectionPasswordSecret = "string"
metastoreDbConnectionURL = "string"
metastoreDbConnectionUserName = "string"
metastoreWarehouseDir = "string"
}
]
}
coordinator = {
debug = {
enable = bool
port = int
suspend = bool
}
highAvailabilityEnabled = bool
}
userPluginsSpec = {
plugins = [
{
enabled = bool
name = "string"
path = "string"
}
]
}
userTelemetrySpec = {
storage = {
hivecatalogName = "string"
hivecatalogSchema = "string"
partitionRetentionInDays = int
path = "string"
}
}
worker = {
debug = {
enable = bool
port = int
suspend = bool
}
}
}
}
clusterType = "string"
computeProfile = {
nodes = [
{
count = int
type = "string"
vmSize = "string"
}
]
}
}
})
}
属性值
AuthorizationProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| groupIds | 有权访问数据平面的 AAD 组 ID。 | string[] |
| userIds | 有权访问数据平面的 AAD 用户 ID。 | string[] |
AutoscaleProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| autoscaleType | 用户指定要实现的自动缩放类型 - 基于计划的或基于负载的。 | “LoadBased” “ScheduleBased” |
| 启用 | 这表示是否在 AKS 群集上的 HDInsight 上启用自动缩放。 | bool （必需） |
| gracefulDecommissionTimeout | 此属性用于正常解除授权超时;它在强制关闭前的默认设置为 3600 秒。 这是在将解除授权节点转换为 DECOMMISSIONED 之前等待运行容器和应用程序完成的最大时间。 默认值为 3600 秒。 负值（如 -1）作为无限超时处理。 | int |
| loadBasedConfig | 基于负载的自动缩放配置文件。 | LoadBasedConfig |
| scheduleBasedConfig | 基于计划的自动缩放配置文件。 | ScheduleBasedConfig |
CatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | hive 目录选项。 | HiveCatalogOption[] |
ClusterAccessProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| enableInternalIngress | 是否使用专用 IP 而不是公共 IP 创建群集。 必须在创建时设置此属性。 | bool （必需） |
ClusterConfigFile
| 名字 | 描述 | 价值 |
|---|---|---|
| 内容 | 整个配置文件的自由形式内容。 | 字符串 |
| 编码 | 此属性指示内容是否已编码且不区分大小写。 如果内容经过 base64 编码，请将该值设置为 base64。 如果内容为纯文本，则将其设置为“无”或“跳过”。 | “Base64” “None” |
| 文件名 | 配置文件名称。 | string （必需） |
| 路径 | 如果指定了内容，配置文件的路径。 | 字符串 |
| 值 | 键值对列表 其中，键表示有效的服务配置名称和值表示配置的值。 |
ClusterConfigFileValues |
ClusterConfigFileValues
| 名字 | 描述 | 价值 |
|---|
ClusterLogAnalyticsApplicationLogs
| 名字 | 描述 | 价值 |
|---|---|---|
| stdErrorEnabled | 如果启用了 stderror，则为 True，否则为 false。 | bool |
| stdOutEnabled | 如果启用了 stdout，则为 True，否则为 false。 | bool |
ClusterLogAnalyticsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| applicationLogs | 要为日志分析启用或禁用的日志集合。 | ClusterLogAnalyticsApplicationLogs |
| 启用 | 如果为群集启用了 Log Analytics，则为 True，否则为 false。 | bool （必需） |
| metricsEnabled | 如果启用了指标，则为 True，否则为 false。 | bool |
ClusterProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| authorizationProfile | 授权配置文件，其中包含授权用于数据平面访问的 AAD 用户 ID 和组 ID 的详细信息。 | AuthorizationProfile（必需） |
| autoscaleProfile | 这是群集的自动缩放配置文件。 这将允许客户创建启用了自动缩放的群集。 | AutoscaleProfile |
| clusterAccessProfile | 群集访问配置文件。 | ClusterAccessProfile |
| clusterVersion | 3/4 部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})(?:\.(0|[1-9][0-9]{0,18}))?$ （必需） |
| flinkProfile | Flink 群集配置文件。 | FlinkProfile |
| identityProfile | Trino、Spark 和 Flink 群集需要此属性，但对于 Kafka 群集是可选的。 | IdentityProfile |
| kafkaProfile | Kafka 群集配置文件。 | KafkaProfile |
| llapProfile | LLAP 群集配置文件。 | ClusterProfileLlapProfile |
| logAnalyticsProfile | 群集日志分析配置文件，用于启用或禁用群集的 OMS 代理。 | ClusterLogAnalyticsProfile |
| ossVersion | 具有三个部分的版本。 | 字符串 约束： 模式 = ^(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})\.(0|[1-9][0-9]{0,18})$ （必需） |
| prometheusProfile | 群集 Prometheus 配置文件。 | ClusterPrometheusProfile |
| rangerPluginProfile | 群集 Ranger 插件配置文件。 | ClusterRangerPluginProfile |
| rangerProfile | ranger 群集配置文件。 | RangerProfile |
| scriptActionProfiles | 脚本操作配置文件列表。 | ScriptActionProfile[] |
| secretsProfile | 群集机密配置文件。 | SecretsProfile |
| serviceConfigsProfiles | 服务配置配置文件。 | ClusterServiceConfigsProfile[] |
| sparkProfile | Spark 群集配置文件。 | SparkProfile |
| sshProfile | 群集的 Ssh 配置文件。 | SshProfile |
| stubProfile | 存根群集配置文件。 | ClusterProfileStubProfile |
| trinoProfile | Trino 群集配置文件。 | TrinoProfile |
ClusterProfileLlapProfile
| 名字 | 描述 | 价值 |
|---|
ClusterProfileStubProfile
| 名字 | 描述 | 价值 |
|---|
ClusterPrometheusProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Prometheus。 | bool （必需） |
ClusterRangerPluginProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 为群集启用 Ranger。 | bool （必需） |
ClusterResourceProperties
| 名字 | 描述 | 价值 |
|---|---|---|
| clusterProfile | 群集配置文件。 | ClusterProfile （必需） |
| clusterType | 群集的类型。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9]{0,31}$ （必需） |
| computeProfile | 计算配置文件。 | ComputeProfile （必需） |
ClusterServiceConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 元件 | 配置文件应应用于的组件的名称。 | string （必需） |
| 文件 | 配置文件列表。 | ClusterConfigFile[] （必需） |
ClusterServiceConfigsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 配置 | 服务配置列表。 | ClusterServiceConfig[] （必需） |
| serviceName | 配置应应用于的服务的名称。 | string （必需） |
ComparisonRule
| 名字 | 描述 | 价值 |
|---|---|---|
| 算子 | 比较运算符。 | “greaterThan” “greaterThanOrEqual” “lessThan” “lessThanOrEqual”（必需） |
| 门槛 | 阈值设置。 | int （必需） |
ComputeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 节点 | 节点定义。 | NodeProfile[] （必需） |
ComputeResourceDefinition
| 名字 | 描述 | 价值 |
|---|---|---|
| 中央处理器 | 所需的 CPU。 | int （必需） |
| 记忆 | 所需的内存（以 MB 为单位）的容器内存将为 110 百分点 | int （必需） |
DiskStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| dataDiskSize | 托管磁盘大小（以 GB 为单位）。 标准版和高级 HDD/SSD 支持的最大磁盘大小为 32TB，高级 SSD v2 支持最多 64TB。 | int （必需） |
| dataDiskType | 托管磁盘类型。 | “Premium_SSD_LRS” “Premium_SSD_v2_LRS” “Premium_SSD_ZRS” “Standard_HDD_LRS” “Standard_SSD_LRS” “Standard_SSD_ZRS”（必需） |
FlinkCatalogOptions
| 名字 | 描述 | 价值 |
|---|---|---|
| 蜂房 | Flink 群集的 Hive 目录选项。 | FlinkHiveCatalogOption |
FlinkHiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
FlinkJobProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| args | 表示 Flink 作业的其他 JVM 参数的字符串属性。 它应为空格分隔值。 | 字符串 |
| entryClass | 一个字符串属性，指定 Flink 作业的条目类。 如果未指定，则从 flink 作业 jar 包自动检测入口点。 | 字符串 |
| jarName | 一个表示作业 JAR 名称的字符串属性。 | string （必需） |
| jobJarDirectory | 一个字符串属性，指定作业 JAR 所在的目录。 | string （必需） |
| savePointName | 一个字符串属性，表示 Flink 作业的保存点的名称 | 字符串 |
| upgradeMode | 一个字符串属性，指示要对 Flink 作业执行的升级模式。 它可以具有以下枚举值之一 => STATELESS_UPDATE，UPDATE，LAST_STATE_UPDATE。 | “LAST_STATE_UPDATE” “STATELESS_UPDATE” “UPDATE”（必需） |
FlinkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Flink 群集目录选项。 | FlinkCatalogOptions |
| deploymentMode | 一个字符串属性，指示 Flink 群集的部署模式。 它可以具有以下枚举值之一 => Application， Session。 默认值为 Session | “Application” “Session” |
| historyServer | 历史记录服务器容器/进程 CPU 和内存要求 | ComputeResourceDefinition |
| jobManager | 作业管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
| jobSpec | 应用程序部署模式下 flink 群集的作业规范。 即使通过调用 RunJob API 更改作业属性，规范也不可变，请使用 ListJob API 获取最新的作业信息。 | FlinkJobProfile |
| numReplicas | 任务管理器的数量。 | int |
| 存储 | 存储配置文件 | FlinkStorageProfile （必需） |
| taskManager | 任务管理器容器/处理 CPU 和内存要求 | ComputeResourceDefinition （必需） |
FlinkStorageProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| storagekey | 只有 wasb（s） 存储需要存储密钥。 | 字符串 约束： 敏感值。 以安全参数的形式传入。 |
| storageUri | 用于保存点和检查点状态的存储帐户 URI。 | 字符串 约束： 模式 = ^(\w{4,5})://(.*)@(.*).\b(blob|dfs)\b.*$ （必需） |
HiveCatalogOption
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogName | 应使用指定 hive 元存储的 trino 目录的名称。 | 字符串 约束： 最小长度 = 1 （必需） |
| metastoreDbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| metastoreDbConnectionPasswordSecret | 包含数据库连接密码的 secretsProfile.secrets 的机密引用名称。 | 字符串 |
| metastoreDbConnectionURL | hive 元存储数据库的连接字符串。 | string （必需） |
| metastoreDbConnectionUserName | 数据库连接的用户名。 | 字符串 |
| metastoreWarehouseDir | 元存储根目录 URI，格式：abfs[s]：//<容器>@<account_name>.dfs.core.windows.net/<路径>。 更多详细信息：/azure/storage/blobs/data-lake-storage-introduction-abfs-uri | string （必需） |
IdentityProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| msiClientId | MSI 的 ClientId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiObjectId | MSI 的 ObjectId。 | 字符串 约束： 模式 = ^[{(]?[0-9A-Fa-f]{8}[-]?(?:[0-9A-Fa-f]{4}[-]?){3}[0-9A-Fa-f]{12}[)}]?$ （必需） |
| msiResourceId | MSI 的 ResourceId。 | string （必需） |
KafkaProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| diskStorage | Kafka 磁盘存储配置文件。 | DiskStorageProfile （必需） |
| enableKRaft | 在 KRaft 模式下公开 Kafka 群集。 | bool |
| enablePublicEndpoints | 将工作器节点公开为公共终结点。 | bool |
| remoteStorageUri | 用于分层存储的 Azure 存储容器的完全限定路径。 | 字符串 约束： Pattern = ^(https?|abfss?):\/\/[^/]+(?:\/|$) |
LoadBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| cooldownPeriod | 这是一个冷却期，这是一个以秒为单位的时间段，它确定在规则启动的缩放活动与下一个缩放活动的开始之间必须经过的时间量，而不考虑触发它的规则。 默认值为 300 秒。 | int |
| maxNodes | 用户需要设置基于负载的缩放的最大节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| minNodes | 用户需要为基于负载的缩放设置最小节点数，基于负载的缩放将使用此缩放在最小节点和最大节点数之间纵向扩展和缩减。 | int （必需） |
| pollInterval | 用户可以指定轮询间隔，这是在轮询缩放指标以触发缩放操作之后的时间段（以秒为单位）。 | int |
| scalingRules | 缩放规则。 | ScalingRule[] （必需） |
Microsoft.HDInsight/clusterpools/clusters
| 名字 | 描述 | 价值 |
|---|---|---|
| 位置 | 资源所在的地理位置 | string （必需） |
| 名字 | 资源名称 | string （必需） |
| parent_id | 此资源的父资源的 ID。 | 类型资源的 ID：群集池 |
| 性能 | 获取或设置属性。 定义特定于群集的属性。 | ClusterResourceProperties |
| 标签 | 资源标记 | 标记名称和值的字典。 |
| 类型 | 资源类型 | “Microsoft.HDInsight/clusterpools/clusters@2023-11-01-preview” |
NodeProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 虚拟机数。 | int 约束： 最小值 = 1 （必需） |
| 类型 | 节点类型。 | 字符串 约束： 模式 = ^(head|Head|HEAD|worker|Worker|WORKER)$ （必需） |
| vmSize | 虚拟机 SKU。 | 字符串 约束： 模式 = ^[a-zA-Z0-9_\-]{0,256}$ （必需） |
RangerAdminSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 管理员 | 应标记为 ranger 管理员的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称（UPN）匹配。 | string[] （必需） |
| 数据库 | RangerAdminSpecDatabase （必需） |
RangerAdminSpecDatabase
| 名字 | 描述 | 价值 |
|---|---|---|
| 主机 | 数据库 URL | string （必需） |
| 名字 | 数据库名称 | string （必需） |
| passwordSecretRef | 数据库密码参考 | 字符串 |
| username | 数据库用户的名称 | 字符串 |
RangerAuditSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| storageAccount | Blob 的 Azure 存储位置。 MSI 应具有对此存储帐户的读/写访问权限。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
RangerProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| rangerAdmin | Ranger 管理服务的规范。 | RangerAdminSpec （必需） |
| rangerAudit | 描述审核日志存储所需的属性。 | RangerAuditSpec |
| rangerUsersync | Ranger Usersync 服务的规范 | RangerUsersyncSpec （必需） |
RangerUsersyncSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示是否应启用用户同步服务 | bool |
| 组 | 应同步的组列表。 这些组名称应与相应 AAD 组的对象 ID 匹配。 | string[] |
| 模式 | 用户 & 组可以自动或通过刷新的静态列表进行同步。 | “automatic” “static” |
| userMappingLocation | 列出用户 & 组关联的映射文件的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
| 用户 | 应同步的用户名列表。 这些用户名应与相应 AAD 用户的用户主体名称匹配。 | string[] |
ScalingRule
| 名字 | 描述 | 价值 |
|---|---|---|
| actionType | 操作类型。 | “scaledown” “scaleup”（必需） |
| comparisonRule | 比较规则。 | ComparisonRule （必需） |
| evaluationCount | 这是缩放条件的评估计数，在触发缩放活动之前，触发条件应成功次数。 | int （必需） |
| scalingMetric | 单个工作负荷的指标名称。 例如：cpu | string （必需） |
附表
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 用户必须设置在设置当前计划配置的缩放操作结束时预期的节点计数，格式为整数。 | int （必需） |
| 日 | 用户必须设置必须为自动缩放操作设置计划的日子。 | 包含任一项的字符串数组： “Friday” “Monday” “Saturday” “星期日” “星期四” “Tuesday” “星期三”（必需） |
| endTime | 用户必须设置当前计划配置的结束时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
| startTime | 用户必须设置当前计划配置的开始时间，格式如 10：30 （HH：MM）。 | 字符串 约束： 模式 = ^([0-1]?[0-9]|2[0-3]):[0-5][0-9]$ （必需） |
ScheduleBasedConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultCount | 设置当前计划配置的默认节点计数。 默认节点计数指定执行指定缩放操作时默认的节点数（纵向扩展/缩减） | int （必需） |
| 附表 | 这指定要启用基于计划的自动缩放的计划，用户可以选择在计划内跨天数和时间（开始/结束）设置多个规则。 | 计划[] （必需） |
| timeZone | 用户必须指定必须为其设置基于计划的自动缩放配置的时区。 | string （必需） |
ScriptActionProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 名字 | 脚本名称。 | string （必需） |
| 参数 | 脚本操作的其他参数。 它应该是脚本执行所需的参数的空间分隔列表。 | 字符串 |
| 服务业 | 要应用脚本操作的服务列表。 | string[] （必需） |
| shouldPersist | 指定脚本是否应保留在群集上。 | bool |
| timeoutInMinutes | 脚本操作的超时持续时间（以分钟为单位）。 | int |
| 类型 | 脚本操作的类型。 支持的类型为 bash 脚本。 | string （必需） |
| url | 脚本文件的 URL。 | 字符串 约束： 模式 = ^(https)|(http)://.*$ （必需） |
SecretReference
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultObjectName | 密钥保管库中机密的对象标识符名称。 | 字符串 约束： 模式 = ^[a-zA-Z][a-zA-Z0-9-]{1,126}$ （必需） |
| referenceName | 要用于服务配置的机密的引用名称。 | string （必需） |
| 类型 | 密钥保管库对象的类型：机密、密钥或证书。 | “Certificate” “Key” “机密”（必需） |
| 版本 | 密钥保管库中的机密版本。 | 字符串 |
SecretsProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| keyVaultResourceId | 存储所有群集特定用户机密的用户 Key Vault 的名称。 | string （必需） |
| 秘密 | Key Vault 机密的属性。 | SecretReference[] |
SparkMetastoreSpec
| 名字 | 描述 | 价值 |
|---|---|---|
| dbConnectionAuthenticationMode | 用于连接到 Hive 元存储数据库的身份验证模式。 更多详细信息：/azure/azure-sql/database/logins-create-manage？view=azuresql#authentication-and-authorization | “IdentityAuth” “SqlAuth” |
| dbName | 数据库名称。 | string （必需） |
| dbPasswordSecretName | 包含数据库用户密码的机密名称。 | 字符串 |
| dbServerHost | 数据库服务器主机。 | string （必需） |
| dbUserName | 数据库用户名。 | 字符串 |
| keyVaultId | 密钥保管库资源 ID。 | 字符串 |
| thriftUrl | 节俭 URL。 | 字符串 |
SparkProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| defaultStorageUrl | 默认存储 URL。 | 字符串 |
| metastoreSpec | Spark 群集的元存储规范。 | SparkMetastoreSpec |
| userPluginsSpec | Spark 用户插件规范 | SparkUserPlugins |
SparkUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 模式 = ^(https)|(abfss)://.*$ （必需） |
SparkUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Spark 用户插件。 | SparkUserPlugin[] |
SshProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| 计数 | 每个群集的 ssh Pod 数。 | int 约束： 最小值 = 0 最大值 = 5 （必需） |
TrackedResourceTags
| 名字 | 描述 | 价值 |
|---|
TrinoCoordinator
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |
| highAvailabilityEnabled | 如果启用协调器 HA，则使用具有自动故障转移的多个协调器副本，每个头节点各有一个。 默认值：true。 | bool |
TrinoDebugConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| 使 | 如果启用调试或不启用的标志。 | bool |
| 港口 | 调试端口。 | int |
| 暂停 | 如果暂停调试或不进行调试的标志。 | bool |
TrinoProfile
| 名字 | 描述 | 价值 |
|---|---|---|
| catalogOptions | Trino 群集目录选项。 | CatalogOptions |
| 协调者 | Trino 协调器。 | TrinoCoordinator |
| userPluginsSpec | Trino 用户插件规范 | TrinoUserPlugins |
| userTelemetrySpec | 用户遥测 | TrinoUserTelemetry |
| 工人 | Trino 辅助角色。 | TrinoWorker |
TrinoTelemetryConfig
| 名字 | 描述 | 价值 |
|---|---|---|
| hivecatalogName | 如果未指定，则用于在 Trino 编写的日志上装载外部表的 Hive 目录名称。如果未指定，则不会创建表。 | 字符串 约束： 最小长度 = 1 |
| hivecatalogSchema | 要使用的上述目录的架构，若要将查询日志装载为外部表，如果未指定表，则会在架构 trinolog 下装载。 | 字符串 |
| partitionRetentionInDays | 查询日志表分区的保留期，这不会影响实际数据。 | int |
| 路径 | Blob 的 Azure 存储位置。 | 字符串 约束： 最小长度 = 1 |
TrinoUserPlugin
| 名字 | 描述 | 价值 |
|---|---|---|
| 启用 | 表示插件是否处于活动状态。 | bool |
| 名字 | 此字段映射到 trino 插件位置中的子目录，其中包含路径下的所有插件。 | 字符串 约束： 最小长度 = 1 |
| 路径 | 包含插件的文件夹的完全限定路径。 | 字符串 约束： 最小长度 = 1 Pattern = ^(https)|(abfss)://.*$ |
TrinoUserPlugins
| 名字 | 描述 | 价值 |
|---|---|---|
| 插件 | Trino 用户插件。 | TrinoUserPlugin[] |
TrinoUserTelemetry
| 名字 | 描述 | 价值 |
|---|---|---|
| 存储 | Trino 用户遥测定义。 | TrinoTelemetryConfig |
TrinoWorker
| 名字 | 描述 | 价值 |
|---|---|---|
| 调试 | Trino 调试配置。 | TrinoDebugConfig |