New-AzSynapseSparkPool

Ссылка

Модуль:: Az.Synapse

Создает пул Synapse Analytics Spark.

Синтаксис

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Описание

Командлет New-AzSynapseSparkPool создает пул Azure Synapse Analytics Spark.

Примеры

Пример 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics.

Пример 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с поддержкой автоматического масштабирования.

Пример 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с включенным динамическим выделением исполнителя и укажите минимальное количество исполнителей и максимальное число исполнителей.

Пример 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

Эта команда создает пул Spark Azure Synapse Analytics и задает конфигурацию Spark для пула Spark.

Пример 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с помощью конвейера.

Пример 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с поддержкой автоматического масштабирования с помощью конвейера.

Пример 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

Эта команда создает пул Spark Azure Synapse Analytics с изолированными вычислительными ресурсами, включенными через конвейер.

Параметры

-AsJob

Запуск командлета в фоновом режиме

Тип:	SwitchParameter
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-AutoPauseDelayInMinute

Количество минут простоя. Этот параметр можно указать при включении автоматической приостановки. Значение по умолчанию будет [15], если оно не указано вручную.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-AutoScaleMaxNodeCount

Максимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-AutoScaleMinNodeCount

Минимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-Confirm

Запрашивает подтверждение перед запуском командлета.

Тип:	SwitchParameter
Aliases:	cf
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-DefaultProfile

Учетные данные, учетная запись, клиент и подписка, используемые для взаимодействия с Azure.

Тип:	IAzureContextContainer
Aliases:	AzContext, AzureRmContext, AzureCredential
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-EnableAutoPause

Указывает, следует ли включить автоматическую приостановку.

Тип:	SwitchParameter
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-EnableDynamicExecutorAllocation

Указывает, следует ли включить динамическое выделение исполнителя.

Тип:	SwitchParameter
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-EnableIsolatedCompute

Параметр "Изоляция вычислений" доступен только с размером узла XXXLarge (80 vCPU / 504 ГБ). Включение этого параметра обеспечивает изоляцию вычислений Apache Spark для ненадежных служб. Изолированные затраты на вычислительные ресурсы совпадают с неизолированных виртуальных машин того же размера. Если вы планируете включить изолированные вычисления для пула Spark, убедитесь, что рабочая область Synapse создана в изолированном поддерживаемом регионе вычислений, дополнительные сведения см. в этом документе: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Тип:	SwitchParameter
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-MaxExecutorCount

Максимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maximumNodeCount (исключающее). Если оно не указано вручную, значение по умолчанию будет равно 2.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-MinExecutorCount

Минимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maxExecutors (монопольное). Если оно не указано вручную, значение по умолчанию будет равно 1.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-Name

Имя пула Synapse Spark.

Тип:	String
Aliases:	SparkPoolName
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-NodeCount

Количество узлов, выделенных в указанном пуле Spark.

Тип:	Int32
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-NodeSize

Количество ядер и памяти, используемых для узлов, выделенных в указанном пуле Spark. Этот параметр должен быть указан при отключении автоматического масштабирования

Тип:	String
Допустимые значения:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-ResourceGroupName

Имя группы ресурсов.

Тип:	String
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-SparkConfiguration

Конфигурация Apache Spark. При отправке задания в пул будут ссылаться свойства, указанные в выбранной конфигурации.

Тип:	PSSparkConfigurationResource
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-SparkVersion

Версия Apache Spark. Допустимые значения: 2.4

Тип:	String
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-Tag

Строковый словарь тегов, связанных с ресурсом.

Тип:	Hashtable
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-WhatIf

Показывает, что произойдет, если командлет выполняется. Командлет не выполняется.

Тип:	SwitchParameter
Aliases:	wi
Position:	Named
Default value:	None
Обязательно:	False
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-WorkspaceName

Имя рабочей области Synapse.

Тип:	String
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	False
Принять подстановочные знаки:	False

-WorkspaceObject

Входной объект рабочей области, обычно передаваемый через конвейер.

Тип:	PSSynapseWorkspace
Position:	Named
Default value:	None
Обязательно:	True
Принять входные данные конвейера:	True
Принять подстановочные знаки:	False

Входные данные

PSSynapseWorkspace

Выходные данные

PSSynapseSparkPool

Поделиться через