New-AzSynapseSparkPool

Referência

Módulo:: Az.Synapse

Cria um pool do Spark do Synapse Analytics.

Sintaxe

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Description

O cmdlet New-AzSynapseSparkPool cria um pool do Spark do Azure Synapse Analytics.

Exemplos

Exemplo 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Esse comando cria um pool do Spark do Azure Synapse Analytics.

Exemplo 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Esse comando cria um pool do Spark do Azure Synapse Analytics com dimensionamento automático habilitado.

Exemplo 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

Esse comando cria um pool do Spark do Azure Synapse Analytics com alocação de executor dinâmico habilitada e especifica a contagem mínima de executores e a contagem máxima do executor.

Exemplo 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

Esse comando cria um pool do Spark do Azure Synapse Analytics e especifica uma configuração do Spark para o pool do Spark.

Exemplo 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Esse comando cria um pool do Spark do Azure Synapse Analytics por meio do pipeline.

Exemplo 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Esse comando cria um pool do Spark do Azure Synapse Analytics com dimensionamento automático habilitado por meio de pipeline.

Exemplo 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

Esse comando cria um pool do Spark do Azure Synapse Analytics com computação isolada habilitada por meio de pipeline.

Parâmetros

-AsJob

Executar cmdlet em segundo plano

Tipo:	SwitchParameter
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-AutoPauseDelayInMinute

Número de minutos ociosos. Esse parâmetro pode ser especificado quando a pausa automática está habilitada. O valor padrão será [15] se não for especificado manualmente.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-AutoScaleMaxNodeCount

Número máximo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está habilitada.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-AutoScaleMinNodeCount

Número mínimo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está habilitada.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Confirm

Solicita a confirmação antes de executar o cmdlet.

Tipo:	SwitchParameter
Aliases:	cf
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para comunicação com o Azure.

Tipo:	IAzureContextContainer
Aliases:	AzContext, AzureRmContext, AzureCredential
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-EnableAutoPause

Indica se a pausa automática deve ser habilitada.

Tipo:	SwitchParameter
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-EnableDynamicExecutorAllocation

Indica se a alocação dinâmica do executor deve ser habilitada.

Tipo:	SwitchParameter
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-EnableIsolatedCompute

A opção De computação isolada só está disponível com o tamanho do nó XXXLarge (80 vCPU/504 GB). Habilitar essa opção oferece isolamento para computação do Apache Spark para serviços não confiáveis. A computação isolada custa o mesmo que a VM não isolada do mesmo tamanho. Se você espera habilitar a Computação Isolada para o pool do Spark, verifique se o workspace do Synapse foi criado em uma região com suporte de computação isolada, consulte este documento para obter mais detalhes: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tipo:	SwitchParameter
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-MaxExecutorCount

Número máximo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusivo) e maximumNodeCount (exclusivo). Se não for especificado manualmente, o valor padrão será 2.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-MinExecutorCount

Número mínimo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusivo) e maxExecutors (exclusivo). Se não for especificado manualmente, o valor padrão será 1.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Name

Nome do pool do Spark do Synapse.

Tipo:	String
Aliases:	SparkPoolName
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-NodeCount

Número de nós a serem alocados no pool do Spark especificado.

Tipo:	Int32
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-NodeSize

Número de núcleo e memória a serem usados para nós alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática está desabilitada

Tipo:	String
Valores aceitos:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-ResourceGroupName

Nome do grupo de recursos.

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-SparkConfiguration

Configuração do Apache Spark. Quando um trabalho é enviado para o pool, as propriedades especificadas na configuração selecionada serão referenciadas.

Tipo:	PSSparkConfigurationResource
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-SparkVersion

Versão do Apache Spark. Valores permitidos: 2.4

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-Tag

Uma cadeia de caracteres, um dicionário de cadeia de caracteres de marcas associadas ao recurso.

Tipo:	Hashtable
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-WhatIf

Mostra o que aconteceria se o cmdlet fosse executado. O cmdlet não é executado.

Tipo:	SwitchParameter
Aliases:	wi
Cargo:	Named
Valor padrão:	None
Obrigatório:	False
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-WorkspaceName

Nome do workspace do Synapse.

Tipo:	String
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	False
Aceitar caracteres curinga:	False

-WorkspaceObject

objeto de entrada do workspace, geralmente passado pelo pipeline.

Tipo:	PSSynapseWorkspace
Cargo:	Named
Valor padrão:	None
Obrigatório:	True
Aceitar a entrada de pipeline:	True
Aceitar caracteres curinga:	False

Entradas

PSSynapseWorkspace

Saídas

PSSynapseSparkPool

Compartilhar via