Delen via

Add-AzureHDInsightConfigValues

  • Referentie
Module:
Azure

Hiermee voegt u een Aanpassing van de Hadoop-configuratiewaarde of een aanpassing van een gedeelde Hive-bibliotheek toe aan een HDInsight-clusterconfiguratie.

Notitie

De cmdlets waarnaar in deze documentatie wordt verwezen, zijn bedoeld voor het beheren van verouderde Azure-resources die gebruikmaken van ASM-API's (Azure Service Manager). Deze verouderde PowerShell-module wordt niet aanbevolen bij het maken van nieuwe resources, omdat ASM is gepland voor buitengebruikstelling. Zie Buitengebruikstelling van Azure Service Manager voor meer informatie.

De Az PowerShell-module is de aanbevolen PowerShell-module voor het beheren van ARM-resources (Azure Resource Manager) met PowerShell.

Syntaxis

Add-AzureHDInsightConfigValues
   -Config <AzureHDInsightConfig>
   [-Core <Hashtable>]
   [-Yarn <Hashtable>]
   [-Hdfs <Hashtable>]
   [-Hive <AzureHDInsightHiveConfiguration>]
   [-MapReduce <AzureHDInsightMapReduceConfiguration>]
   [-Oozie <AzureHDInsightOozieConfiguration>]
   [-Storm <Hashtable>]
   [-Spark <Hashtable>]
   [-HBase <AzureHDInsightHBaseConfiguration>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Deze versie van Azure PowerShell HDInsight is afgeschaft. Deze cmdlets worden verwijderd op 1 januari 2017. Gebruik de nieuwere versie van Azure PowerShell HDInsight.

Zie Op Linux gebaseerde clusters maken in HDInsight met behulp van Azure PowerShell voor meer informatie over het gebruik van de nieuwe HDInsight om een cluster te maken. Zie Hadoop-taken verzenden in HDInsight voor meer informatie over het verzenden van taken met behulp van Azure PowerShell en andere benaderingen. Zie Azure HDInsight-cmdlets voor naslaginformatie over Azure PowerShell HDInsight.

De cmdlet Add-AzureHDInsightConfigValues voegt een hadoop-configuratiewaardeaanpassing toe, zoals Core-site.xml of Hive-site.xml, of een aanpassing van een gedeelde Hive-bibliotheek aan een Azure HDInsight-clusterconfiguratie.

Met de cmdlet worden aangepaste configuratiewaarden toegevoegd aan een opgegeven configuratieobject. De aangepaste instellingen worden toegevoegd aan de configuratiebestanden van de relevante Hadoop-services wanneer het cluster wordt geïmplementeerd.

Voorbeelden

Voorbeeld 1: Een cluster configureren

PS C:\>$HiveConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightHiveConfiguration'
PS C:\> $HiveConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $HiveConfigValues.AdditionalLibraries = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightDefaultStorageAccount'
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountName = "MyStorageAccount.blob.core.windows.net"
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageAccountKey = (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary
PS C:\> $HiveConfigValues.AdditionalLibraries.StorageContainerName = "MySharedLibContainer"
PS C:\> $OozieConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightOozieConfiguration'
PS C:\> $OozieConfigValues.Configuration = @{ hive.exec.compress.output = true }
PS C:\> $MapredConfigValues = New-Object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightMapReduceConfiguration'
PS C:\> $MapredConfigValues.Configuration = @{ mapred.map.max.attempts = 2 }
PS C:\> $MapredConfigValues.CapacitySchedulerConfiguration = @{ mapred.capacity-scheduler.init-poll-interval = 1000 }
PS C:\> $Config = New-AzureHDInsightClusterConfig -ClusterSizeInNodes 4
    | Set-AzureHDInsightDefaultStorage -StorageAccountName MyStorageAccount.blob.core.windows.net -StorageAccountKey (Get-AzureStorageKey -StorageAccountName "MyStorageAccount").Primary -StorageContainerName "MyStorageContainer"
    | Add-AzureHDInsightConfigValues -Core @{ io.file.buffer.size = 300000 } -MapReduce $MapredConfigValues -Hive $HiveConfigValues -Oozie $OozieConfigValues
PS C:\> $Config | New-AzureHDInsightCluster -Subscription $SubId -Credential $Creds -Name "MyCluster" -Location "North Europe"

Met de eerste opdracht wordt een nieuw AzureHDInsightHiveConfiguration-object gemaakt en vervolgens opgeslagen in de $HiveConfigValues variabele.

De volgende vijf opdrachten maken configuratiewaarden voor Hive en slaan deze waarden op als leden van $HiveConfigValues.

Met de zevende opdracht wordt een AzureHDInsightOozieConfiguration-object gemaakt en vervolgens opgeslagen in de $OozieConfigValues variabele. De achtste opdracht maakt een configuratiewaarde voor Oozie en slaat die waarden vervolgens op als lid van $OozieConfigValues.

Met de negende opdracht wordt een AzureHDInsightMapReduceConfiguration-object gemaakt en vervolgens opgeslagen in de $MapredConfigValues variabele. De volgende twee opdrachten maken configuratiewaarden voor MapReduce en slaan deze waarden op als leden van $MapredConfigValues.

De twaalfde opdracht maakt gebruik van de cmdlet New-AzureHDInsightClusterConfig om een HDInsight-clusterconfiguratie te maken en slaat deze vervolgens op in de $Config variabele. De opdracht gebruikt de pijplijnoperator om $Config door te geven aan de cmdlet Set-AzureHDInsightDefaultStorage om de standaardopslaginstelling bij te werken en naar de cmdlet Add-AzureHDInsightConfigValues om de nieuwe configuratiewaarden toe te voegen aan de clusterconfiguratie.

De laatste opdracht maakt gebruik van de pijplijnoperator om $Config door te geven aan de cmdlet New-AzureHDInsightCluster om een nieuw HDInsight-cluster te maken met de aangepaste instellingen.

Parameters

-Config

Hiermee geeft u het configuratieobject waaraan een Hadoop-configuratie moet worden toegevoegd.

Type:AzureHDInsightConfig
Position:Named
Default value:None
Vereist:True
Pijplijninvoer accepteren:True
Jokertekens accepteren:False

-Core

Hiermee geeft u een set Hadoop-configuratiewaarden voor Core-site.xml.

Type:Hashtable
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-HBase

Hiermee geeft u een set HBase-configuratiewaarden voor Hbase-site.xml.

Type:AzureHDInsightHBaseConfiguration
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Hdfs

Hiermee geeft u een set Hadoop-configuratiewaarden voor Hdfs-site.xml.

Type:Hashtable
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Hive

Hiermee geeft u een aanpassingsobject voor Hadoop Hive-service op, inclusief een set Hadoop-configuratiewaarden voor Hive-site.xml- en Hive-gedeelde bibliotheken.

Type:AzureHDInsightHiveConfiguration
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-MapReduce

Hiermee geeft u een aanpassingsobject voor MapReduce en de capaciteitsplanner.

Type:AzureHDInsightMapReduceConfiguration
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Oozie

Hiermee geeft u een aanpassingsobject voor Hadoop Oozie-service, inclusief een set Hadoop-configuratiewaarden voor Oozie-site.xml.

Type:AzureHDInsightOozieConfiguration
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Profile

Hiermee geeft u het Azure-profiel op waaruit deze cmdlet wordt gelezen. Als u geen profiel opgeeft, leest deze cmdlet uit het lokale standaardprofiel.

Type:AzureSMProfile
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Spark

Hiermee geeft u een aanpassingsobject voor Apache Spark.

Type:Hashtable
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Storm

Hiermee geeft u een aanpassingsobject voor Apache Storm.

Type:Hashtable
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Yarn

Hiermee geeft u een aanpassingsobject voor Hadoop YARN op en geeft u een set aangepaste YARN-configuratiewaarden op voor Yarn-site.xml.

Type:Hashtable
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False