Delen via

New-AzureHDInsightMapReduceJobDefinition

  • Referentie
Module:
Azure

Hiermee definieert u een nieuwe MapReduce-taak.

Notitie

De cmdlets waarnaar in deze documentatie wordt verwezen, zijn bedoeld voor het beheren van verouderde Azure-resources die gebruikmaken van ASM-API's (Azure Service Manager). Deze verouderde PowerShell-module wordt niet aanbevolen bij het maken van nieuwe resources, omdat ASM is gepland voor buitengebruikstelling. Zie Buitengebruikstelling van Azure Service Manager voor meer informatie.

De Az PowerShell-module is de aanbevolen PowerShell-module voor het beheren van ARM-resources (Azure Resource Manager) met PowerShell.

Syntaxis

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Deze versie van Azure PowerShell HDInsight is afgeschaft. Deze cmdlets worden verwijderd op 1 januari 2017. Gebruik de nieuwere versie van Azure PowerShell HDInsight.

Zie Op Linux gebaseerde clusters maken in HDInsight met behulp van Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/) voor informatie over het gebruik van de nieuwe HDInsight om een cluster te maken. Zie Hadoop-taken verzenden in HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/) voor meer informatie over het verzenden van taken met behulp van Azure PowerShell en andere benaderingen. Zie Azure HDInsight-cmdlets voor naslaginformatie over Azure PowerShell HDInsight.

De cmdlet New-AzureHDInsightMapReduceJobDefinition definieert een nieuwe MapReduce-taak die moet worden uitgevoerd op een Azure HDInsight-cluster.

Voorbeelden

Voorbeeld 1: Een MapReduce-taak definiëren, de taak uitvoeren en de uitvoer ophalen

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

Met de eerste opdracht wordt de id van het huidige abonnement opgehaald en vervolgens opgeslagen in de variabele $SubId.

Met de tweede opdracht wordt de naam MyCluster toegewezen aan de variabele $Clustername.

De derde opdracht maakt gebruik van de cmdlet New-AzureHDInsightMapReduceJobDefinition om een MapReduce-taakdefinitie te maken en sla deze vervolgens op in de variabele $WordCountJob.

Met de vierde opdracht wordt een reeks bewerkingen uitgevoerd met behulp van deze cmdlets:

  • Start-AzureHDInsightJob om de taak op $ClusterName te starten.
  • Wait-AzureHDInsightJob om te wachten tot de taak is voltooid en om de voortgang voor voltooiing weer te geven.
  • Get-AzureHDInsightJobOutput om de taakuitvoer op te halen.

Parameters

-Arguments

Hiermee geeft u een matrix van argumenten voor een Hadoop-taak. De argumenten worden doorgegeven als opdrachtregelargumenten aan elke taak.

Type:String[]
Aliassen:Args
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-ClassName

Hiermee geeft u de naam van de taakklasse in het JAR-bestand (Java Archive).

Type:String
Aliassen:Class
Position:Named
Default value:None
Vereist:True
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Defines

Hiermee geeft u Hadoop-configuratiewaarden op die moeten worden ingesteld wanneer de taak wordt uitgevoerd.

Type:Hashtable
Aliassen:Params
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Files

Hiermee geeft u een matrix van WASB-bestanden die vereist zijn voor een taak.

Type:String[]
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-JarFile

Hiermee geeft u de volledig gekwalificeerde naam van een JAR-bestand dat de code en afhankelijkheden van een MapReduce-taak bevat.

Type:String
Aliassen:Jar
Position:Named
Default value:None
Vereist:True
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-JobName

Hiermee geeft u de naam van een MapReduce-taak. Deze parameter is optioneel. Als u deze parameter niet opgeeft, wordt de waarde van de parameter ClassName gebruikt.

Type:String
Aliassen:Name
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-LibJars

Hiermee geeft u een matrix van LibJar-verwijzingen van de taak.

Type:String[]
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Profile

Hiermee geeft u het Azure-profiel op waaruit deze cmdlet wordt gelezen. Als u geen profiel opgeeft, leest deze cmdlet uit het lokale standaardprofiel.

Type:AzureSMProfile
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-StatusFolder

Hiermee geeft u de locatie op van de map die standaarduitvoer en foutuitvoer voor een taak bevat, inclusief de afsluitcode en taaklogboeken.

Type:String
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False