Partilhar via

New-AzureHDInsightMapReduceJobDefinition

  • Referência
Módulo:
Azure

Define um novo trabalho MapReduce.

Nota

Os cmdlets mencionados nesta documentação são para gerenciar recursos herdados do Azure que usam APIs do Azure Service Manager (ASM). Este módulo do PowerShell herdado não é recomendado ao criar novos recursos, uma vez que o ASM está agendado para desativação. Para obter mais informações, consulte Aposentadoria do Azure Service Manager.

O módulo Az PowerShell é o módulo PowerShell recomendado para gerenciar recursos do Azure Resource Manager (ARM) com o PowerShell.

Sintaxe

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.

Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.

O cmdlet New-AzureHDInsightMapReduceJobDefinition define um novo trabalho MapReduce a ser executado em um cluster do Azure HDInsight.

Exemplos

Exemplo 1: Definir um trabalho MapReduce, executá-lo e obter a saída

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

O primeiro comando obtém a ID da assinatura atual e, em seguida, armazena-a na variável $SubId.

O segundo comando atribui o nome MyCluster à variável $Clustername.

O terceiro comando usa o cmdlet New-AzureHDInsightMapReduceJobDefinition para criar uma definição de trabalho MapReduce e armazená-la na variável $WordCountJob.

O quarto comando executa uma sequência de operações usando estes cmdlets:

  • Start-AzureHDInsightJob para iniciar o trabalho no $ClusterName.
  • Wait-AzureHDInsightJob para aguardar a conclusão do trabalho e exibir o progresso em direção à conclusão.
  • Get-AzureHDInsightJobOutput para obter a saída do trabalho.

Parâmetros

-Arguments

Especifica uma matriz de argumentos para um trabalho Hadoop. Os argumentos são passados como argumentos de linha de comando para cada tarefa.

Tipo:String[]
Aliases:Args
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-ClassName

Especifica o nome da classe de trabalho no arquivo Java Archive (JAR).

Tipo:String
Aliases:Class
Position:Named
Default value:None
Necessário:True
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-Defines

Especifica os valores de configuração do Hadoop a serem definidos quando o trabalho é executado.

Tipo:Hashtable
Aliases:Params
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-Files

Especifica uma matriz de arquivos WASB que são necessários para um trabalho.

Tipo:String[]
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-JarFile

Especifica o nome totalmente qualificado de um arquivo JAR que contém o código e as dependências de um trabalho MapReduce.

Tipo:String
Aliases:Jar
Position:Named
Default value:None
Necessário:True
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-JobName

Especifica o nome de um trabalho MapReduce. Este parâmetro é opcional. Se você não especificar esse parâmetro, o valor do parâmetro ClassName será usado.

Tipo:String
Aliases:Name
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-LibJars

Especifica uma matriz de referências LibJar do trabalho.

Tipo:String[]
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-Profile

Especifica o perfil do Azure a partir do qual este cmdlet é lido. Se você não especificar um perfil, esse cmdlet será lido a partir do perfil padrão local.

Tipo:AzureSMProfile
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False

-StatusFolder

Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.

Tipo:String
Position:Named
Default value:None
Necessário:False
Aceitar entrada de pipeline:False
Aceitar carateres universais:False