New-AzureHDInsightMapReduceJobDefinition
Define um novo trabalho do MapReduce.
Observação
Os cmdlets referenciados nesta documentação são para gerenciar recursos herdados do Azure que usam APIs do Azure Service Manager (ASM). Este módulo herdado do PowerShell não é recomendado ao criar novos recursos, pois o ASM está agendado para desativação. Para obter mais informações, confira a desativação do Azure Service Manager.
O módulo do Az PowerShell é o módulo recomendado do PowerShell para gerenciar recursos do Azure Resource Manager (ARM) com o PowerShell.
Sintaxe
New-AzureHDInsightMapReduceJobDefinition
[-Arguments <String[]>]
-ClassName <String>
[-Defines <Hashtable>]
[-Files <String[]>]
-JarFile <String>
[-JobName <String>]
[-LibJars <String[]>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Description
Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.
Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos do Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.
O cmdlet New-AzureHDInsightMapReduceJobDefinition define um novo trabalho MapReduce a ser executado em um cluster do Azure HDInsight.
Exemplos
Exemplo 1: Definir um trabalho MapReduce, executar o trabalho e obter a saída
PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
| Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
| Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardErrorO primeiro comando obtém a ID da assinatura atual e a armazena na variável $SubId.
O segundo comando atribui o nome MyCluster à variável $Clustername.
O terceiro comando usa o cmdlet New-AzureHDInsightMapReduceJobDefinition para criar uma definição de trabalho MapReduce e armazená-la na variável $WordCountJob.
O quarto comando executa uma seqüência de operações usando estes cmdlets:
- Start-AzureHDInsightJob para iniciar o trabalho em $ClusterName.
- Wait-AzureHDInsightJob para aguardar a conclusão do trabalho e exibir o progresso em direção à conclusão.
- Get-AzureHDInsightJobOutput para obter a saída do trabalho.
Parâmetros
-Arguments
Especifica uma matriz de argumentos para um trabalho do Hadoop. Os argumentos são passados como argumentos de linha de comando para cada tarefa.
| Tipo: | String[] |
| Aliases: | Args |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-ClassName
Especifica o nome da classe de trabalho no arquivo Java Archive (JAR).
| Tipo: | String |
| Aliases: | Class |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | True |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-Defines
Especifica os valores de configuração do Hadoop a serem definidos quando o trabalho for executado.
| Tipo: | Hashtable |
| Aliases: | Params |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-Files
Especifica uma matriz de arquivos WASB necessários para um trabalho.
| Tipo: | String[] |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-JarFile
Especifica o nome totalmente qualificado de um arquivo JAR que contém o código e as dependências de uma tarefa MapReduce.
| Tipo: | String |
| Aliases: | Jar |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | True |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-JobName
Especifica o nome de um trabalho MapReduce. Esse parâmetro é opcional. Se você não especificar esse parâmetro, o valor do parâmetro ClassName será usado.
| Tipo: | String |
| Aliases: | Name |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-LibJars
Especifica uma matriz de referências LibJar do trabalho.
| Tipo: | String[] |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-Profile
Especifica o perfil do Azure do qual esse cmdlet é lido. Se você não especificar um perfil, esse cmdlet lerá o perfil padrão local.
| Tipo: | AzureSMProfile |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |
-StatusFolder
Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.
| Tipo: | String |
| Cargo: | Named |
| Valor padrão: | None |
| Obrigatório: | False |
| Aceitar a entrada de pipeline: | False |
| Aceitar caracteres curinga: | False |