New-AzureHDInsightStreamingMapReduceJobDefinition
Définit une nouvelle tâche MapReduce de streaming.
Remarque
Les cmdlets mentionnées dans cette documentation servent à gérer les ressources Azure héritées qui utilisent les API Azure Service Manager (ASM). Ce module PowerShell hérité n’est pas recommandé lors de la création de ressources, car ASM est planifié pour la mise hors service. Pour plus d’informations, consultez la mise hors service d’Azure Service Manager.
Le module Az PowerShell est le module PowerShell recommandé pour la gestion des ressources Azure Resource Manager (ARM) avec PowerShell.
Syntaxe
New-AzureHDInsightStreamingMapReduceJobDefinition
[-Arguments <String[]>]
[-CmdEnv <String[]>]
[-Combiner <String>]
[-Defines <Hashtable>]
[-Files <String[]>]
[-InputPath <String>]
[-JobName <String>]
[-Mapper <String>]
[-OutputPath <String>]
[-Reducer <String>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Description
Cette version d’Azure PowerShell HDInsight est déconseillée. Ces applets de commande seront supprimées le 1er janvier 2017. Utilisez la version plus récente d’Azure PowerShell HDInsight.
Pour plus d’informations sur l’utilisation du nouveau HDInsight pour créer un cluster, consultez Créer des clusters Linux dans HDInsight à l’aide d’Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Pour plus d’informations sur l’envoi de travaux à l’aide d’Azure PowerShell et d’autres approches, consultez Envoyer des tâches Hadoop dans HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Pour obtenir des informations de référence sur Azure PowerShell HDInsight, consultez les applets de commande Azure HDInsight.
L’applet de commande New-AzureHDInsightStreamingMapReduceJobDefinition définit un nouvel objet de définition de travail qui représente les paramètres d’un travail de streaming Hadoop.
Exemples
Exemple 1 : Créer une définition de travail MapReduce en streaming
PS C:\>$StreamingWordCount = New-AzureHDInsightStreamingMapReduceJobDefinition -Files "/Example/Apps/WordCount.exe", "/Example/Apps/Cat.exe" -InputPath "/Example/Data/Gutenberg/Davinci.txt" -OutputPath "/Example/Data/StreamingOutput/WordCount.txt" -Mapper "Cat.exe" -Reducer "WordCount.exe"Cette commande crée la définition de travail MapReduce de streaming spécifiée, puis la stocke dans la variable $StreamingWordCount.
Paramètres
-Arguments
Spécifie un tableau d’arguments pour un travail Hadoop. Les arguments sont passés sous la forme d’arguments de ligne de commande à chaque tâche.
| Type: | String[] |
| Alias: | Args |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-CmdEnv
Spécifie un tableau de variables d’environnement de ligne de commande à définir lorsqu’un travail s’exécute sur des nœuds de données.
| Type: | String[] |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Combiner
Spécifie un nom de fichier Combineur.
| Type: | String |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Defines
Spécifie les valeurs de configuration Hadoop à définir lors de l’exécution du travail.
| Type: | Hashtable |
| Alias: | Params |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Files
Spécifie un tableau de fichiers requis pour un travail.
| Type: | String[] |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-InputPath
Spécifie le chemin d’accès WASB aux fichiers d’entrée.
| Type: | String |
| Alias: | Input |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-JobName
Spécifie le nom de la nouvelle définition de travail MapReduce. Ce paramètre est facultatif.
| Type: | String |
| Alias: | Name |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Mapper
Spécifie un nom de fichier Mapper.
| Type: | String |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-OutputPath
Spécifie le chemin WASB de la sortie du travail.
| Type: | String |
| Alias: | Output |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Profile
Spécifie le profil Azure à partir duquel cette applet de commande lit. Si vous ne spécifiez pas de profil, cette applet de commande lit le profil par défaut local.
| Type: | AzureSMProfile |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-Reducer
Spécifie un nom de fichier Reducer.
| Type: | String |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |
-StatusFolder
Spécifie le dossier qui contient les sorties standard et les sorties d’erreur pour le travail, y compris son code de sortie et ses journaux de tâches.
| Type: | String |
| Position: | Named |
| Valeur par défaut: | None |
| Obligatoire: | False |
| Accepter l'entrée de pipeline: | False |
| Accepter les caractères génériques: | False |