你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
New-AzureRmHDInsightStreamingMapReduceJobDefinition
创建流式处理 MapReduce 作业对象。
警告
AzureRM PowerShell 模块已自 2024 年 2 月 29 日起正式弃用。 为了确保持续获得支持和更新,建议用户从 AzureRM 迁移到 Az PowerShell 模块。
尽管 AzureRM 模块仍可运行,但不再受到维护或支持,任何继续使用的行为都由用户自行决定并自行承担风险。 有关过渡到 Az 模块的指导,请参阅我们的迁移资源。
语法
New-AzureRmHDInsightStreamingMapReduceJobDefinition
[-Arguments <String[]>]
[-File <String>]
[-Files <String[]>]
[-StatusFolder <String>]
[-CommandEnvironment <Hashtable>]
[-Defines <Hashtable>]
-InputPath <String>
[-Mapper <String>]
[-OutputPath <String>]
[-Reducer <String>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
说明
New-AzureRmHDInsightStreamingMapReduceJobDefinition cmdlet 定义用于 Azure HDInsight 群集的流式处理 MapReduce 作业对象。
示例
示例 1:创建流式处理 MapReduce 作业定义
PS C:\># Cluster info
PS C:\>$clusterName = "your-hadoop-001"
PS C:\>$clusterCreds = Get-Credential
# Streaming MapReduce job details
PS C:\>$statusFolder = "tempStatusFolder/"
PS C:\>$query = "SHOW TABLES"
PS C:\>New-AzureRmHDInsightStreamingMapReduceJobDefinition -StatusFolder $statusFolder `
-Query $query `
| Start-AzureRmHDInsightJob `
-ClusterName $clusterName `
-ClusterCredential $clusterCreds
此命令创建流式处理 MapReduce 作业定义。
参数
-Arguments
指定作业的参数数组。 参数以命令行参数的形式传递到每个任务。
类型: | String[] |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-CommandEnvironment
指定要在工作器节点上运行作业时设置的命令行环境变量数组。
类型: | Hashtable |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-DefaultProfile
用于与 azure 通信的凭据、帐户、租户和订阅
类型: | IAzureContextContainer |
别名: | AzureRmContext, AzureCredential |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-Defines
指定要在作业运行时设置的 Hadoop 配置值。
类型: | Hashtable |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-File
指定包含要运行的查询的文件的路径。 可以使用此参数而不是 Query 参数。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-Files
指定与 Hive 作业关联的文件的集合。
类型: | String[] |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-InputPath
指定输入文件的路径。
类型: | String |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-Mapper
指定映射器文件名。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-OutputPath
指定作业输出的路径。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-Reducer
指定化简器文件名。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-StatusFolder
指定包含作业的标准输出和错误输出的文件夹的位置。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
输入
None
输出
AzureHDInsightStreamingMapReduceJobDefinition