你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

New-AzureHDInsightSqoopJobDefinition

定义新的 Sqoop 作业。

注意

本文档中引用的 cmdlet 用于管理使用 Azure Service Manager (ASM) API 的旧式 Azure 资源。 创建新资源时,建议不要使用旧的 PowerShell 模块,因为计划将停用 ASM。 有关详细信息,请参阅 Azure Service Manager 停用

Az PowerShell 模块是建议用于管理 PowerShell 的 Azure 资源管理器 (ARM) 资源的 PowerShell 模块。

语法

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

说明

此版本的 Azure PowerShell HDInsight 已弃用。 这些 cmdlet 将于 2017 年 1 月 1 日删除。 请使用较新版本的 Azure PowerShell HDInsight。

有关如何使用新的 HDInsight 创建群集的信息,请参阅 使用 Azure PowerShell 在 HDInsight 中创建基于 Linux 的群集(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/)。 有关如何使用 Azure PowerShell 和其他方法提交作业的信息,请参阅 HDInsight 中的提交 Hadoop 作业(https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/)。 有关 Azure PowerShell HDInsight 的参考信息,请参阅 Azure HDInsight Cmdlet

New-AzureHDInsightSqoopJobDefinition cmdlet 创建一个 Sqoop 作业,用于在 Azure HDInsight 群集上运行。

Sqoop 是一种在 Hadoop 群集和关系数据库之间传输数据的工具。 可以使用 Sqoop 将数据从 SQL Server 数据库导入 Hadoop 分布式文件系统(HDFS),使用 Hadoop MapReduce 转换数据,然后将数据从 HDFS 导出回 SQL Server 数据库。

示例

示例 1:导入数据

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

此命令定义 Sqoop 作业,该作业将表中的所有行从 AzureSQL Server 数据库导入 HDInsight 群集,然后将作业定义存储在$SqoopJobDef变量中。

参数

-Command

指定 Sqoop 命令及其参数。

类型:String
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-File

指定要运行的命令的脚本文件的路径。 脚本文件必须位于 WASB 上。

类型:String
别名:QueryFile
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-Files

指定作业所需的 WASB 文件的集合。

类型:String[]
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-Profile

指定此 cmdlet 从中读取的 Azure 配置文件。 如果未指定配置文件,此 cmdlet 将从本地默认配置文件中读取。

类型:AzureSMProfile
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-StatusFolder

指定包含作业的标准输出和错误输出的文件夹的位置,包括其退出代码和任务日志。

类型:String
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False