Compartilhar via

New-AzureHDInsightSqoopJobDefinition

  • Referência
Módulo:
Azure

Define um novo trabalho do Sqoop.

Observação

Os cmdlets referenciados nesta documentação são para gerenciar recursos herdados do Azure que usam APIs do Azure Service Manager (ASM). Este módulo herdado do PowerShell não é recomendado ao criar novos recursos, pois o ASM está agendado para desativação. Para obter mais informações, confira a desativação do Azure Service Manager.

O módulo do Az PowerShell é o módulo recomendado do PowerShell para gerenciar recursos do Azure Resource Manager (ARM) com o PowerShell.

Sintaxe

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.

Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos do Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.

O cmdlet New-AzureHDInsightSqoopJobDefinition cria um trabalho Sqoop para ser executado em um cluster do Azure HDInsight.

O Sqoop é uma ferramenta para transferir dados entre clusters do Hadoop e bancos de dados relacionais. Você pode usar o Sqoop para importar dados de um banco de dados do SQL Server para um HDFS (Sistema de Arquivos Distribuído do Hadoop), transformar os dados com o Hadoop MapReduce e exportar os dados do HDFS de volta para o banco de dados do SQL Server.

Exemplos

Exemplo 1: Importar dados

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

Esse comando define um trabalho Sqoop que importa todas as linhas em uma tabela de um banco de dados AzureSQL Server para um cluster HDInsight e, em seguida, armazena a definição de trabalho na variável $SqoopJobDef.

Parâmetros

-Command

Especifica um comando Sqoop e seus argumentos.

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-File

Especifica o caminho para um arquivo de script que contém os comandos a serem executados. O arquivo de script deve estar localizado no WASB.

Tipo:String
Aliases:QueryFile
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Files

Especifica a coleção de arquivos WASB necessários para um trabalho.

Tipo:String[]
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-Profile

Especifica o perfil do Azure do qual esse cmdlet é lido. Se você não especificar um perfil, esse cmdlet lerá o perfil padrão local.

Tipo:AzureSMProfile
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False

-StatusFolder

Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.

Tipo:String
Cargo:Named
Valor padrão:None
Obrigatório:False
Aceitar a entrada de pipeline:False
Aceitar caracteres curinga:False