Freigeben über

New-AzureHDInsightSqoopJobDefinition

  • Referenz
Modul:
Azure

Definiert einen neuen Sqoop-Auftrag.

Hinweis

Die Cmdlets, auf die in dieser Dokumentation verwiesen wird, dienen zum Verwalten von Azure-Legacyressourcen, die Azure Dienst-Manager (ASM) APIs verwenden. Dieses ältere PowerShell-Modul wird beim Erstellen neuer Ressourcen nicht empfohlen, da ASM für den Ruhestand geplant ist. Weitere Informationen finden Sie unter Einstellung des Azure Service Manager.

Das Az PowerShell-Modul ist das empfohlene PowerShell-Modul zum Verwalten von Azure Resource Manager (ARM)-Ressourcen mit PowerShell.

Syntax

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Beschreibung

Diese Version von Azure PowerShell HDInsight ist veraltet. Diese Cmdlets werden bis zum 1. Januar 2017 entfernt. Verwenden Sie die neuere Version von Azure PowerShell HDInsight.

Informationen zur Verwendung des neuen HDInsight zum Erstellen eines Clusters finden Sie unter Erstellen linuxbasierter Cluster in HDInsight mithilfe von Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Informationen zum Übermitteln von Aufträgen mithilfe von Azure PowerShell und anderen Ansätzen finden Sie unter Submit Hadoop jobs in HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Referenzinformationen zu Azure PowerShell HDInsight finden Sie unter Azure HDInsight-Cmdlets.

Das Cmdlet New-AzureHDInsightSqoopJobDefinition erstellt einen Sqoop-Auftrag, der auf einem Azure HDInsight-Cluster ausgeführt werden soll.

Sqoop ist ein Tool zum Übertragen von Daten zwischen Hadoop-Clustern und relationalen Datenbanken. Sie können Sqoop verwenden, um Daten aus einer SQL Server-Datenbank in ein Hadoop Distributed File System (HDFS) zu importieren, die Daten mit Hadoop MapReduce zu transformieren und dann die Daten aus dem HDFS zurück in die SQL Server-Datenbank zu exportieren.

Beispiele

Beispiel 1: Importieren von Daten

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

Dieser Befehl definiert einen Sqoop-Auftrag, der alle Zeilen in einer Tabelle aus einer AzureSQL Server-Datenbank in einen HDInsight-Cluster importiert und dann die Auftragsdefinition in der $SqoopJobDef Variablen speichert.

Parameter

-Command

Gibt einen Sqoop-Befehl und dessen Argumente an.

Typ:String
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-File

Gibt den Pfad zu einer Skriptdatei an, die die auszuführenden Befehle enthält. Die Skriptdatei muss sich auf WASB befinden.

Typ:String
Aliase:QueryFile
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-Files

Gibt die Auflistung von WASB-Dateien an, die für einen Auftrag erforderlich sind.

Typ:String[]
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-Profile

Gibt das Azure-Profil an, aus dem dieses Cmdlet liest. Wenn Sie kein Profil angeben, liest dieses Cmdlet aus dem lokalen Standardprofil.

Typ:AzureSMProfile
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False

-StatusFolder

Gibt den Speicherort des Ordners an, der Standardausgaben und Fehlerausgaben für einen Auftrag enthält, einschließlich des Ausgangscodes und der Aufgabenprotokolle.

Typ:String
Position:Named
Standardwert:None
Erforderlich:False
Pipelineeingabe akzeptieren:False
Platzhalterzeichen akzeptieren:False