Delen via

New-AzureHDInsightSqoopJobDefinition

  • Referentie
Module:
Azure

Definieert een nieuwe Sqoop-taak.

Notitie

De cmdlets waarnaar in deze documentatie wordt verwezen, zijn bedoeld voor het beheren van verouderde Azure-resources die gebruikmaken van ASM-API's (Azure Service Manager). Deze verouderde PowerShell-module wordt niet aanbevolen bij het maken van nieuwe resources, omdat ASM is gepland voor buitengebruikstelling. Zie Buitengebruikstelling van Azure Service Manager voor meer informatie.

De Az PowerShell-module is de aanbevolen PowerShell-module voor het beheren van ARM-resources (Azure Resource Manager) met PowerShell.

Syntaxis

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Deze versie van Azure PowerShell HDInsight is afgeschaft. Deze cmdlets worden verwijderd op 1 januari 2017. Gebruik de nieuwere versie van Azure PowerShell HDInsight.

Zie Op Linux gebaseerde clusters maken in HDInsight met behulp van Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/) voor informatie over het gebruik van de nieuwe HDInsight om een cluster te maken. Zie Hadoop-taken verzenden in HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/) voor meer informatie over het verzenden van taken met behulp van Azure PowerShell en andere benaderingen. Zie Azure HDInsight-cmdlets voor naslaginformatie over Azure PowerShell HDInsight.

Met de cmdlet New-AzureHDInsightSqoopJobDefinition maakt u een Sqoop-taak die moet worden uitgevoerd op een Azure HDInsight-cluster.

Sqoop is een hulpprogramma voor het overdragen van gegevens tussen Hadoop-clusters en relationele databases. U kunt Sqoop gebruiken om gegevens uit een SQL Server-database te importeren in een Hadoop Distributed File System (HDFS), de gegevens te transformeren met Hadoop MapReduce en vervolgens de gegevens uit de HDFS terug te exporteren naar de SQL Server-database.

Voorbeelden

Voorbeeld 1: Gegevens importeren

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

Met deze opdracht definieert u een Sqoop-taak waarmee alle rijen in een tabel uit een AzureSQL Server-database worden geïmporteerd naar een HDInsight-cluster en vervolgens de taakdefinitie wordt opgeslagen in de $SqoopJobDef variabele.

Parameters

-Command

Hiermee geeft u een Sqoop-opdracht en de bijbehorende argumenten.

Type:String
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-File

Hiermee geeft u het pad naar een scriptbestand dat de opdrachten bevat die moeten worden uitgevoerd. Het scriptbestand moet zich in WASB bevinden.

Type:String
Aliassen:QueryFile
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Files

Hiermee geeft u de verzameling VAN WASB-bestanden die vereist zijn voor een taak.

Type:String[]
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-Profile

Hiermee geeft u het Azure-profiel op waaruit deze cmdlet wordt gelezen. Als u geen profiel opgeeft, leest deze cmdlet uit het lokale standaardprofiel.

Type:AzureSMProfile
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False

-StatusFolder

Hiermee geeft u de locatie op van de map die standaarduitvoer en foutuitvoer voor een taak bevat, inclusief de afsluitcode en taaklogboeken.

Type:String
Position:Named
Default value:None
Vereist:False
Pijplijninvoer accepteren:False
Jokertekens accepteren:False