Ausführen von Apache Hive-Abfragen mit PowerShell

Artikel
09/06/2024

Dieses Dokument enthält ein Beispiel für die Verwendung von Azure PowerShell zum Ausführen von Apache Hive-Abfragen in einem Apache Hadoop-Cluster in HDInsight.

Hinweis

Dieses Dokument bietet keine detaillierte Beschreibung dazu, wie die in diesem Beispiel verwendeten HiveQL-Anweisungen vorgehen. Informationen zur HiveQL, die in diesem Beispiel verwendet wird, finden Sie unter Verwenden von Apache Hive mit Apache Hadoop in HDInsight.

Voraussetzungen

Ein Apache Hadoop-Cluster in HDInsight. Weitere Informationen finden Sie unter Erste Schritte mit HDInsight unter Linux.
Das PowerShell-Az-Modul ist installiert.

Ausführen einer Hive-Abfrage

Azure PowerShell stellt cmdlets bereit, mit denen Sie Hive-Abfragen in HDInsight remote ausführen können. Intern führen die Cmdlets REST-Aufrufe von WebHCat im HDInsight-Cluster durch.

Die folgenden Cmdlets werden zum Ausführen der Hive-Abfragen auf einem HDInsight-Remotecluster verwendet:

Connect-AzAccount: Authentifiziert Azure PowerShell für Ihr Azure-Abonnement.
New-AzHDInsightHiveJobDefinition: Erstellt mithilfe der angegebenen HiveQL-Anweisungen eine Auftragsdefinition.
Start-AzHDInsightJob: Sendet die Auftragsdefinition an HDInsight und startet den Auftrag. Ein Auftragsobjekt wird zurückgegeben.
Wait-AzHDInsightJob: Verwendet das Auftragsobjekt, um den Status des Auftrags zu prüfen. Es wird gewartet, bis der Auftrag abgeschlossen oder die Wartezeit überschritten ist.
Get-AzHDInsightJobOutput: Wird verwendet, um die Ausgabe des Auftrags abzurufen.
Invoke-AzHDInsightHiveJob: Wird verwendet, um HiveQL-Anweisungen auszuführen. Mit diesem Cmdlet wird die Abfrage vollständig blockiert, und anschließend werden die Ergebnisse zurückgegeben.
Use-AzHDInsightCluster: Legt den aktuellen Cluster fest, der für den Befehl Invoke-AzHDInsightHiveJob verwendet werden soll.

Die folgenden Schritte veranschaulichen, wie diese Cmdlets zum Ausführen eines Auftrags auf dem HDInsight-Cluster verwendet werden:

Speichern Sie den folgenden Code mithilfe eines Editors als hivejob.ps1.

# Login to your Azure subscription
$context = Get-AzContext
if ($context -eq $null) 
{
    Connect-AzAccount
}
$context

#Get cluster info
$clusterName = Read-Host -Prompt "Enter the HDInsight cluster name"
$creds=Get-Credential -Message "Enter the login for the cluster"

#HiveQL
#Note: set hive.execution.engine=tez; is not required for
#      Linux-based HDInsight
$queryString = "set hive.execution.engine=tez;" +
            "DROP TABLE log4jLogs;" +
            "CREATE EXTERNAL TABLE log4jLogs(t1 string, t2 string, t3 string, t4 string, t5 string, t6 string, t7 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasbs:///example/data/';" +
            "SELECT * FROM log4jLogs WHERE t4 = '[ERROR]';"

#Create an HDInsight Hive job definition
$hiveJobDefinition = New-AzHDInsightHiveJobDefinition -Query $queryString 

#Submit the job to the cluster
Write-Host "Start the Hive job..." -ForegroundColor Green

$hiveJob = Start-AzHDInsightJob -ClusterName $clusterName -JobDefinition $hiveJobDefinition -ClusterCredential $creds

#Wait for the Hive job to complete
Write-Host "Wait for the job to complete..." -ForegroundColor Green
Wait-AzHDInsightJob -ClusterName $clusterName -JobId $hiveJob.JobId -ClusterCredential $creds

# Print the output
Write-Host "Display the standard output..." -ForegroundColor Green
Get-AzHDInsightJobOutput `
    -Clustername $clusterName `
    -JobId $hiveJob.JobId `
    -HttpCredential $creds

Öffnen Sie eine neue Azure PowerShell -Befehlsaufforderung. Navigieren Sie zum Speicherort der Datei hivejob.ps1, und verwenden Sie folgenden Befehl zum Ausführen des Skripts:
```
.\hivejob.ps1
```
Beim Ausführen des Skripts werden Sie aufgefordert, den Clusternamen und die Anmeldeinformationen für das HTTPS-/Clusteradministratorkonto einzugeben. Sie können auch zur Anmeldung bei Ihrem Azure-Abonnement aufgefordert werden.

Nachdem der Auftrag abgeschlossen ist, werden Informationen zurückgegeben, die folgendem Text ähneln:

Display the standard output...
2012-02-03      18:35:34        SampleClass0    [ERROR] incorrect       id
2012-02-03      18:55:54        SampleClass1    [ERROR] incorrect       id
2012-02-03      19:25:27        SampleClass4    [ERROR] incorrect       id

Wie bereits erwähnt, kann Invoke-Hive dazu verwendet werden, eine Abfrage auszuführen und auf die Antwort zu warten. Mit dem folgenden Skript können Sie veranschaulichen, wie „Invoke-Hive“ funktioniert:

# Login to your Azure subscription
$context = Get-AzContext
if ($context -eq $null) 
{
    Connect-AzAccount
}
$context

#Get cluster info
$clusterName = Read-Host -Prompt "Enter the HDInsight cluster name"
$creds=Get-Credential -Message "Enter the login for the cluster"

# Set the cluster to use
Use-AzHDInsightCluster -ClusterName $clusterName -HttpCredential $creds

$queryString = "set hive.execution.engine=tez;" +
            "DROP TABLE log4jLogs;" +
            "CREATE EXTERNAL TABLE log4jLogs(t1 string, t2 string, t3 string, t4 string, t5 string, t6 string, t7 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION '/example/data/';" +
            "SELECT * FROM log4jLogs WHERE t4 = '[ERROR]';"
Invoke-AzHDInsightHiveJob `
    -StatusFolder "statusout" `
    -Query $queryString

Die Ausgabe sieht in etwa wie folgt aus:

2012-02-03    18:35:34    SampleClass0    [ERROR]    incorrect    id
2012-02-03    18:55:54    SampleClass1    [ERROR]    incorrect    id
2012-02-03    19:25:27    SampleClass4    [ERROR]    incorrect    id

Hinweis

Für längere HiveQL-Abfragen können Sie Azure PowerShell Here-Strings -Cmdlet oder HiveQL-Skriptdateien verwenden. Der folgende Codeausschnitt zeigt, wie Sie eine HiveQL-Skriptdatei mit dem Cmdlet Invoke-Hive ausführen können. Die HiveQL-Skriptdatei muss auf wasbs:// hochgeladen werden.

Invoke-AzHDInsightHiveJob -File "wasbs://<ContainerName>@<StorageAccountName>/<Path>/query.hql"

Weitere Informationen zu Here-Strings finden Sie unter HERE-STRINGS.

Problembehandlung

Wenn keine Informationen zurückgegeben werden, wenn der Auftrag abgeschlossen ist, zeigen Sie die Fehlerprotokolle an. Um Fehlerinformationen für diesen Auftrag anzuzeigen, fügen Sie Folgendes am Ende der Datei hivejob.ps1 hinzu. Speichern Sie die Datei anschließend, und führen Sie sie dann erneut aus.

# Print the output of the Hive job.
Get-AzHDInsightJobOutput `
        -Clustername $clusterName `
        -JobId $job.JobId `
        -HttpCredential $creds `
        -DisplayOutputType StandardError

Mit diesem Cmdlet werden die Informationen zurückgegeben, die bei der Auftragsverarbeitung in STDERR geschrieben wurden.

Zusammenfassung

Wie Sie sehen können, bietet Azure PowerShell eine einfache Möglichkeit, um Hive-Abfragen auf einem HDInsight-Cluster auszuführen, den Auftragsstatus zu überwachen und die Ausgabe abzurufen.

Nächste Schritte

Allgemeine Informationen zu Hive in HDInsight:

Verwenden von Apache Hive mit Apache Hadoop in HDInsight

Informationen zu anderen Möglichkeiten, wie Sie mit Hadoop in HDInsight arbeiten können:

Verwenden von MapReduce mit Apache Hadoop in HDInsight

Freigeben über