Interfejsy API łącznika usługi Hive Warehouse w usłudze Azure HDInsight
W tym artykule wymieniono wszystkie interfejsy API obsługiwane przez łącznik magazynu Hive. Wszystkie przedstawione poniżej przykłady są uruchamiane przy użyciu sesji łącznika spark-shell i hive Warehouse.
Jak utworzyć sesję łącznika magazynu Hive:
import com.hortonworks.hwc.HiveWarehouseSession
val hive = HiveWarehouseSession.session(spark).build()
Wymaganie wstępne
Wykonaj kroki konfiguracji łącznika usługi Hive Warehouse .
Obsługiwane interfejsy API
Ustaw bazę danych:
hive.setDatabase("<database-name>")
Wyświetl listę wszystkich baz danych:
hive.showDatabases()
Wyświetlanie listy wszystkich tabel w bieżącej bazie danych
hive.showTables()
Opisywanie tabeli
// Describes the table <table-name> in the current database hive.describeTable("<table-name>")
// Describes the table <table-name> in <database-name> hive.describeTable("<database-name>.<table-name>")
Usuwanie bazy danych
// ifExists and cascade are boolean variables hive.dropDatabase("<database-name>", ifExists, cascade)
Usuwanie tabeli w bieżącej bazie danych
// ifExists and purge are boolean variables hive.dropTable("<table-name>", ifExists, purge)
Tworzenie bazy danych
// ifNotExists is boolean variable hive.createDatabase("<database-name>", ifNotExists)
Tworzenie tabeli w bieżącej bazie danych
// Returns a builder to create table val createTableBuilder = hive.createTable("<table-name>")
Konstruktor dla tabeli create-table obsługuje tylko poniższe operacje:
// Create only if table does not exists already createTableBuilder = createTableBuilder.ifNotExists()
// Add columns createTableBuilder = createTableBuilder.column("<column-name>", "<datatype>")
// Add partition column createTableBuilder = createTableBuilder.partition("<partition-column-name>", "<datatype>")
// Add table properties createTableBuilder = createTableBuilder.prop("<key>", "<value>")
// Creates a bucketed table, // Parameters are numOfBuckets (integer) followed by column names for bucketing createTableBuilder = createTableBuilder.clusterBy(numOfBuckets, "<column1>", .... , "<columnN>")
// Creates the table createTableBuilder.create()
Uwaga
Ten interfejs API tworzy tabelę sformatowaną w formacie ORC w lokalizacji domyślnej. W przypadku innych funkcji/opcji lub tworzenia tabeli przy użyciu zapytań hive użyj interfejsu
executeUpdate
API.Odczytywanie tabeli
// Returns a Dataset<Row> that contains data of <table-name> in the current database hive.table("<table-name>")
Wykonywanie poleceń DDL na serwerze HiveServer2
// Executes the <hive-query> against HiveServer2 // Returns true or false if the query succeeded or failed respectively hive.executeUpdate("<hive-query>")
// Executes the <hive-query> against HiveServer2 // Throws exception, if propagateException is true and query threw exception in HiveServer2 // Returns true or false if the query succeeded or failed respectively hive.executeUpdate("<hive-query>", propagateException) // propagate exception is boolean value
Wykonywanie zapytania hive i ładowanie wyniku w zestawie danych
Wykonywanie zapytania za pośrednictwem demonów LLAP. [Zalecane]
// <hive-query> should be a hive query hive.executeQuery("<hive-query>")
Wykonywanie zapytania za pośrednictwem serwera HiveServer2 za pośrednictwem JDBC.
Ustaw
spark.datasource.hive.warehouse.smartExecution
wartość nafalse
w konfiguracjach platformy Spark przed rozpoczęciem sesji platformy Spark, aby użyć tego interfejsu APIhive.execute("<hive-query>")
Zamykanie sesji łącznika magazynu Hive
// Closes all the open connections and // release resources/locks from HiveServer2 hive.close()
Wykonywanie zapytania Scalanie programu Hive
Ten interfejs API tworzy zapytanie scalania programu Hive w poniższym formacie
MERGE INTO <current-db>.<target-table> AS <targetAlias> USING <source expression/table> AS <sourceAlias> ON <onExpr> WHEN MATCHED [AND <updateExpr>] THEN UPDATE SET <nameValuePair1> ... <nameValuePairN> WHEN MATCHED [AND <deleteExpr>] THEN DELETE WHEN NOT MATCHED [AND <insertExpr>] THEN INSERT VALUES <value1> ... <valueN>
val mergeBuilder = hive.mergeBuilder() // Returns a builder for merge query
Program Builder obsługuje następujące operacje:
mergeBuilder.mergeInto("<target-table>", "<targetAlias>")
mergeBuilder.using("<source-expression/table>", "<sourceAlias>")
mergeBuilder.on("<onExpr>")
mergeBuilder.whenMatchedThenUpdate("<updateExpr>", "<nameValuePair1>", ... , "<nameValuePairN>")
mergeBuilder.whenMatchedThenDelete("<deleteExpr>")
mergeBuilder.whenNotMatchedInsert("<insertExpr>", "<value1>", ... , "<valueN>");
// Executes the merge query mergeBuilder.merge()
Zapisywanie zestawu danych w tabeli Hive w partii
df.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector") .option("table", tableName) .mode(SaveMode.Type) .save()
Nazwa_tabeli powinna mieć postać
<db>.<table>
lub<table>
. Jeśli nie podano nazwy bazy danych, tabela zostanie przeszukana/utworzona w bieżącej bazie danychTypy saveMode to:
Dołączanie: dołącza zestaw danych do danej tabeli
Zastąp: zastępuje dane w danej tabeli zestawem danych
Ignoruj: Pomija zapis, jeśli tabela już istnieje, nie jest zgłaszany błąd
ErrorIfExists: zgłasza błąd, jeśli tabela już istnieje
Pisanie zestawu danych w tabeli Hive przy użyciu funkcji HiveStreaming
df.write.format("com.hortonworks.spark.sql.hive.llap.HiveStreamingDataSource") .option("database", databaseName) .option("table", tableName) .option("metastoreUri", "<HMS_URI>") // .option("metastoreKrbPrincipal", principal), add if executing in ESP cluster .save() // To write to static partition df.write.format("com.hortonworks.spark.sql.hive.llap.HiveStreamingDataSource") .option("database", databaseName) .option("table", tableName) .option("partition", partition) .option("metastoreUri", "<HMS URI>") // .option("metastoreKrbPrincipal", principal), add if executing in ESP cluster .save()
Uwaga
Zapisy strumienia zawsze dołączają dane.
Zapisywanie strumienia spark w tabeli Hive
stream.writeStream .format("com.hortonworks.spark.sql.hive.llap.streaming.HiveStreamingDataSource") .option("metastoreUri", "<HMS_URI>") .option("database", databaseName) .option("table", tableName) //.option("partition", partition) , add if inserting data in partition //.option("metastoreKrbPrincipal", principal), add if executing in ESP cluster .start()