Inställningar för drivrutinsfunktioner för Databricks JDBC-drivrutinen
Databricks JDBC-drivrutinen innehåller följande särskilda och avancerade kapacitetsinställningar för drivrutiner.
- Stöd för ANSI SQL-92-frågor i JDBC
- Standard catalog och schema
- Extrahera stora frågeresultat i JDBC
- Pilserialisering i JDBC
- Cloud Fetch i JDBC
- Aktivera loggning
Stöd för ANSI SQL-92-frågor i JDBC
Äldre Spark JDBC-drivrutiner accepterar SQL-frågor i ANSI SQL-92-dialekt och översätter frågorna till Databricks SQL-dialekten innan de skickas till servern. Men om ditt program genererar Databricks SQL direkt eller om ditt program använder SQL-syntax som inte är ANSI SQL-92, som är specifika för Azure Databricks, rekommenderar Databricks att du använder setUseNativeQuery=1 som en anslutningskonfiguration. Med den inställningen skickar drivrutinen SQL-frågorna ordagrant till Azure Databricks.
Standard catalog och schema
Om du vill ange standard catalog och schemalägger du till ConnCatalog=<catalog-name>;ConnSchema=<schema-name> i JDBC-anslutnings-URL:en.
Extrahera stora frågeresultat i JDBC
För att uppnå bästa prestanda när du extraherar stora frågeresultat använder du den senaste versionen av JDBC-drivrutinen, som innehåller följande optimeringar.
Pilserialisering i JDBC
JDBC-drivrutinsversion 2.6.16 och senare stöder ett optimerat frågeresultats serialiseringsformat som använder Apache Arrow.
Cloud Fetch i JDBC
JDBC-drivrutinen version 2.6.19 och senare stöder Cloud Fetch, en funktion som hämtar frågeresultat via den molnlagring som är set upprättad i din Azure Databricks-distribution.
Frågeresultat laddas upp till en intern DBFS-lagringsplats som Pil-serialiserade filer på upp till 20 MB. När drivrutinen skickar hämtningsbegäranden efter att frågan har slutförts genererar och returnerar Azure Databricks signaturer för delad åtkomst till de uppladdade filerna. JDBC-drivrutinen använder sedan URL:erna för att ladda ned resultatet direkt från DBFS.
Cloud Fetch används endast för frågeresultat som är större än 1 MB. Mindre resultat hämtas direkt från Azure Databricks.
Azure Databricks samlar automatiskt in de ackumulerade filer som har markerats för borttagning efter 24 timmar. Dessa markerade filer tas bort helt efter ytterligare 24 timmar.
Mer information om cloud fetch-arkitekturen finns i How We Achieved High-bandwidth Connectivity With BI Tools (Hur vi uppnådde anslutning med hög bandbredd med BI-verktyg).
Aktivera loggning
Om du vill aktivera loggning i JDBC-drivrutinen set egenskapen LogLevel från 1 för att logga endast allvarliga händelser via 6 för att logga all drivrutinsaktivitet.
Set egenskapen LogPath till fullständiga sökvägen till mappen where du vill spara loggfiler i.
Mer information Configuring Logging finns i avsnittet i drivrutinsguiden för Databricks JDBC.