Udostępnij za pośrednictwem

Ustawienia możliwości sterownika dla sterownika JDBC usługi Databricks

  • Artykuł

W tym artykule opisano sposób konfigurowania specjalnych i zaawansowanych ustawień możliwości sterowników dla sterownika JDBC usługi Databricks.

Sterownik JDBC usługi Databricks udostępnia następujące specjalne i zaawansowane ustawienia możliwości sterownika.

Obsługa zapytań ANSI SQL-92 w formacie JDBC

Starsze sterowniki Spark JDBC akceptują zapytania SQL w dialektze ANSI SQL-92 i tłumaczą zapytania do dialektu SQL usługi Databricks przed wysłaniem ich do serwera. Jeśli jednak aplikacja generuje bezpośrednio kod SQL dla Databricks lub używa niestandardowej składni SQL spoza standardu ANSI SQL-92 specyficznej dla Azure Databricks, usługa Databricks zaleca ustawienie UseNativeQuery=1 jako konfiguracji połączenia. Za pomocą tego ustawienia sterownik przekazuje dosłowne zapytania SQL do usługi Azure Databricks.

domyślny wykaz i schemat

Aby określić domyślny wykaz i schemat, dodaj ConnCatalog=<catalog-name>;ConnSchema=<schema-name> do adresu URL połączenia JDBC.

Wyodrębnianie dużych wyników zapytania w formacie JDBC

Aby uzyskać najlepszą wydajność podczas wyodrębniania dużych wyników zapytań, użyj najnowszej wersji sterownika JDBC, która obejmuje następujące optymalizacje.

Serializacja strzałki w JDBC

Sterownik JDBC w wersji 2.6.16 lub nowszej obsługuje zoptymalizowany format serializacji wyników zapytania, który używa narzędzia Apache Arrow.

Pobieranie chmury w formacie JDBC

Sterownik JDBC w wersji 2.6.19 lub nowszej obsługuje funkcję Cloud Fetch, która pobiera wyniki zapytań za pośrednictwem magazynu w chmurze skonfigurowanego we wdrożeniu usługi Azure Databricks.

Wyniki zapytań są przekazywane do wewnętrznej lokalizacji magazynu SYSTEMU PLIKÓW DBFS jako pliki serializowane ze strzałką do 20 MB. Gdy sterownik wysyła żądania pobierania po zakończeniu zapytania, usługa Azure Databricks generuje i zwraca sygnatury dostępu współdzielonego do przekazanych plików. Sterownik JDBC następnie używa adresów URL do pobierania wyników bezpośrednio z systemu plików DBFS.

Pobieranie w chmurze jest używane tylko w przypadku wyników zapytań większych niż 1 MB. Mniejsze wyniki są pobierane bezpośrednio z usługi Azure Databricks.

Usługa Azure Databricks automatycznie zbiera zebrane pliki, które są oznaczone do usunięcia po 24 godzinach. Te oznaczone pliki są całkowicie usuwane po dodatkowych 24 godzinach.

Aby dowiedzieć się więcej na temat architektury pobierania w chmurze, zobacz Jak osiągnęliśmy łączność o wysokiej przepustowości za pomocą narzędzi analizy biznesowej.

Włącz rejestrowanie

Aby włączyć rejestrowanie w sterowniku JDBC, ustaw właściwość LogLevel z 1, aby rejestrować tylko poważne zdarzenia poprzez 6, aby rejestrować całą aktywność sterownika. Ustaw właściwość LogPath na pełną ścieżkę do folderu, w którym chcesz zapisać pliki dziennika.

Aby uzyskać więcej informacji, zobacz sekcję Configuring Logging w przewodniku sterowników JDBC usługi Databricks.