Configurações de funcionalidade do driver para o Driver JDBC do Databricks
Este artigo descreve como definir as configurações especiais e avançadas da funcionalidade do driver para o Driver JDBC do Databricks.
O driver JDBC do Databricks fornece as seguintes configurações de funcionalidade de driver especiais e avançadas.
- Suporte a consultas ANSI SQL-92 no JDBC
- Catálogo e esquema padrão
- Extrair resultados de consultas grandes no JDBC
- Serialização de seta no JDBC
- Busca na nuvem no JDBC
- Habilitar o registro em log
Suporte a consultas ANSI SQL-92 no JDBC
Os drivers JDBC herdados do Spark aceitam consultas SQL no dialeto ANSI SQL-92 e convertem as consultas para o dialeto SQL Databricks antes de enviá-las para o servidor. No entanto, se o seu aplicativo gerar o Databricks SQL diretamente ou se ele usar qualquer sintaxe de SQL padrão não ANSI SQL-92 específica do Azure Databricks, o Databricks recomendará que você defina UseNativeQuery=1 como uma configuração de conexão. Com essa configuração, o driver transmite as consultas SQL textualmente para o Azure Databricks.
Catálogo e esquema padrão
Para especificar o catálogo e o esquema padrão, adicione ConnCatalog=<catalog-name>;ConnSchema=<schema-name> à URL de conexão JDBC.
Extrair resultados de consultas grandes no JDBC
Para obter o melhor desempenho ao extrair resultados de consultas grandes, use a última versão do driver JDBC, que inclui as otimizações a seguir.
Serialização de seta no JDBC
A versão 2.6.16 e versões posteriores do driver JDBC dá suporte a um formato otimizado de serialização de resultados de consulta que usa o Apache Arrow.
Busca na Nuvem no JDBC
A versão 2.6.19 e superior do driver JDBC dá suporte à Busca na Nuvem, uma funcionalidade que busca resultados da consulta por meio do armazenamento em nuvem que é configurado na sua implantação do Azure Databricks.
Os resultados da consulta são carregados em uma localização de armazenamento interno do DBFS como arquivos serializados com o Arrow de até 20 MB. Quando o driver envia solicitações de busca após a conclusão da consulta, o Azure Databricks gera e retorna assinaturas de acesso compartilhado para os arquivos carregados. Em seguida, o driver JDBC usa as URLs para baixar os resultados diretamente do DBFS.
A Busca na Nuvem é usada somente para resultados de consultas maiores que 1 MB. Os resultados menores são recuperados diretamente do Azure Databricks.
O Azure Databricks coleta automaticamente como lixo os arquivos acumulados que são marcados para exclusão após 24 horas. Esses arquivos marcados são completamente excluídos após um período superior a 24 horas.
Para saber mais sobre a arquitetura da Busca na Nuvem, confira Como atingimos a conectividade de alta largura de banda com as ferramentas de BI.
Habilitar o registro em log
Para habilitar o registro em log no driver JDBC, configure a propriedade LogLevel de 1 para registrar apenas eventos graves até 6 para registrar todas as atividades do driver. Defina a propriedade LogPath como o caminho completo para a pasta onde deseja salvar os arquivos de log.
Para obter mais informações, consulte a seção Configuring Logging no Guia do driver JDBC do Databricks.