Usar pipelines do Delta Live Tables com o metastore herdado do Hive
Este artigo detalha as configurações e advertências específicas dos pipelines do Delta Live Tables configurados para publicar dados no metastore herdado do Hive. O Databricks recomenda usar o Catálogo do Unity para todos os novos pipelines. Consulte Usar o Catálogo do Unity com seus pipelines das Tabelas Dinâmicas do Delta.
Nota
Este artigo discute a funcionalidade do modo de publicação padrão atual para pipelines. Pipelines criados antes de 5 de fevereiro de 2025 podem usar o modo de publicação herdado e o esquema virtual LIVE. Confira Esquema LIVE (herdado).
Como consultar tabelas de streaming e exibições materializadas no metastore herdado do Hive
Após a conclusão de uma atualização, você pode exibir o esquema e as tabelas, consultar os dados ou usá-los em aplicativos downstream.
Uma vez publicadas, as tabelas Delta Live Tables podem ser consultadas em qualquer ambiente com acesso ao esquema de destino. Isso inclui o Databricks SQL, notebooks e outros pipelines do Delta Live Tables.
Importante
Quando você cria uma configuração target, somente as tabelas e os metadados associados são publicados. As exibições não são publicadas no metastore.
Configurar um pipeline para publicar no metastore do Hive
Ao criar um pipeline, você pode especificar Metastore do Hive em Opções de Armazenamento para publicar no metastore do Hive herdado. Você deve especificar um esquema de destino padrão ao publicar no metastore do Hive. Consulte Configurar um pipeline do Delta Live Tables.
Especificar um local de armazenamento
Você pode especificar um local de armazenamento para um pipeline que publica no metastore do Hive. A principal motivação para especificar um local é controlar o local de armazenamento de objetos para dados gravados pelo pipeline. O Databricks recomenda sempre especificar um local de armazenamento para evitar gravar na raiz do DBFS.
Como todas as tabelas, dados, pontos de verificação e metadados para pipelines do Delta Live Tables são totalmente gerenciados pelo Delta Live Tables, a maior parte da interação com conjuntos de dados do Delta Live Tables ocorre por meio de tabelas registradas no metastore do Hive ou no Catálogo do Unity.
Configuração de armazenamento em nuvem
Para acessar o armazenamento do Azure, você deve configurar os parâmetros necessários, incluindo tokens de acesso, usando configurações spark.conf em suas configurações de cluster. Para obter um exemplo de como configurar o acesso a uma conta de armazenamento do Azure Data Lake Storage Gen2 (ADLS Gen2), confira Acessar com segurança credenciais de armazenamento com segredos em um pipeline.
Exemplo de notebooks de código-fonte de pipeline para workspaces sem o Catálogo do Unity
Você pode importar os notebooks a seguir para um workspace do Azure Databricks sem o Catálogo do Unity habilitado e usá-los para implantar um pipeline do Delta Live Tables. Importe o notebook do idioma escolhido e especifique o caminho no campo Código-fonte ao configurar um pipeline com a opção de armazenamento de metastore do Hive. Consulte Configurar um pipeline do Delta Live Tables.