Esquema LIVE (legado)
Este artigo fornece uma visão geral da sintaxe e do comportamento herdados para o esquema virtual LIVE.
O esquema virtual LIVE é um recurso legado dos pipelines Delta Live Tables e é considerado obsoleto. Você ainda pode usar o modo de publicação herdado e o esquema virtual LIVE para pipelines que foram criados com esse modo. O Databricks recomenda migrar todos os pipelines para o novo modo de publicação. O suporte para o esquema virtual LIVE legado e o modo de publicação legado será removido numa versão futura do Azure Databricks.
Observação
Não é possível usar a interface de configuração de pipeline para criar novos pipelines com o modo de publicação herdado. Se precisar implantar novos pipelines usando a sintaxe legada LIVE, entre em contato com o seu representante de conta da Databricks.
O que é o esquema virtual LIVE?
Observação
O esquema virtual LIVE não é mais necessário para analisar a dependência do conjunto de dados no modo de publicação padrão para Delta Live Tables.
O esquema LIVE é um conceito de programação em Delta Live Tables que define um limite virtual para todos os conjuntos de dados criados ou atualizados em um pipeline. Por design, o esquema LIVE não está vinculado diretamente a conjuntos de dados em um esquema publicado. Em vez disso, o esquema LIVE permite que a lógica em um pipeline seja planejada e executada mesmo que um usuário não queira publicar conjuntos de dados em um esquema.
No modo de publicação do pipeline herdado, podes usar a palavra-chave LIVE para referenciar outros conjuntos de dados no pipeline atual para leituras, por exemplo, SELECT * FROM LIVE.bronze_table. No modo de publicação padrão para novos pipelines Delta Live Tables, essa sintaxe é ignorada silenciosamente, o que significa que identificadores não qualificados usam o esquema atual. Consulte Definir o catálogo de destino e o esquema.
Modo de publicação de pipeline herdado
O esquema virtual LIVE é usado com o modo de publicação de legado do pipeline Delta Live Tables. Todas as tabelas criadas antes de 5 de fevereiro de 2025 usam o modo de publicação herdado por padrão.
A tabela seguinte descreve o comportamento de todas as vistas materializadas e tabelas de streaming criadas ou atualizadas num pipeline no modo de publicação legado:
| Opção de armazenamento | Local de armazenamento ou catálogo | Esquema de destino | Comportamento |
|---|---|---|---|
| Metastore do Hive | Nenhum especificado | Nenhum especificado | Os metadados e dados do conjunto de dados são armazenados na raiz DBFS. Nenhum objeto de banco de dados é registrado no metastore do Hive. |
| Metastore do Hive | Um URI ou caminho de arquivo para o armazenamento de objetos na nuvem. | Nenhum especificado | Os metadados e os dados do conjunto de dados são armazenados no local de armazenamento especificado. Nenhum objeto de banco de dados é registrado no metastore do Hive. |
| Metastore do Hive | Nenhum especificado | Um esquema novo ou existente no metastore do Hive. | Os metadados e dados do conjunto de dados são armazenados na raiz DBFS. Todas as visualizações materializadas e tabelas de streaming no pipeline são publicadas no esquema especificado no metastore do Hive. |
| Metastore do Hive | Um URI ou caminho de arquivo para o armazenamento de objetos na nuvem. | Um esquema existente ou novo no metastore do Hive. | Os metadados e os dados do conjunto de dados são armazenados no local de armazenamento especificado. Todas as visualizações materializadas e as tabelas de streaming no pipeline são publicadas no esquema especificado no Hive metastore. |
| Catálogo Unity | Um catálogo Unity Catalog existente. | Nenhum especificado | Os metadados e os dados do conjunto de dados são armazenados no local de armazenamento padrão associado ao catálogo de destino. Nenhum objeto de banco de dados é registrado no Catálogo Unity. |
| Catálogo Unity | Um catálogo Unity Catalog existente. | Um esquema existente ou novo no Unity Catalog. | Os metadados e os dados do conjunto de dados são armazenados no local de armazenamento padrão associado ao esquema ou catálogo de destino. Todas as visualizações materializadas e tabelas de streaming no pipeline são publicadas no esquema especificado no Unity Catalog. |
Alternar entre os modos de publicação
Os pipelines criados no modo de publicação herdado podem optar pelo novo modo de publicação padrão atualizando a configuração JSON para o pipeline. Você pode reverter pipelines para o modo de publicação herdado depois de habilitar o novo comportamento padrão, se necessário.
| Propriedade | Comportamento |
|---|---|
target |
Configura o pipeline para usar o modo de publicação herdado. Especifique o nome do esquema de destino como uma cadeia de caracteres. |
schema |
Configura o pipeline para usar o modo de publicação padrão, que oferece suporte à atualização de exibições materializadas e tabelas de streaming em vários esquemas. Especifique o nome do esquema padrão como uma cadeia de caracteres. |
Consulte Referência de propriedades do Delta Live Tables.
Observação
Não é necessário atualizar as propriedades catalog ou storage usadas respectivamente pelos pipelines de metastore do Unity Catalog e do Hive.
Atualizar código-fonte do esquema LIVE
Os pipelines configurados para serem executados com o novo modo de publicação padrão ignoram silenciosamente a sintaxe do esquema LIVE. Por padrão, todas as leituras de tabela usam o catálogo e o esquema especificados na configuração do pipeline.
Para a maioria dos pipelines existentes, essa alteração de comportamento não tem impacto, pois o comportamento do esquema virtual LIVE herdado também direciona leituras para o catálogo e o esquema especificados na configuração do pipeline.
Importante
O código herdado com leituras que aproveitam o catálogo e o esquema padrão do espaço de trabalho exigem atualizações de código. Considere a seguinte definição de visão materializada:
CREATE MATERIALIZED VIEW silver_table
AS SELECT * FROM raw_data
No modo de publicação herdado, uma leitura não qualificada da tabela raw_data utiliza o catálogo e o esquema padrão do espaço de trabalho, como por exemplo main.default.raw_data. No novo modo de pipeline padrão, o catálogo e o esquema usados por padrão são aqueles configurados na configuração do pipeline. Para garantir que esse código continue a funcionar conforme o esperado, atualize a referência para usar o identificador totalmente qualificado para a tabela, como no exemplo a seguir:
CREATE MATERIALIZED VIEW silver_table
AS SELECT * FROM main.default.raw_data