Partilhar via

Carregar dados usando tabelas de streaming no Databricks SQL

  • Artigo

O Databricks recomenda o uso de tabelas de streaming para ingerir dados usando o Databricks SQL. Uma tabela de streaming é uma tabela registrada no Unity Catalog com suporte extra para streaming ou processamento incremental de dados. Um pipeline Delta Live Tables é criado automaticamente para cada tabela de streaming. Você pode usar tabelas de streaming para carregamento incremental de dados do Kafka e armazenamento de objetos na nuvem.

Este artigo demonstra o uso de tabelas de streaming para carregar dados do armazenamento de objetos na nuvem configurado como um volume do Catálogo Unity (recomendado) ou local externo.

Nota

Para saber como usar tabelas Delta Lake como fontes e coletores de streaming, consulte Leituras e gravações de streaming de tabela Delta.

Importante

As tabelas de streaming criadas no Databricks SQL são apoiadas por um pipeline Delta Live Tables sem servidor. Seu espaço de trabalho deve oferecer suporte a pipelines sem servidor para usar essa funcionalidade.

Antes de começar

Antes de começar, você deve atender aos seguintes requisitos.

Requisitos do espaço de trabalho:

Requisitos de computação:

Você deve usar uma das seguintes opções:

  • Um armazém SQL que utiliza o Current canal.

  • Calcule com o modo de acesso compartilhado no Databricks Runtime 13.3 LTS ou superior.

  • Calcule com o modo de acesso de usuário único no Databricks Runtime 15.4 LTS ou superior.

    No Databricks Runtime 15.3 e inferior, não é possível usar computação de usuário único para consultar tabelas de streaming que pertencem a outros usuários. Você pode usar a computação de usuário único no Databricks Runtime 15.3 e abaixo somente se possuir a tabela de streaming. O criador da mesa é o proprietário.

    O Databricks Runtime 15.4 LTS e superior suporta consultas em tabelas geradas pelo Delta Live Tables em computação de usuário único, independentemente da propriedade da tabela. Para aproveitar a filtragem de dados fornecida no Databricks Runtime 15.4 LTS e superior, você deve confirmar se seu espaço de trabalho está habilitado para computação sem servidor porque a funcionalidade de filtragem de dados que suporta tabelas geradas pelo Delta Live Tables é executada em computação sem servidor. Você pode ser cobrado por recursos de computação sem servidor ao usar computação de usuário único para executar operações de filtragem de dados. Consulte Controle de acesso refinado na computação de um único usuário.

Requisitos de permissões:

  • O READ FILES privilégio em um local externo do Catálogo Unity. Para obter informações, consulte Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks.
  • O USE CATALOG privilégio no catálogo no qual você cria a tabela de streaming.
  • O USE SCHEMA privilégio no esquema no qual você cria a tabela de streaming.
  • O CREATE TABLE privilégio no esquema no qual você cria a tabela de streaming.

Outros requisitos:

  • O caminho para os dados de origem.

    Exemplo de caminho de volume: /Volumes/<catalog>/<schema>/<volume>/<path>/<file-name>

    Exemplo de caminho de local externo: abfss://myContainer@myStorageAccount.dfs.core.windows.net/analysis

    Nota

    Este artigo pressupõe que os dados que você deseja carregar estejam em um local de armazenamento em nuvem que corresponda a um volume do Catálogo Unity ou local externo ao qual você tenha acesso.

Descobrir e visualizar dados de origem

  1. Na barra lateral da área de trabalho, clique em Consultas e, em seguida, clique em Criar consulta.

  2. No editor de consultas, selecione um SQL warehouse que use o Current canal na lista suspensa.

  3. Cole o seguinte no editor, substituindo valores entre colchetes angulares (<>) pelas informações que identificam seus dados de origem e clique em Executar.

    Nota

    Você pode encontrar erros de inferência de esquema ao executar a função com valor de read_files tabela se os padrões da função não puderem analisar seus dados. Por exemplo, talvez seja necessário configurar o modo de várias linhas para arquivos CSV ou JSON de várias linhas. Para obter uma lista de opções do analisador, consulte read_files função com valor de tabela.

    /* Discover your data in a volume */
LIST "/Volumes/<catalog>/<schema>/<volume>/<path>/<folder>"

/* Preview your data in a volume */
SELECT * FROM read_files("/Volumes/<catalog>/<schema>/<volume>/<path>/<folder>") LIMIT 10

/* Discover your data in an external location */
LIST "abfss://<container>@<storage-account>.dfs.core.windows.net/<path>/<folder>"

/* Preview your data */
SELECT * FROM read_files("abfss://<container>@<storage-account>.dfs.core.windows.net/<path>/<folder>") LIMIT 10

Carregar dados em uma tabela de streaming

Para criar uma tabela de streaming a partir de dados no armazenamento de objetos na nuvem, cole o seguinte no editor de consultas e clique em Executar:

/* Load data from a volume */
CREATE OR REFRESH STREAMING TABLE <table-name> AS
SELECT * FROM STREAM read_files('/Volumes/<catalog>/<schema>/<volume>/<path>/<folder>')

/* Load data from an external location */
CREATE OR REFRESH STREAMING TABLE <table-name> AS
SELECT * FROM STREAM read_files('abfss://<container>@<storage-account>.dfs.core.windows.net/<path>/<folder>')

Definir o canal de tempo de execução

As tabelas de streaming criadas usando SQL warehouses são atualizadas automaticamente usando um pipeline Delta Live Tables. Os pipelines Delta Live Tables usam o tempo de execução no current canal por padrão. Consulte as notas de versão do Delta Live Tables e o processo de atualização da versão para saber mais sobre o processo de lançamento.

A Databricks recomenda o uso do current canal para cargas de trabalho de produção. Novos recursos são lançados pela primeira vez no preview canal. Você pode definir um pipeline para o canal de visualização Delta Live Tables para testar novos recursos especificando preview como uma propriedade de tabela. Você pode especificar essa propriedade ao criar a tabela ou depois que a tabela for criada usando uma instrução ALTER.

O exemplo de código a seguir mostra como definir o canal para visualização em uma instrução CREATE:

CREATE OR REPLACE MATERIALIZED VIEW foo.default.bar
TBLPROPERTIES ('pipelines.channel' = 'preview') as
SELECT
  *
FROM
  range(5)

Atualizar uma tabela de streaming usando um pipeline de DLT

Esta seção descreve padrões para atualizar uma tabela de streaming com os dados mais recentes disponíveis das fontes definidas na consulta.

Quando você CREATE ou REFRESH uma tabela de streaming, a atualização é processada usando um pipeline Delta Live Tables sem servidor. Cada tabela de streaming que definir tem um pipeline Delta Live Tables associado.

Depois de executar o comando REFRESH, o link de pipeline DLT é retornado. Você pode usar o link de pipeline DLT para verificar o status da atualização.

Nota

Somente o proprietário da tabela pode atualizar uma tabela de streaming para obter os dados mais recentes. O usuário que cria a tabela é o proprietário, e o proprietário não pode ser alterado. Talvez seja necessário atualizar sua tabela de streaming antes de usar viagens no tempo consultas.

Veja O que é Delta Live Tables?.

Ingerir apenas novos dados

Por padrão, a função read_files lê todos os dados existentes no diretório de origem durante a criação da tabela e, em seguida, processa os registros recém-chegados a cada atualização.

Para evitar a ingestão de dados que já existem no diretório de origem no momento da criação da tabela, defina a opção includeExistingFiles como false. Isso significa que apenas os dados que chegam ao diretório após a criação da tabela são processados. Por exemplo:

CREATE OR REFRESH STREAMING TABLE my_bronze_table
AS SELECT *
FROM STREAM read_files(
  'abfss://myContainer@myStorageAccount.dfs.core.windows.net/analysis/*/*/*.json',
  includeExistingFiles => false)

Atualizar totalmente uma tabela de streaming

As atualizações completas reprocessam todos os dados disponíveis na fonte com a definição mais recente. Não é recomendável chamar atualizações completas em fontes que não mantêm todo o histórico dos dados ou têm períodos de retenção curtos, como Kafka, porque a atualização completa trunca os dados existentes. Talvez não seja possível recuperar dados antigos se os dados não estiverem mais disponíveis na fonte.

Por exemplo:

REFRESH STREAMING TABLE my_bronze_table FULL

Agendar uma tabela de streaming para atualização automática

Para configurar uma tabela de streaming para atualizar automaticamente com base em uma agenda definida, cole o seguinte no editor de consultas e clique em Executar:

ALTER STREAMING TABLE
[[<catalog>.]<database>.]<name>
ADD [SCHEDULE [REFRESH]
        CRON '<cron-string>'
                [ AT TIME ZONE '<timezone-id>' ]];

Por exemplo, consultar agendamento de atualização, consulte ALTER STREAMING TABLE.

Acompanhar o status de uma atualização

Você pode exibir o status de uma atualização de tabela de streaming exibindo o pipeline que gerencia a tabela de streaming na interface do usuário Delta Live Tables ou exibindo as Informações de Atualização retornadas DESCRIBE EXTENDED pelo comando para a tabela de streaming.

DESCRIBE EXTENDED <table-name>

Ingestão de streaming de Kafka

Para obter um exemplo de ingestão de streaming de Kafka, consulte read_kafka.

Conceder aos usuários acesso a uma tabela de streaming

Para conceder aos usuários o SELECT privilégio na tabela de streaming para que eles possam consultá-la, cole o seguinte no editor de consultas e clique em Executar:

GRANT SELECT ON TABLE <catalog>.<schema>.<table> TO <user-or-group>

Para obter mais informações sobre como conceder privilégios em objetos protegíveis do Unity Catalog, consulte Privilégios e objetos protegíveis do Unity Catalog.

O monitor é executado usando o histórico de consultas

Você pode usar a página de histórico de consultas para acessar detalhes de consulta e perfis de consulta que podem ajudá-lo a identificar consultas de baixo desempenho e gargalos no pipeline Delta Live Tables usado para executar suas atualizações de tabela de streaming. Para obter uma visão geral do tipo de informações disponíveis em históricos de consultas e perfis de consulta, consulte Histórico de consultas e Perfil de consulta.

Importante

Esta funcionalidade está em Pré-visualização Pública. Os administradores do espaço de trabalho podem ativar esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Todas as instruções relacionadas a tabelas de streaming aparecem no histórico de consultas. Você pode usar o filtro suspenso Instrução para selecionar qualquer comando e inspecionar as consultas relacionadas. Todas as CREATE instruções são seguidas por uma REFRESH instrução que é executada de forma assíncrona em um pipeline Delta Live Tables. As REFRESH instruções geralmente incluem planos de consulta detalhados que fornecem informações sobre a otimização do desempenho.

Para acessar REFRESH instruções na interface do usuário do histórico de consultas, use as seguintes etapas:

  1. Clique Ícone Histórico na barra lateral esquerda para abrir a interface do usuário do Histórico de Consultas.
  2. Marque a caixa de seleção ATUALIZAR no filtro suspenso Instrução .
  3. Clique no nome da instrução de consulta para exibir detalhes de resumo, como a duração da consulta e métricas agregadas.
  4. Clique em Ver perfil de consulta para abrir o perfil de consulta. Consulte Perfil de consulta para obter detalhes sobre como navegar no perfil de consulta.
  5. Opcionalmente, você pode usar os links na seção Origem da Consulta para abrir a consulta ou o pipeline relacionado.

Você também pode acessar os detalhes da consulta usando links no editor SQL ou a partir de um bloco de anotações anexado a um SQL warehouse.

Nota

Sua tabela de streaming deve ser configurada para ser executada usando o canal de visualização . Consulte Definir o canal de tempo de execução.

Recursos adicionais