Compartilhar via

Carregar dados utilizando COPY INTO com uma entidade de serviço

  • Artigo

Esse artigo descreve como usar o comando COPY INTO para carregar dados de um contêiner do Azure Data Lake Storage Gen2 (ADLS Gen2) da sua conta do Azure em uma tabela no Databricks SQL.

As etapas nesse artigo pressupõem que seu administrador configurou um SQL warehouse para usar uma entidade de serviço do Azure Databricks para que você possa acessar seus arquivos de origem no ADLS Gen2. Se o administrador configurou um local externo do Catálogo do Unity com uma credencial de armazenamento, consulte Carregar dados usando COPY INTO com volumes ou locais externos do Catálogo do Unity. Se seu administrador forneceu credenciais temporárias (um token SAS de Blob), siga as etapas em Carregar dados usando COPY INTO com credenciais temporárias.

O Databricks recomenda usar o comando COPY INTO para carregamento de dados incrementais e em massa com o SQL do Databricks.

Observação

COPY INTO funciona bem para fontes de dados que contêm milhares de arquivos. O Databricks recomenda que você use o Carregador Automático para carregar milhões de arquivos, o que não tem suporte no SQL do Databricks.

Antes de começar

Antes de carregar dados no Azure Databricks, verifique se você tem o seguinte:

  • Acesso a dados no ADLS Gen2. Seu administrador deve primeiro concluir as etapas em Configurar acesso a dados da ingestão para que seu Databricks SQL warehouse possa ler seus arquivos de origem.
  • Um SQL warehouse do Databricks.
  • A permissão Pode gerenciar no SQL warehouse.
  • O caminho para seus dados em um contêiner do ADLS Gen2.
  • Familiaridade com a interface do usuário do SQL do Databricks.

Etapa 1: confirmar acesso aos dados no armazenamento em nuvem

Para confirmar que você tem acesso aos dados corretos no armazenamento de objetos em nuvem, faça o seguinte:

  1. Na barra lateral, clique em Criar > Consulta.

  2. Na barra de menus do editor SQL, selecione um SQL warehouse.

  3. No editor SQL, cole o seguinte código:

    select * from csv.<path>

    Substitua o <path> pelo caminho de contêiner do ADLS Gen2 que você recebeu de seu administrador. Por exemplo, abfss://<container>@<storage-account>.dfs.core.windows.net/<folder>.

  4. Clique em Executar.

Etapa 2: criar uma tabela

Essa etapa descreve como criar uma tabela em seu workspace do Azure Databricks para conter os dados de entrada.

  1. No editor SQL, cole o seguinte código:

    CREATE TABLE <catalog_name>.<schema_name>.<table_name> (
  tpep_pickup_datetime  TIMESTAMP,
  tpep_dropoff_datetime TIMESTAMP,
  trip_distance DOUBLE,
  fare_amount DOUBLE,
  pickup_zip INT,
  dropoff_zip INT
);

  2. Clique em Executar.

Etapa 3: carregar dados do armazenamento em nuvem na tabela

Essa etapa descreve como carregar dados de um contêiner do ADLS Gen2 na tabela do seu workspace do Azure Databricks.

  1. Na barra lateral, clique em Criar > Consulta.

  2. Na barra de menus do editor SQL, selecione um SQL warehouse e verifique se o SQL warehouse está em execução.

  3. No editor SQL, cole o código a seguir. Neste código, substitua:

    • <container> com o nome do seu contêiner do ADLS Gen2 em sua conta de armazenamento.
    • <storage-account> pelo nome da conta de armazenamento do ADLS Gen2.
    • <folder> com o nome da pasta que contém seus dados.
    • <blob-sas-token> com o valor do token SAS de Blob que você recebeu de seu administrador.
    COPY INTO <catalog-name>.<schema-name>.<table-name>
FROM 'abfss://<container>@<storage-account>.dfs.core.windows.net/<folder>'
FILEFORMAT = CSV
FORMAT_OPTIONS (
  'header' = 'true',
  'inferSchema' = 'true'
);

SELECT * FROM <catalog-name>.<schema-name>.<table-name>;

    Observação

    FORMAT_OPTIONS difere de FILEFORMAT. Nesse caso, a opção header instrui o Azure Databricks a tratar a primeira linha do arquivo CSV como um cabeçalho e as opções inferSchema instruem o Azure Databricks a determinar automaticamente o tipo de dados de cada campo no arquivo CSV.

  4. Clique em Executar.

    Observação

    Se você clicar novamente em Executar, nenhum dado novo será carregado na tabela. Isso ocorre porque o comando COPY INTO processa somente o que considera novos dados.

Limpar

Você pode limpar os recursos associados no seu workspace, caso não queira mais mantê-los.

Excluir as tabelas

  1. Na barra lateral, clique em Criar > Consulta.

  2. Selecione um SQL warehouse e verifique se o SQL warehouse está em execução.

  3. Cole o seguinte código:

    DROP TABLE <catalog-name>.<schema-name>.<table-name>;

  4. Clique em Executar.

  5. Passe o mouse sobre a guia dessa consulta e clique no ícone X.

Excluir as consultas no editor SQL

  1. Na barra lateral, clique em Editor SQL.
  2. Na barra de menus do editor SQL, passe o mouse sobre a guia de cada consulta que você criou para este tutorial e clique no ícone X.

Recursos adicionais