Obter dados do armazenamento do Azure

Neste artigo, você aprenderá a obter dados do armazenamento do Azure (contêiner do ADLS Gen2, contêiner de blobs ou blobs individuais) em uma tabela nova ou existente.

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
• Um banco de dados KQL com permissões de edição
• Uma conta de armazenamento

Origem

1. Na faixa de opções inferior do banco de dados KQL, selecione Obter Dados.

   Na janela Obter dados, a guia Origem será selecionada.

2. Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do armazenamento do Azure.

   

Configurar

1. Selecione uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione + Nova tabela e insira o nome de uma tabela.

   Observação

   Os nomes de tabelas podem ter até 1024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.

2. Para adicionar sua fonte de dados, cole a cadeia de conexão de armazenamento no campo URI e selecione +. A tabela a seguir lista os métodos de autenticação com suporte e as permissões necessárias para ingerir dados do armazenamento do Azure.

   Método de autenticação	Blob individual	Contêiner de blob	Azure Data Lake Storage Gen2
   Token de Acesso Compartilhado (SAS)	Ler e Gravar	Leitura e listagem	Leitura e listagem
   Chave de acesso da conta de armazenamento

   Observação

   • Você pode adicionar até 10 blobs individuais ou ingerir até 5.000 blobs de um único contêiner. Você não pode ingerir ambos ao mesmo tempo.
   • Cada blob pode ter no máximo 1 GB descompactado.

   1. Se você colou uma cadeia de conexão para um contêiner de blob ou um Azure Data Lake Storage Gen2, você poderá adicionar os seguintes filtros opcionais:

      

      Configuração	Descrição do campo
      Filtros de arquivo (opcional)
      Caminho da pasta	Filtra dados para ingerir arquivos com um caminho de pasta específico.
      Extensão de arquivo	Filtra dados para ingerir arquivos com somente uma extensão de arquivo específica.

3. Selecione Avançar.

Inspecionar

A guia Inspecionar será aberta com uma visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Se desejar:

• Selecione Visualizador de comando para ver e copiar os comandos automáticos gerados com base nas entradas.
• Use a lista suspensa Arquivo de definição de esquema para alterar o arquivo do qual o esquema foi inferido.
• Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Para obter mais informações, confira Formatos de dados suportados pela Inteligência em Tempo Real.
• Editar colunas.
• Explore Opções avançadas com base no tipo de dados.

Editar colunas

Observação

• Para formatos tabulares (CSV, TSV, PSV), você não pode mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
• Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá ficar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• O tipo de mapeamento é novo ou existente

Tipo de tabela	Tipo de mapeamento	Ajustes disponíveis
Nova tabela	Novo mapeamento	Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna
Tabela existente	Novo mapeamento	Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente	Mapeamento existente	nenhum

Transformações de mapeamento

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres de tipo ou de datetime, com o tipo de dados int ou long selecionado em Origem. As transformações de mapeamento com suporte são:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opções avançadas com base no tipo de dados

Tabular (CSV, TSV, PSV):

• Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Avançado>Manter esquema de tabela. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem, e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura de dados.

• Para usar a primeira linha como nomes de coluna, selecione Avançado>A primeira linha é o cabeçalho da coluna.

  

JSON:

• Para determinar a divisão de coluna dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.

• Se você selecionar Avançado>Ignorar linhas JSON com erros, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.

  

Resumo

Na janela Preparação de dados, todas as três etapas serão assinaladas com marcas de seleção verdes quando a ingestão de dados for concluída com sucesso. Você pode selecionar um cartão para consultar, remover os dados ingeridos ou ver um painel do resumo da ingestão.

Conteúdo relacionado

• Para gerenciar seu banco de dados, confira Gerenciar dados
• Para criar, armazenar e exportar consultas, confira Consultar dados em um conjunto de consultas KQL