Obter dados do armazenamento do Azure
A ingestão de dados é o processo usado para carregar dados de uma ou mais fontes em uma tabela no Azure Data Explorer. Uma vez ingeridos, os dados ficam disponíveis para consulta. Neste artigo, você aprenderá como obter dados do armazenamento do Azure (contêiner ADLS Gen2, contêiner de blob ou blobs individuais) em uma tabela nova ou existente.
A ingestão de uma conta de armazenamento do Azure é uma operação única. Para a ingestão contínua de dados, consulte Configurar a ingestão contínua de dados.
Para obter informações gerais sobre ingestão de dados, consulte Visão geral da ingestão de dados do Azure Data Explorer .
Pré-requisitos
- Uma conta Microsoft ou uma identidade de utilizador do Microsoft Entra. Uma assinatura do Azure não é necessária.
- Entre na interface do usuário da Web do Azure Data Explorer.
- Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
- Uma conta de armazenamento .
Obter dados
No menu à esquerda, selecione Consulta.
Clique com o botão direito do rato na base de dados onde pretende ingerir os dados. Selecione Obter dados.
Fonte
Na janela Obter Dados, o separador Origem está selecionado.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do armazenamento do Azure .
Configurar
Selecione um banco de dados e uma tabela de destino. Se pretender ingerir dados numa nova tabela, selecione + Nova tabela e introduza um nome de tabela.
Observação
Os nomes das tabelas podem ter até 1024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.
Para adicionar a sua fonte, selecione Contentor ou Adicionar URI.
Se você selecionou Selecionar contêiner, preencha os seguintes campos:
Configuração Descrição do campo Subscrição O ID da assinatura onde a conta de armazenamento está localizada. Conta de armazenamento O nome que identifica sua conta de armazenamento. Contentor O recipiente de armazenamento que pretende ingerir. Filtros de arquivo (opcional) Caminho da pasta Filtra dados para ingerir arquivos com um caminho de pasta específico. Extensão do arquivo Filtra dados para ingerir arquivos apenas com uma extensão de arquivo específica. Se você selecionou Adicionar URI, na conta de armazenamento, gere uma URL SAS para o contêiner ou blobs individuais que deseja ingerir. Defina as permissões como Leitura e Listagem para contentores ou Leitura para blobs individuais. Para obter mais informações, consulte Gerar um token SAS.
- Cole o URL no campo URI do
e selecione mais ( ). Você pode adicionar vários URIs para blobs individuais ou um único URI para um contêiner.
Observação
- Você pode adicionar até 10 blobs individuais. Cada blob pode ter no máximo 1 GB descompactado.
- Pode ingerir até 5000 bolhas a partir de um único recipiente.
- Não é possível ingerir bolhas e recipientes individuais na mesma ingestão.
- Cole o URL no campo URI do
Selecione Próximo
Inspecionar
A guia Inspecionar é aberta com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Opcionalmente:
- Selecione visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas.
- Use a lista suspensa arquivo de definição de esquema
para alterar o arquivo do qual o esquema é inferido. - Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Consulte Formatos de dados suportados pelo Azure Data Explorer para ingestão.
- Editar colunas.
- Explore opções avançadas com base no tipo de dados.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- Tipo de Tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
Mapeando transformações
Alguns mapeamentos de formatos de dados (Parquet, JSON e Avro) suportam transformações simples durante o tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela
As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. As transformações de mapeamento suportadas são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabela (CSV, TSV, PSV):
Se estiver a ingerir formatos tabulares numa tabela existente , pode selecionar Avançado>Manter o esquema de tabela atual. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.
Para usar a primeira linha como nomes de coluna, selecione Avançado>Primeira linha é cabeçalho de coluna.
JSON:
Para determinar a divisão de colunas dos dados JSON, selecione níveis Aninhados Avançados>de 1 a 100.
Se você selecionar Avançado>Ignorar erros de formato de dados, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.
Resumo
Na janela de preparação de dados, todas as três etapas são marcadas com marcas de seleção verdes quando a ingestão de dados é concluída com êxito. Você pode visualizar os comandos que foram usados para cada etapa ou selecionar um cartão para consultar, visualizar ou soltar os dados ingeridos.
