Obter dados do armazenamento do Azure
A ingestão de dados é o processo utilizado para carregar dados de uma ou mais origens para uma tabela no Azure Data Explorer. Depois de ingeridos, os dados ficam disponíveis para consulta. Neste artigo, vai aprender a obter dados do armazenamento do Azure (contentor do ADLS Gen2, contentor de blobs ou blobs individuais) para uma tabela nova ou existente.
A ingestão pode ser feita como uma operação única ou como um método contínuo. A ingestão contínua só pode ser configurada através do portal.
Para obter informações gerais sobre a ingestão de dados, veja Descrição geral da ingestão de dados do Azure Data Explorer.
Pré-requisitos
- Uma conta Microsoft ou uma identidade de utilizador Microsoft Entra. Não é necessária uma subscrição do Azure.
- Inicie sessão na IU da Web do Azure Data Explorer.
- Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
- Uma conta de armazenamento.
Obter dados
No menu esquerdo, selecione Consulta.
Clique com o botão direito do rato na base de dados onde pretende ingerir os dados. Selecione Obter dados.
Origem
Na janela Obter dados , o separador Origem está selecionado.
Selecione a origem de dados na lista disponível. Neste exemplo, está a ingerir dados do armazenamento do Azure.
Configurar
Selecione uma base de dados de destino e uma tabela. Se quiser ingerir dados numa nova tabela, selecione + Nova tabela e introduza um nome de tabela.
Nota
Os nomes das tabelas podem ter até 1024 carateres, incluindo espaços, alfanuméricos, hífenes e carateres de sublinhado. Os carateres especiais não são suportados.
Para adicionar a sua origem, selecione Selecionar contentor ou Adicionar URI.
Se tiver selecionado Selecionar contentor, preencha os seguintes campos:
Definição Descrição do campo Subscrição O ID da subscrição onde está localizada a conta de armazenamento. Conta de armazenamento O nome que identifica a sua conta de armazenamento. Contentor O contentor de armazenamento que pretende ingerir. Filtros de ficheiro (opcional) Folder path Filtra dados para ingerir ficheiros com um caminho de pasta específico. Extensão de nome de ficheiro Filtra dados para ingerir ficheiros apenas com uma extensão de ficheiro específica. Se tiver selecionado Adicionar URI, cole o seu cadeia de ligação de armazenamento para um contentor de blobs ou ficheiros individuais no campo URI e, em seguida, selecione +.
Nota
- Pode adicionar até 10 blobs individuais. Cada blob pode ter um máximo de 1 GB descomprimido.
- Pode ingerir até 5000 blobs de um único contentor.
Selecione Seguinte
Inspecionar
O separador Inspecionar é aberto com uma pré-visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Opcionalmente:
- Selecione Visualizador de comandos para ver e copiar os comandos automáticos gerados a partir das suas entradas.
- Utilize a lista pendente Ficheiro de definição de esquema para alterar o ficheiro a partir do qual o esquema é inferido.
- Altere o formato de dados inferidos automaticamente ao selecionar o formato pretendido na lista pendente. Veja Formatos de dados suportados pelo Azure Data Explorer para ingestão.
- Editar colunas.
- Explore opções avançadas com base no tipo de dados.
Editar colunas
Nota
- Para formatos tabulares (CSV, TSV, PSV), não pode mapear uma coluna duas vezes. Para mapear para uma coluna existente, elimine primeiro a nova coluna.
- Não pode alterar um tipo de coluna existente. Se tentar mapear para uma coluna com um formato diferente, poderá acabar com colunas vazias.
As alterações que pode fazer numa tabela dependem dos seguintes parâmetros:
- O tipo de tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
| Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
|---|---|---|
| Nova tabela | Novo mapeamento | Mudar o nome da coluna, alterar o tipo de dados, alterar a origem de dados, mapear a transformação, adicionar coluna, eliminar coluna |
| Tabela existente | Novo mapeamento | Adicionar coluna (na qual pode alterar o tipo de dados, mudar o nome e atualizar) |
| Tabela existente | Mapeamento existente | nenhum |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .
As transformações de mapeamento podem ser executadas numa coluna do tipo cadeia ou datetime, com a origem a ter um tipo de dados int ou longo. As transformações de mapeamento suportadas são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabular (CSV, TSV, PSV):
Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar AdvancedKeep current table schema (Manter o esquema de tabela atual).> Os dados tabulares não incluem necessariamente os nomes de coluna que são utilizados para mapear dados de origem para as colunas existentes. Quando esta opção está selecionada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se esta opção estiver desmarcada, serão criadas novas colunas para dados recebidos, independentemente da estrutura de dados.
Para utilizar a primeira linha como nomes de coluna, selecione Avançadas>Primeira linha é cabeçalho de coluna.
JSON:
Para determinar a divisão de colunas de dados JSON, selecioneNíveis AninhadosAvançados>, de 1 a 100.
Se selecionar Avançadas>Ignorar erros de formato de dados, os dados são ingeridos no formato JSON. Se deixar esta caixa de verificação desmarcada, os dados são ingeridos no formato multijson.
Resumo
Na janela Preparação de dados , os três passos são marcados com marcas de verificação verdes quando a ingestão de dados é concluída com êxito. Pode ver os comandos que foram utilizados para cada passo ou selecionar um cartão para consultar, visualizar ou remover os dados ingeridos.
