Partilhar via

Início Rápido: Ingerir dados com um clique (Pré-visualização)

  • Artigo

A ingestão de um clique torna o processo de ingestão de dados fácil, rápido e intuitivo. A ingestão com um clique ajuda-o a começar rapidamente a ingerir dados, a criar tabelas de bases de dados, a mapear estruturas. Selecione dados de diferentes tipos de origens em diferentes formatos de dados, quer como um processo de ingestão única ou contínua.

As seguintes funcionalidades tornam a ingestão de um clique tão útil:

  • Experiência intuitiva orientada pelo assistente de ingestão
  • Ingerir dados numa questão de minutos
  • Ingerir dados de diferentes tipos de origens: ficheiro local, blobs e contentores (até 10 000 blobs)
  • Ingerir dados numa variedade de formatos
  • Ingerir dados em tabelas novas ou existentes
  • O mapeamento de tabelas e o esquema são-lhe sugeridos e fáceis de alterar

A ingestão de um clique é particularmente útil ao ingerir dados pela primeira vez ou quando o esquema dos seus dados não lhe é familiar.

Pré-requisitos

  • Uma subscrição do Azure. Crie uma conta gratuita do Azure.

  • Criar um conjunto de Data Explorer com o Synapse Studio ou o portal do Azure

  • Criar uma base de dados Data Explorer.

    1. No Synapse Studio, no painel esquerdo, selecione Dados.

    2. Selecione + (Adicionar novo recurso) >Data Explorer conjunto e utilize as seguintes informações:

      Definição Valor sugerido Descrição
      Nome do conjunto contosodataexplorer O nome do conjunto de Data Explorer a utilizar
      Name TestDatabase O nome da base de dados tem de ser exclusivo dentro do cluster.
      Período de retenção predefinido 365 O intervalo de tempo (em dias) para o qual é garantido que os dados são mantidos disponíveis para consulta. O intervalo de tempo é medido desde o momento em que os dados são ingeridos.
      Período de cache predefinido 31 O intervalo de tempo (em dias) para o qual os dados consultados frequentemente estão disponíveis no armazenamento SSD ou na RAM, em vez de no armazenamento de longo prazo.

    3. Selecione Criar para criar a base de dados. Normalmente, a criação demora menos de um minuto.

  • Criar uma tabela

    1. No Synapse Studio, no painel esquerdo, selecione Desenvolver.
    2. Em Scripts KQL, selecione + (Adicionar novo recurso) >script KQL. No painel do lado direito, pode atribuir um nome ao script.
    3. No menu Ligar a , selecione contosodataexplorer.
    4. No menu Utilizar base de dados , selecione TestDatabase.
    5. Cole o seguinte comando e selecione Executar para criar a tabela.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Dica

    Verifique se a tabela foi criada com êxito. No painel esquerdo, selecione Dados, selecione o menu contosodataexplorer more e, em seguida, selecione Atualizar. Em contosodataexplorer, expanda Tabelas e certifique-se de que a tabela StormEvents aparece na lista.

Aceder ao assistente com um clique

O assistente de ingestão com um clique orienta-o ao longo do processo de ingestão de um clique.

  • Para aceder ao assistente a partir de Azure Synapse:

    1. No Synapse Studio, no painel esquerdo, selecione Dados.

    2. Em Bases de Dados Data Explorer, clique com o botão direito do rato na base de dados relevante e, em seguida, selecione Abrir no Azure Data Explorer.

      Captura de ecrã do Azure Synapse Studio a mostrar a abertura do Azure Data Explorer no contexto de um conjunto específico.

    3. Clique com o botão direito do rato no conjunto relevante e, em seguida, selecione Ingerir novos dados.

  • Para aceder ao assistente a partir do portal do Azure:

    1. Na portal do Azure, procure e selecione a área de trabalho do Synapse relevante.

    2. Em conjuntos de Data Explorer, selecione o conjunto relevante.

    3. No ecrã principal Bem-vindo a Data Explorer conjunto, selecione Ingerir novos dados.

      Captura de ecrã do portal do Azure, a mostrar a abertura do Azure Data Explorer no contexto de um conjunto específico.

  • Para aceder ao assistente a partir da IU da Web do Azure Data Explorer:

    1. Antes de começar, utilize os seguintes passos para obter os pontos finais de Consulta e Ingestão de Dados.

      1. No Synapse Studio, no painel esquerdo, selecione Gerir>Data Explorer conjuntos.

      2. Selecione o conjunto de Data Explorer que pretende utilizar para ver os respetivos detalhes.

        Captura de ecrã do ecrã Data Explorer conjuntos, com a lista de conjuntos existentes.

      3. Tome nota dos pontos finais de Consulta e Ingestão de Dados. Utilize o Ponto final da consulta como cluster ao configurar ligações ao conjunto de Data Explorer. Ao configurar SDKs para ingestão de dados, utilize o ponto final de ingestão de dados.

        Captura de ecrã a mostrar o painel de propriedades dos conjuntos de Data Explorer, com os endereços URI de Consulta e Ingestão de Dados.

    2. Na IU da Web do Azure Data Explorer, adicione uma ligação ao ponto final da Consulta.
    3. Selecione Consulta no menu esquerdo, clique com o botão direito do rato na base de dados ou tabela e selecione Ingerir novos dados.

Assistente de ingestão com um clique

Nota

Esta secção descreve o assistente que utiliza o Hub de Eventos como a origem de dados. Também pode utilizar estes passos para ingerir dados de um blob, ficheiro, contentor de blobs e um contentor do ADLS Gen2.

Substitua os valores de exemplo pelos valores reais da área de trabalho do Synapse.

  1. No separador Destino , selecione a base de dados e a tabela para os dados ingeridos.

    Captura de ecrã do Azure Data Explorer assistente de ingestão de um clique, com a seleção de uma base de dados e uma tabela.

  2. No separador Origem:

    1. Selecione Hub de Eventos como o Tipo de origem para a ingestão.

      Captura de ecrã do Azure Data Explorer assistente de ingestão de um clique, com a seleção do tipo de origem.

    2. Preencha os detalhes da ligação de dados do Hub de Eventos com as seguintes informações:

      Definições Valor de exemplo Description
      Nome da ligação de dados ContosoDataConnection O nome da ligação de dados do Hub de Eventos
      Subscrição Contoso_Synapse A subscrição onde reside o Hub de Eventos.
      Espaço de nomes do Hub Par contosoeventhubnamespace O espaço de nomes do Hub de Eventos.
      Grupo de consumidores contosoconsumergroup O nome do grupo de consumidores Do Hub Par.

      Captura de ecrã do Azure Data Explorer assistente de ingestão de um clique, com os detalhes da ligação do Hub de Eventos.

    3. Selecione Seguinte.

Mapeamento de esquemas

O serviço gera automaticamente propriedades de esquema e ingestão, que pode alterar. Pode utilizar uma estrutura de mapeamento existente ou criar uma nova, dependendo se estiver a ingerir numa tabela nova ou existente.

No separador Esquema , efetue as seguintes ações:

  1. Confirme o tipo de compressão gerada automaticamente.
  2. Escolha o formato dos seus dados. Formatos diferentes permitir-lhe-ão fazer mais alterações.
  3. Alterar o mapeamento na janela Editor.

Formatos de ficheiro

A ingestão de um clique suporta a ingestão de dados de origem em todos os formatos de dados suportados por Data Explorer para ingestão.

Janela editor

Na janela Editor do separador Esquema , pode ajustar as colunas da tabela de dados conforme necessário.

As alterações que pode fazer numa tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • O tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Alterar tipo de dados, Mudar o nome da coluna, Nova coluna, Eliminar coluna, Coluna de atualização, Ordenação ascendente, Ordenação descendente
Tabela existente Novo mapeamento Nova coluna (na qual pode alterar o tipo de dados, mudar o nome e atualizar),
Coluna de atualização, Ordenação ascendente, Ordenação descendente
Mapeamento existente Ordenação ascendente, Ordenação descendente

Nota

Ao adicionar uma nova coluna ou atualizar uma coluna, pode alterar as transformações de mapeamento. Para obter mais informações, veja Mapeamento de transformações

Transformações de mapeamento

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editor.

As transformações de mapeamento podem ser realizadas numa coluna de Cadeia de tipo ou datetime, com a Origem com o tipo de dados int ou longo. As transformações de mapeamento suportadas são:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Ingestão de dados

Depois de concluir o mapeamento de esquemas e manipulações de colunas, o assistente de ingestão iniciará o processo de ingestão de dados.

  • Ao ingerir dados de origens não contentoras , a ingestão terá efeito imediato.

  • Se a origem de dados for um contentor:

    • Data Explorer política de criação de lotes agregará os seus dados.
    • Após a ingestão, pode transferir o relatório de ingestão e rever o desempenho de cada blob que foi abordado.

Exploração inicial de dados

Após a ingestão, o assistente dá-lhe opções para utilizar comandos Rápidos para a exploração inicial dos seus dados.

Passos seguintes