Partilhar via

Usar a ingestão de uma seleção para criar uma conexão de dados de Hubs de Eventos para o Azure Synapse Data Explorer (Visualização)

  • Artigo

O Azure Synapse Data Explorer oferece ingestão (carregamento de dados) de Hubs de Eventos, uma plataforma de streaming de big data e serviço de ingestão de eventos. Os Hubs de Eventos podem processar milhões de eventos por segundo quase em tempo real. Neste artigo, você conecta um Hubs de Eventos a uma tabela no Azure Synapse Data Explorer usando a experiência de ingestão de uma seleção.

Pré-requisitos

  • Uma subscrição do Azure. Crie uma conta do Azure gratuita.

  • Criar um pool do Data Explorer usando o Synapse Studio ou o portal do Azure

  • Crie um banco de dados do Data Explorer.

    1. No Synapse Studio, no painel do lado esquerdo, selecione Dados.

    2. Selecione + (Adicionar novo recurso) >Pool do Data Explorer e use as seguintes informações:

      Definição Valor sugerido Description
      Nome do conjunto contosodataexplorer O nome do pool do Data Explorer a ser usado
      Nome TestDatabase O nome da base de dados tem de ser exclusivo dentro do cluster.
      Período de retenção predefinido 365 O período de tempo (em dias) durante o qual é garantido que os dados são mantidos disponíveis para consulta. O intervalo de tempo é medido desde o momento em que os dados são ingeridos.
      Período de cache padrão 31 O período de tempo (em dias) durante o qual manter os dados frequentemente consultados disponíveis no armazenamento SSD ou RAM, em vez de no armazenamento a longo prazo.

    3. Selecione Criar para criar o banco de dados. Normalmente, a criação demora menos de um minuto.

Nota

A ingestão de dados de um Hub de Eventos em pools do Data Explorer não funcionará se o espaço de trabalho Synapse usar uma rede virtual gerenciada com a proteção contra exfiltração de dados habilitada.

Ingerir novos dados

  1. No Synapse Studio, no painel do lado esquerdo, selecione Dados.

  2. Em Bancos de Dados do Data Explorer, clique com o botão direito do mouse no banco de dados relevante e selecione Abrir no Azure Data Explorer.

    Captura de tela do Azure Synapse Studio, mostrando a abertura do Azure Data Explorer no contexto de um pool específico.

  3. No menu esquerdo da interface do usuário da Web, selecione a guia Dados .

    Captura de ecrã a mostrar o menu Dados do Azure Data Explorer com a ingestão a partir do hub de eventos realçada.

  4. No cartão Ingerir dados do Hub de Eventos, selecione Ingerir.

A janela Ingerir novos dados é aberta com a guia Destino selecionada.

Guia Destino

Captura de ecrã do separador de destino. Os campos Cluster, Banco de Dados e Tabela devem ser preenchidos antes de prosseguir para Next-Source.

  1. Os campos Cluster e Banco de Dados são preenchidos automaticamente. Você pode selecionar um cluster ou banco de dados diferente nos menus suspensos.

  2. Em Tabela, selecione Criar nova tabela e insira um nome para a nova tabela. Como alternativa, use uma tabela existente.

    Nota

    Os nomes das tabelas devem ter entre 1 e 1024 caracteres. Você pode usar alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.

  3. Selecione Next: Source.

Separador Origem

  1. Em Tipo de origem, selecione Hub de Eventos.

  2. Em Conexão de Dados, preencha os seguintes campos:

    Captura de ecrã do separador de origem com campos de detalhes do projeto a preencher - ingira novos dados para o Azure Synapse Data Explorer com Hubs de Eventos na experiência de seleção.

    Definição Valor sugerido Descrição do campo
    Nome da ligação de dados ContosoDataConnection O nome que identifica sua conexão de dados.
    Subscrição A ID da assinatura onde o recurso Hubs de Eventos está localizado.
    Espaço de nomes dos Event Hubs O nome que identifica seu namespace.
    Hubs de Eventos Os Hubs de Eventos que você deseja usar.
    Grupo de consumidores O grupo de consumidores definido em seus Hubs de Eventos.
    Propriedades do sistema de eventos Selecionar propriedades relevantes As propriedades do sistema Hubs de Eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas à primeira. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.

  3. Selecione Next: Schema.

Guia Esquema

Os dados são lidos dos Hubs de Eventos na forma de objetos EventData . Os formatos suportados são CSV, JSON, PSV, SCsv, SOHsv TSV, TXT e TSVE.

Captura de ecrã do separador esquema na ingestão de novos dados para o Azure Synapse Data Explorer com Hubs de Eventos na experiência de uma seleção.

  1. Se os dados que você vê na janela de visualização não estiverem completos, talvez você precise de mais dados para criar uma tabela com todos os campos de dados necessários. Use os seguintes comandos para buscar novos dados de seus Hubs de Eventos:

    • Descartar e buscar novos dados: descarta os dados apresentados e procura novos eventos.
    • Obter mais dados: pesquisa mais eventos além dos eventos já encontrados.

    Nota

    Para ver uma pré-visualização dos seus dados, o Hub de Eventos tem de enviar eventos.

  2. Selecione Next: Summary.

Ingestão contínua de Hubs de Eventos

Na janela Ingestão contínua do Hub de eventos estabelecida, todas as etapas serão marcadas com marcas de seleção verdes quando o estabelecimento for concluído com êxito. Os cartões abaixo dessas etapas oferecem opções para explorar seus dados com consultas rápidas, desfazer alterações feitas usando Ferramentas ou monitorar as conexões e os dados dos Hubs de Eventos.

Captura de ecrã do ecrã final em ingestão no Azure Synapse Data Explorer a partir de Hubs de Eventos com a experiência de uma seleção.

Próximos passos