Use a ingestão com um clique para criar uma conexão de dados de Hubs de Eventos para o Azure Synapse Data Explorer (Versão Prévia)
O Azure Synapse Data Explorer oferece a ingestão (carregamento de dados) dos Hubs de Eventos, uma plataforma de streaming de big data e serviço de ingestão de eventos. Os Hubs de Eventos podem processar milhões de eventos por segundo quase em tempo real. Neste artigo, você conectará Hubs de Eventos a uma tabela no Azure Synapse Data Explorer usando a experiência de Ingestão com um clique.
Pré-requisitos
Uma assinatura do Azure. Criar uma conta gratuita do Azure.
Criar um pool do Data Explorer usando o Synapse Studio ou o portal do Azure
Criar um banco de dados do Data Explorer.
No Synapse Studio, no painel esquerdo, selecione Dados.
Selecione + (Adicionar novo recurso) >Pool do Data Explorer e use as seguintes informações:
Configuração Valor sugerido Descrição Nome do pool contosodataexplorer O nome do pool do Data Explorer a ser usado Nome TestDatabase O nome do banco de dados deve ser exclusivo dentro do cluster. Período de retenção padrão 365 O período de tempo (em dias) durante o qual há a garantia de que os dados serão mantidos disponíveis para consulta. O período é medido a partir do momento em que os dados são incluídos. Período de cache padrão 31 O período de tempo (em dias) durante o qual os dados consultados com frequência devem ser mantidos disponíveis no armazenamento SSD ou RAM, em vez de no armazenamento de longo prazo. Selecione Criar para criar o banco de dados. A criação geralmente leva menos de um minuto.
Observação
A ingestão de dados de um Hub de Eventos em pools do Data Explorer não funcionará se o seu workspace do Synapse usar uma rede virtual gerenciada com a proteção de exfiltração dos dados habilitada.
Ingerir novos dados
No Synapse Studio, no painel esquerdo, selecione Dados.
Em Bancos de Dados do Data Explorer, clique com o botão direito do mouse no banco de dados relevante e selecione Abrir no Azure Data Explorer.
No menu esquerdo da interface do usuário da Web, selecione a guia Dados.
No cartão Ingerir dados do Hub de Eventos, selecione Ingestão.
A janela Ingerir novos dados será aberta com a guia Destino selecionada.
Guia Destino
Os campos Cluster e Banco de dados são preenchidos automaticamente. Você pode selecionar um cluster ou banco de dados diferente nos menus suspensos.
Em Tabela, selecione Criar nova tabela e insira um nome para a nova tabela. Como alternativa, use uma tabela existente.
Observação
Os nomes de tabela precisam ter entre 1 e 1.024 caracteres. Você pode usar caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
Selecione Avançar: origem.
Guia Origem
Em Tipo de origem, selecione Hub de Eventos.
Em Conexão de Dados, preencha os seguintes campos:
Configuração Valor sugerido Descrição do campo Nome da conexão de dados ContosoDataConnection O nome que identifica a conexão de dados. Subscription A ID da assinatura em que o recurso dos Hubs de Eventos está localizado. Namespace do Hubs de Eventos O nome que identifica o namespace. Hubs de Eventos Os Hubs de Eventos que você deseja usar. Grupo de consumidores O grupo de consumidores definido em seus Hubs de Eventos. Propriedades do sistema de eventos Selecionar propriedades relevantes As propriedades do sistema dos Hubs de Eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas ao primeiro. Ao adicionar propriedades do sistema, crie ou atualize o esquema de tabela e o mapeamento de maneira a incluir as propriedades selecionadas. Selecione Avançar: esquema.
Guia Esquema
Os dados são lidos nos Hubs de Eventos na forma de objetos EventData. Os formatos com suporte são CSV, JSON, PSV, SCsv, SOHsv TSV, TXT e TSVE.
Se os dados exibidos na janela de pré-visualização não estiverem completos, talvez você precise de mais dados para criar uma tabela com todos os campos de dados necessários. Use os comandos a seguir para buscar novos dados dos Hubs de Eventos:
- Descartar e buscar novos dados: descarta os dados apresentados e procura novos eventos.
- Buscar mais dados: procura mais eventos além dos eventos já encontrados.
Observação
Para ver uma pré-visualização dos dados, o Hub de Eventos deve enviar os eventos.
Selecione Avançar: Resumo.
Ingestão contínua dos Hubs de Eventos
Na janela Ingestão contínua do Hub de Eventos estabelecida, todas as etapas receberão marcas de seleção verdes ao concluir o estabelecimento com sucesso. Os cartões abaixo dessas etapas fornecem opções para explorar os dados com Consultas rápidas, desfazer alterações usando as Ferramentas ou Monitorar as conexões e os dados dos Hubs de Eventos.
