Compartilhar via

Enriquecer dados e enviá-los ao hub de eventos usando o editor sem código do Stream Analytics

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar um trabalho do Stream Analytics com facilidade. Ele faz uma leitura contínua dos hubs de eventos, enriquece os dados de entrada com os dados de referência SQL e grava os resultados continuamente no hub de eventos.

Pré-requisitos

  • Os recursos de dados de referência dos Hubs de Eventos do Azure e do SQL precisam ser acessíveis publicamente e não podem estar protegidos por um firewall nem estar em uma Rede Virtual do Azure
  • Os dados nos Hubs de Eventos precisam ser serializados no formato JSON, CSV ou Avro.

Desenvolver um trabalho do Stream Analytics para enriquecer dados do hub de eventos

  1. No portal do Azure, localize e selecione a instância dos Hubs de Eventos do Azure.

  2. Selecione Recursos>Processar Dados e escolha Iniciar no cartão Enriquecer dados e enviá-los ao hub de eventos.

    Captura de tela mostrando o cartão Filtrar e ingerir para o ADLS Gen2, no qual você seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar.

    Captura de tela mostrando onde inserir um nome de trabalho.

  4. Especifique o tipo de Serialização dos dados na janela Hubs de Eventos e o Método de autenticação que o trabalho usará para se conectar aos Hubs de Eventos. Depois, selecione Conectar.
    Captura de tela mostrando a configuração da conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com êxito e você tiver fluxos de dados para a instância dos Hubs de Eventos, você verá duas coisas imediatamente:

    • Os campos presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar o tipo.
      Captura de tela mostrando a lista de campos dos Hubs de Eventos em que você pode remover, renomear ou alterar o tipo de campo.
    • Um exemplo dinâmico dos dados de entrada na tabela Visualização de dados na exibição de diagrama. Ele é atualizado automaticamente com regularidade. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.
      Captura de tela mostrando os dados de exemplo em Versão Prévia dos Dados.

  6. Selecione o bloco Entrada SQL de referência para se conectar ao banco de dados SQL de referência.
    Captura de tela que mostra a configuração de conexão de dados de referência SQL.

  7. Selecione o bloco Ingressar. No painel de configuração à direita, escolha um campo de cada entrada para unir os dados de entrada das duas entradas.

    Captura de tela que mostra a configuração do operador de junção.

  8. Selecione o bloco Gerenciar. No painel de configuração Gerenciar campos, escolha os campos que você quer enviar ao hub de eventos. Se você quiser adicionar todos os campos, clique em Adicionar todos os campos.

    Captura de tela que mostra a configuração do operador Gerenciar campo.

  9. Selecione o bloco Hub de eventos. No painel de configuração do Hub de Eventos, preencha os parâmetros necessários e se conecte, como no caso da configuração do hub de eventos de entrada.

  10. Opcionalmente, selecione Obter visualização estática/Atualizar visualização estática para ver a visualização de dados que será enviada ao hub de eventos.
    Captura de tela mostrando a opção Obter visualização estática/Atualizar visualização estática.

  11. Selecione Salvar e depois escolha Iniciar o trabalho do Stream Analytics.
    Captura de tela mostrando as opções Salvar e Iniciar.

  12. Para iniciar o trabalho, especifique:

    • Selecione o número de SUs (unidades de streaming) com as quais o trabalho é executado. As SUs representam a quantidade de computação e memória alocada para o trabalho. É recomendável começar com três e depois ajuste conforme necessário.
    • Tratamento de erros de dados de saída – permite que você especifique o comportamento desejado quando a saída de um trabalho para seu destino falhar devido a erros de dados. Por padrão, seu trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por remover esses eventos de saída.
      Captura de tela mostrando as opções de trabalho Iniciar Stream Analytics em que você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erro dos dados de saída.

  13. Depois de selecionar Iniciar, o trabalho começará a ser executado em até dois minutos e as métricas serão abertas na seção da guia abaixo.

    Captura de tela que mostra os dados de métricas do trabalho depois que ele é iniciado.

    Você também pode ver o trabalho na seção Processar Dados na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-las ou interrompê-las e reiniciá-las, conforme o necessário.

    Captura de tela da guia Trabalhos do Stream Analytics em que você vê o status dos trabalhos em execução.

Considerações ao usar o recurso de replicação geográfica dos Hubs de Eventos do Azure

Os Hubs de Eventos do Azure lançaram recentemente a versão prévia pública do recurso de replicação geográfica. Esse recurso é diferente do recurso de recuperação de desastres geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência de replicação é Assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos e uma saída, pode observar um atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre o primário e o secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como entrada, pode observar um atraso de marca d'água no trabalho durante a duração do failover e pode pular dados ou encontrar dados duplicados após a conclusão do failover.

Devido a essas limitações, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos do Azure. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos do Azure está em versão prévia pública, não recomendamos usar esse padrão para trabalhos de produção do Stream Analytics no momento. O comportamento atual do Stream Analytics será aprimorado antes da disponibilidade geral do recurso de replicação geográfica dos Hubs de Eventos para uso em trabalhos de produção do Stream Analytics.

Próximas etapas

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho criado.