Partilhar via

Enriqueça dados e ingra para hub de eventos usando o Stream Analytics sem editor de código

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics. Ele lê continuamente de seus Hubs de Eventos, enriquece os dados de entrada com dados de referência SQL e, em seguida, grava os resultados continuamente no hub de eventos.

Pré-requisitos

  • Seus Hubs de Eventos do Azure e recursos de dados de referência SQL devem estar acessíveis publicamente e não protegidos em um firewall ou protegidos em uma Rede Virtual do Azure
  • Os dados em seus Hubs de Eventos devem ser serializados no formato JSON, CSV ou Avro.

Desenvolver um trabalho do Stream Analytics para enriquecer os dados do hub de eventos

  1. No portal do Azure, localize e selecione a instância dos Hubs de Eventos do Azure.

  2. Selecione Recursos>Processar dados e, em seguida, selecione Iniciar no cartão Enriquecer dados e ingerir no Hub de Eventos.

    Captura de ecrã a mostrar o Filtrar e ingerir no cartão ADLS Gen2 onde seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar.

    Captura de ecrã a mostrar onde introduzir um nome de trabalho.

  4. Especifique o tipo de serialização de seus dados na janela Hubs de Eventos e o método de Autenticação que o trabalho usará para se conectar aos Hubs de Eventos. Em seguida, selecione Conectar.
    Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com êxito e você tiver fluxos de dados fluindo para sua instância de Hubs de Eventos, você verá imediatamente duas coisas:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar seu tipo.
      Captura de tela mostrando a lista de campos Hubs de Eventos onde você pode remover, renomear ou alterar o tipo de campo.
    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Ele é atualizado automaticamente periodicamente. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.
      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Selecione o bloco de entrada SQL de referência para se conectar ao banco de dados SQL de referência.
    Captura de tela que mostra a configuração da conexão de dados de referência sql.

  7. Selecione o bloco Ingressar . No painel de configuração direito, escolha um campo de cada entrada para unir os dados de entrada das duas entradas.

    Captura de tela que mostra a configuração do operador de junção.

  8. Selecione o bloco Gerenciar . No painel de configuração Gerenciar campos , escolha os campos que você deseja enviar para o hub de eventos. Se quiser adicionar todos os campos, selecione Adicionar todos os campos.

    Captura de tela que mostra a configuração do operador de campo de gerenciamento.

  9. Selecione o bloco Hub de Eventos . No painel de configuração do Hub de Eventos, preencha os parâmetros necessários e conecte-se, de forma semelhante à configuração do hub de eventos de entrada.

  10. Opcionalmente, selecione Obter visualização estática/Atualizar visualização estática para ver a visualização de dados que será ingerida no hub de eventos.
    Captura de ecrã a mostrar a opção Obter pré-visualização estática/Atualizar pré-visualização estática.

  11. Selecione Salvar e, em seguida, selecione Iniciar o trabalho do Stream Analytics.
    Captura de ecrã a mostrar as opções Guardar e Iniciar.

  12. Para iniciar o trabalho, especifique:

    • O número de unidades de streaming (SUs) com as quais o trabalho é executado. SUs representa a quantidade de computação e memória alocada para o trabalho. Recomendamos que comece com três e depois ajuste conforme necessário.
    • Tratamento de erros de dados de saída – Permite especificar o comportamento desejado quando a saída de um trabalho para o seu destino falha devido a erros de dados. Por padrão, o trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por descartar esses eventos de saída.
      Captura de tela mostrando as opções de trabalho do Start Stream Analytics onde você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erros de dados de saída.

  13. Depois de selecionar Iniciar, o trabalho começa a ser executado em dois minutos e as métricas serão abertas na seção da guia abaixo.

    Captura de tela que mostra os dados de métricas de trabalho depois que ele é iniciado.

    Você também pode ver o trabalho na seção Dados do processo na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã do separador de trabalhos do Stream Analytics onde visualiza o estado dos trabalhos em execução.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica na visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos uma saída, pode observar atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre primário e secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a essas ressalvas, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos está em visualização pública, não recomendamos o uso desse padrão para trabalhos do Stream Analytics de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.