Partilhar via

Usar o editor sem código do Azure Stream Analytics para transformar e armazenar dados no banco de dados SQL do Azure

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics, que lê continuamente dados de uma instância de Hubs de Eventos (hub de eventos), transforma os dados e grava os resultados em um banco de dados SQL do Azure.

Pré-requisitos

Seus Hubs de Eventos do Azure e recursos do Banco de Dados SQL do Azure devem estar acessíveis publicamente e não protegidos em um firewall ou protegidos em uma Rede Virtual do Azure. Os dados em seus Hubs de Eventos devem ser serializados no formato JSON, CSV ou Avro.

Se você quiser tentar as etapas neste artigo, siga estas etapas.

  • Crie um hub de eventos se ainda não tiver um. Gere dados no hub de eventos. Na página Instância de Hubs de Eventos, selecione Gerar dados (visualização) no menu à esquerda, selecione Armazenar dados para Conjunto de Dados e, em seguida, selecione Enviar para enviar alguns dados de exemplo para o hub de eventos. Esta etapa é necessária se você quiser testar as etapas neste artigo.

    Captura de tela mostrando a página Gerar dados (visualização) de uma instância de Hubs de Eventos.

  • Crie um banco de dados SQL do Azure. Aqui estão alguns pontos importantes a serem observados ao criar o banco de dados.

    1. Na página Noções básicas, selecione Criar novo para o servidor. Em seguida, na página Criar servidor do Banco de dados SQL, selecione Usar autenticação SQL e especifique ID de usuário e senha de administrador.

    2. Na página Rede, siga estes passos:

      1. Habilite o ponto de extremidade público.
      2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
      3. Selecione Sim para Adicionar endereço IP do cliente atual.

    3. Na página Configurações adicionais, selecione Nenhuma para Usar dados existentes.

    4. No artigo, ignore as etapas nas seções Consultar o banco de dados e Limpar recursos .

    5. Se você quiser testar as etapas, crie uma tabela no banco de dados SQL usando o Editor de consultas (visualização).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Usar o editor sem código para criar um trabalho do Stream Analytics

Nesta seção, você cria um trabalho do Azure Stream Analytics usando o editor sem código. O trabalho transforma o streaming de dados de uma instância de Hubs de Eventos (hub de eventos) e armazena dados de resultados em um banco de dados SQL do Azure.

  1. No portal do Azure, navegue até a página Instância de Hubs de Eventos do seu hub de eventos.

  2. Selecione Recursos>processar dados no menu à esquerda e, em seguida, selecione Iniciar no cartão Transformar e armazenar dados no banco de dados SQL.

    Captura de ecrã a mostrar o Filtrar e ingerir no cartão ADLS Gen2 onde seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar. Você vê o diagrama de tarefas do Stream Analytics com a janela Hubs de Eventos à direita.

    Captura de ecrã a mostrar onde introduzir um nome de trabalho.

  4. Na janela Hub de eventos, revise as configurações do modo de serialização e autenticação e selecione Conectar.

    Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão é estabelecida com êxito e você tem dados em sua instância de Hubs de Eventos, você vê duas coisas:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar seu tipo.

      Captura de tela mostrando a lista de campos Hubs de Eventos onde você pode remover, renomear ou alterar o tipo de campo.

    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Ele é atualizado automaticamente periodicamente. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.

      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Selecione o bloco Agrupar por para agregar os dados. No painel Agrupar por configuração, Você pode especificar o campo que deseja agrupar por junto com a janela Tempo.

    No exemplo a seguir, a média de preço e símbolo são usados.

    Captura de tela que mostra a configuração do grupo por operador.

  7. Você pode validar os resultados da etapa na seção Visualização de dados.

    Captura de ecrã que mostra a pré-visualização de dados para o grupo por operador.

  8. Selecione o bloco Gerenciar campos . No painel de configuração Gerenciar campos , escolha os campos que deseja gerar selecionando Adicionar campo ->Esquema importado -> campo.

    Se quiser adicionar todos os campos, selecione Adicionar todos os campos. Ao adicionar um campo, você pode especificar um nome diferente para a saída. Por exemplo, AVG_Value para Value. Depois de salvar as seleções, você verá os dados no painel Visualização de dados.

    No exemplo a seguir, Symbol e AVG_Value são selecionados. O símbolo é mapeado para o símbolo e AVG_Value é mapeado para o preço.

    Captura de tela que mostra a configuração do operador de campo de gerenciamento.

  9. Selecione o bloco SQL . No painel de configuração do Banco de dados SQL, preencha os parâmetros necessários e conecte-se. Selecione Carregar tabela existente para que a tabela seja selecionada automaticamente. No exemplo a seguir, [dbo].[stocks] é escolhido. Em seguida, selecione Conectar.

    Nota

    O esquema da tabela que você escolher escrever deve corresponder exatamente ao número de campos e seus tipos gerados pela visualização de dados.

    Captura de tela que mostra a configuração de saída do banco de dados sql.

  10. No painel Visualização de dados, você verá a visualização de dados ingerida no banco de dados SQL.

    Captura de ecrã a mostrar a opção Obter pré-visualização estática/Atualizar pré-visualização estática.

  11. Selecione Salvar e, em seguida, selecione Iniciar o trabalho do Stream Analytics.

    Captura de ecrã a mostrar as opções Guardar e Iniciar.

  12. Para iniciar o trabalho, especifique:

    • O número de unidades de streaming (SUs) com as quais o trabalho é executado. SUs representa a quantidade de computação e memória alocada para o trabalho. Recomendamos que comece com três e depois ajuste conforme necessário.

    • Tratamento de erros de dados de saída – Permite especificar o comportamento desejado quando a saída de um trabalho para o seu destino falha devido a erros de dados. Por padrão, o trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por descartar esses eventos de saída.

      Captura de tela mostrando as opções de trabalho do Start Stream Analytics onde você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erros de dados de saída.

  13. Depois de selecionar Iniciar, o trabalho começa a ser executado em dois minutos. Você vê o painel de métricas no painel inferior aberto. Este painel demora algum tempo a ser atualizado. Selecione Atualizar no canto superior direito do painel para atualizar o gráfico. Prossiga para a próxima etapa em uma guia ou janela separada do navegador da Web.

    Captura de tela que mostra as métricas do trabalho após o seu início.

    Você também pode ver o trabalho na seção Dados do processo na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã do separador de trabalhos do Stream Analytics onde visualiza o estado dos trabalhos em execução.

  14. Navegue até o hub de eventos no portal em uma janela ou guia separada do navegador e envie dados de estoque de amostra novamente (como fez nos pré-requisitos). Na página Instância de Hubs de Eventos, selecione Gerar dados (visualização) no menu à esquerda, selecione Armazenar dados para Conjunto de Dados e, em seguida, selecione Enviar para enviar alguns dados de exemplo para o hub de eventos. Leva alguns minutos para ver o painel Métricas atualizado.

  15. Você verá os registros inseridos no banco de dados SQL do Azure.

    Captura de tela que mostra o conteúdo da tabela de ações no banco de dados.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica na visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos uma saída, pode observar atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre primário e secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a essas ressalvas, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos está em visualização pública, não recomendamos o uso desse padrão para trabalhos do Stream Analytics de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.