Compartilhar via

Usar o editor sem código do Azure Stream Analytics para transformar e armazenar dados no banco de dados do SQL do Azure

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics, que lê continuamente dados de uma instância dos Hubs de Eventos (hub de eventos), transforma os dados e grava resultados em um banco de dados SQL do Azure.

Pré-requisitos

Os recursos dos Hubs de Eventos do Azure e do banco de dados SQL do Azure precisam ser acessíveis publicamente e não podem estar protegidos por um firewall ou em uma Rede Virtual do Azure. Os dados nos Hubs de Eventos precisam ser serializados no formato JSON, CSV ou Avro.

Se você quiser tentar as etapas neste artigo, siga estas etapas.

  • Crie um hub de eventos, caso você ainda não tenha um. Gerar dados no hub de eventos. Na página Instância dos Hubs de Eventos , selecione Gerar dados (versão prévia) no menu à esquerda, selecione Dados de estoque para Conjunto de Conjunto de dados e, em seguida, selecione Enviar para enviar alguns dados de amostra para o hub de eventos. Esta etapa será necessária se você quiser testar as etapas neste artigo.

    Captura de tela mostrando a página Gerar dados (versão prévia) de uma instância do Hubs de Eventos

  • Criar um banco de dados SQL do Azure. Aqui estão alguns pontos importantes a serem observados ao criar o banco de dados.

    1. Na página Noções básicas, selecione Criar novo para Servidor. Em seguida, na página Criar servidor do Banco de Dados SQL do Microsoft Azure, selecione Usar autenticação SQL e especifique a ID de usuário administrador e a senha.

    2. Na página Rede, siga estas etapas:

      1. Habilitar o ponto de extremidade público.
      2. Escolha Sim na opção Permitir que serviços e recursos do Azure acessem este servidor.
      3. Selecionar Sim para Adicionar endereço IP do cliente atual.

    3. Na página Configurações adicionais, selecione Nenhum para Usar dados existentes.

    4. No artigo, ignore as etapas nas seções Consultar o banco de dados e Limpar recursos.

    5. Se você quiser testar as etapas, crie uma tabela no banco de dados SQL usando o Editor de consultas (versão prévia).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Usar o editor sem código para criar um trabalho do Stream Analytics

Nesta seção, você criará um trabalho do Azure Stream Analytics usando o editor sem código. O trabalho transforma o fluxo de dados de uma instância dos Hubs de Eventos (hub de eventos) e armazena dados de resultado em um banco de dados SQL do Azure.

  1. No portal do Azure, navegue até a página Instância dos Hubs de Eventos do hub de eventos.

  2. Selecione Recursos>Processar dados e, em seguida, selecione Iniciar no cartão Transformar e armazenar dados no banco de dados SQL.

    Captura de tela mostrando o cartão Filtrar e ingerir para o ADLS Gen2, no qual você seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar. Você verá o diagrama de trabalho do Stream Analytics com a janela Hubs de Eventos à direita.

    Captura de tela mostrando onde inserir um nome de trabalho.

  4. Na janela Hub de eventos, examine as configurações de Serialização e Modo de autenticação e selecione Conectar.

    Captura de tela mostrando a configuração da conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com sucesso e você tiver dados em sua instância do Hubs de Eventos, verá duas coisas:

    • Os campos presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar o tipo.

      Captura de tela mostrando a lista de campos dos Hubs de Eventos em que você pode remover, renomear ou alterar o tipo de campo.

    • Um exemplo dinâmico dos dados de entrada na tabela Visualização de dados na exibição de diagrama. Ele é atualizado automaticamente com regularidade. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.

      Captura de tela mostrando os dados de exemplo em Versão Prévia dos Dados.

  6. Selecione o bloco Agrupar por para agregar os dados. No painel de configuração Agrupar por, você pode especificar o campo que deseja agrupar junto com a Janela de tempo.

    No exemplo a seguir, a média de preço e símbolo são usadas.

    Captura de tela que mostra a configuração do operador “agrupar por”.

  7. Você pode validar os resultados da etapa na seção Pré-visualização de dados.

    Captura de tela que mostra a pré-visualização de dados para o grupo por operador.

  8. Selecione o bloco Gerenciar campos. No painel de configuração Gerenciar campos , escolha os campos que você deseja produzir selecionando o campo Adicionar campo ->Esquema Importado ->.

    Se você quiser adicionar todos os campos, clique em Adicionar todos os campos. Ao adicionar um campo, você pode especificar um nome diferente para a saída. Por exemplo, AVG_Value para Value. Depois de salvar as seleções, você verá os dados no painel Pré-visualização de dados.

    No exemplo a seguir, Símbolo e AVG_Value estão selecionados. Osímbolo é mapeado para símbolo e AVG_Value é mapeado para preço.

    Captura de tela que mostra a configuração do operador “gerenciar campo”.

  9. Selecione o bloco SQL. No painel de configuração Banco de Dados SQL, preencha os parâmetros necessários e conecte-se. Selecione Carregar tabela existente para que a tabela seja selecionada automaticamente. No exemplo a seguir, [dbo].[stocks] é selecionado. Em seguida, selecione Conectar.

    Observação

    O esquema da tabela que você escolher gravar precisa corresponder exatamente ao número de campos e tipos gerados pela pré-visualização dos dados.

    Captura de tela que mostra a configuração de saída do banco de dados sql.

  10. No painel Pré-visualização de dados, você verá a pré-visualização de dados ingerida no banco de dados SQL.

    Captura de tela mostrando a opção Obter visualização estática/Atualizar visualização estática.

  11. Selecione Salvar e depois escolha Iniciar o trabalho do Stream Analytics.

    Captura de tela mostrando as opções Salvar e Iniciar.

  12. Para iniciar o trabalho, especifique:

    • Selecione o número de SUs (unidades de streaming) com as quais o trabalho é executado. As SUs representam a quantidade de computação e memória alocada para o trabalho. É recomendável começar com três e depois ajuste conforme necessário.

    • Tratamento de erros de dados de saída – permite que você especifique o comportamento desejado quando a saída de um trabalho para seu destino falhar devido a erros de dados. Por padrão, seu trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por remover esses eventos de saída.

      Captura de tela mostrando as opções de trabalho Iniciar Stream Analytics em que você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erro dos dados de saída.

  13. Depois de selecionar Iniciar, o trabalho começará a ser executado em até dois minutos. Você verá o painel de métricas no painel inferior aberto. Leva algum tempo para que este painel seja atualizado. Selecione Atualizar no canto superior direito do painel para atualizar o gráfico. Prossiga para a próxima etapa em uma guia ou janela separada do navegador da Web.

    Captura de tela que mostra as métricas do trabalho depois que ele é iniciado.

    Você também pode ver o trabalho na seção Processar Dados na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-las ou interrompê-las e reiniciá-las, conforme o necessário.

    Captura de tela da guia Trabalhos do Stream Analytics em que você vê o status dos trabalhos em execução.

  14. Navegue até o hub de eventos no portal em uma janela ou guia separada do navegador e envie dados de estoque de exemplo novamente (como você fez nos pré-requisitos). Na página Instância dos Hubs de Eventos , selecione Gerar dados (versão prévia) no menu à esquerda, selecione Dados de estoque para Conjunto de Conjunto de dados e, em seguida, selecione Enviar para enviar alguns dados de amostra para o hub de eventos. Demora alguns minutos para ver o painel Métricas atualizado.

  15. Você deve ver os registros inseridos no banco de dados SQL do Azure.

    Captura de tela que mostra o conteúdo da tabela de estoque no banco de dados.

Considerações ao usar o recurso de replicação geográfica dos Hubs de Eventos do Azure

Os Hubs de Eventos do Azure lançaram recentemente a versão prévia pública do recurso de replicação geográfica. Esse recurso é diferente do recurso de recuperação de desastres geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência de replicação é Assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos e uma saída, pode observar um atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre o primário e o secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como entrada, pode observar um atraso de marca d'água no trabalho durante a duração do failover e pode pular dados ou encontrar dados duplicados após a conclusão do failover.

Devido a essas limitações, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos do Azure. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos do Azure está em versão prévia pública, não recomendamos usar esse padrão para trabalhos de produção do Stream Analytics no momento. O comportamento atual do Stream Analytics será aprimorado antes da disponibilidade geral do recurso de replicação geográfica dos Hubs de Eventos para uso em trabalhos de produção do Stream Analytics.

Próximas etapas

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho criado.