Processamento de fluxo sem código no Azure Stream Analytics
O editor sem código permite que você desenvolva um trabalho do Stream Analytics sem esforço para processar seus dados de streaming em tempo real, usando a funcionalidade de arrastar e soltar, sem escrever uma única linha de código. A experiência fornece uma tela que permite que você se conecte a fontes de entrada para ver rapidamente seus dados de streaming. Então você pode transformá-lo antes de escrever para seus destinos.
Com o editor sem código, você pode facilmente:
- Modifique esquemas de entrada.
- Execute operações de preparação de dados, como junções e filtros.
- Aborde cenários avançados, como agregações de janela de tempo (tombamento, salto e janelas de sessão) para operações por grupo.
Depois de criar e executar seus trabalhos do Stream Analytics, você pode operacionalizar facilmente as cargas de trabalho de produção. Use o conjunto certo de métricas internas para fins de monitoramento e solução de problemas. Os trabalhos do Stream Analytics são cobrados de acordo com o modelo de preços quando são executados.
Pré-requisitos
Antes de desenvolver seus trabalhos do Stream Analytics usando o editor sem código, você deve atender a estes requisitos:
- As fontes de entrada de streaming e os recursos de destino de destino para o trabalho do Stream Analytics devem estar acessíveis publicamente e não podem estar em uma rede virtual do Azure.
- Você deve ter as permissões necessárias para acessar os recursos de entrada e saída de streaming.
- Você deve manter permissões para criar e modificar recursos do Azure Stream Analytics.
Nota
O editor sem código não está disponível na região China.
Tarefa do Azure Stream Analytics
Um trabalho do Stream Analytics é baseado em três componentes principais: entradas, transformações e saídas de streaming. Você pode ter quantos componentes quiser, incluindo várias entradas, ramificações paralelas com várias transformações e várias saídas. Para obter mais informações, consulte a documentação do Azure Stream Analytics.
Nota
As seguintes funcionalidades e tipos de saída não estão disponíveis ao usar o editor sem código:
- Funções definidas pelo usuário.
- Edição de consultas na folha de consulta do Azure Stream Analytics. No entanto, você pode exibir a consulta gerada pelo editor sem código na folha de consulta.
- Adição de entrada/saída nas folhas de entrada/saída do Azure Stream Analytics. No entanto, você pode visualizar a entrada/saída gerada pelo editor sem código na folha de entrada/saída.
- Os seguintes tipos de saída não estão disponíveis: Azure Function, ADLS Gen1, PostgreSQL DB, Service Bus queue/topic, Table storage.
Para acessar o editor sem código para criar seu trabalho de análise de fluxo, há duas abordagens:
Através do portal do Azure Stream Analytics (pré-visualização): crie um trabalho do Stream Analytics e, em seguida, selecione o editor sem código no separador Introdução na página Descrição geral ou selecione Editor sem código no painel esquerdo.
Através do portal dos Hubs de Eventos do Azure: abra uma instância dos Hubs de Eventos. Selecione Processar dados e, em seguida, selecione qualquer modelo predefinido.
Os modelos predefinidos podem ajudá-lo a desenvolver e executar um trabalho para abordar vários cenários, incluindo:
- Crie um painel em tempo real com o conjunto de dados do Power BI
- Capturar dados de Hubs de Eventos no formato Delta Lake (visualização)
- Filtrando e ingerindo no Azure Synapse SQL
- Capturando seus dados de Hubs de Eventos no formato Parquet no Azure Data Lake Storage Gen2
- Materializando dados no Azure Cosmos DB
- Filtrar e ingerir para o Azure Data Lake Storage Gen2
- Enriqueça dados e ingra para hub de eventos
- Transformar e armazenar dados no banco de dados SQL do Azure
- Filtrar e ingerir no Azure Data Explorer
A captura de tela a seguir mostra um trabalho concluído do Stream Analytics. Ele destaca todas as seções disponíveis para você como autor.
- Friso: No friso, as secções seguem a ordem de um processo de análise clássico: um hub de eventos como entrada (também conhecido como fonte de dados), transformações (operações de streaming Extrair, Transformar e Carregar), saídas, um botão para guardar o progresso e um botão para iniciar o trabalho.
- Visualização de diagrama: esta é uma representação gráfica do seu trabalho do Stream Analytics, desde a entrada até as operações e as saídas.
- Painel lateral: Dependendo do componente selecionado na exibição de diagrama, você verá configurações para modificar entrada, transformação ou saída.
- Guias para visualização de dados, erros de criação, logs de tempo de execução e métricas: para cada bloco, a visualização de dados mostra os resultados dessa etapa (ao vivo para entradas; sob demanda para transformações e saídas). Esta seção também resume quaisquer erros de criação ou avisos que você possa ter em seu trabalho quando ele estiver sendo desenvolvido. Selecionar cada erro ou aviso seleciona essa transformação. Ele também fornece as métricas de trabalho para você monitorar a integridade do trabalho em execução.
Entrada de dados de streaming
O editor no-code suporta a entrada de dados de streaming de três tipos de recursos:
- Hubs de Eventos do Azure
- Hub IoT do Azure
- Azure Data Lake Storage Gen2
Para obter mais informações sobre as entradas de dados de streaming, consulte Transmitir dados como entrada no Stream Analytics.
Nota
O editor sem código no portal de Hubs de Eventos do Azure só tem o Hub de Eventos como uma opção de entrada.
Hubs de Eventos do Azure como entrada de streaming
Os Hubs de Eventos do Azure são uma plataforma de streaming de big data e um serviço de ingestão de eventos. Pode receber e processar milhões de eventos por segundo. Os dados enviados para um hub de eventos podem ser transformados e armazenados por meio de qualquer provedor de análise em tempo real ou adaptador de lote/armazenamento.
Para configurar um hub de eventos como uma entrada para seu trabalho, selecione o ícone Hub de Eventos . Um bloco aparece na exibição de diagrama, incluindo um painel lateral para sua configuração e conexão.
Quando você estiver se conectando ao seu hub de eventos no editor sem código, recomendamos que você crie um novo grupo de consumidores (que é a opção padrão). Essa abordagem ajuda a evitar que o hub de eventos atinja o limite de leitores simultâneos. Para entender mais sobre grupos de consumidores e se você deve selecionar um grupo de consumidores existente ou criar um novo, consulte Grupos de consumidores.
Se o hub de eventos estiver na camada Básica, você poderá usar apenas o grupo de consumidores $Default existente. Se o hub de eventos estiver em uma camada Standard ou Premium, você poderá criar um novo grupo de consumidores.
Quando você estiver se conectando ao hub de eventos, se selecionar Identidade Gerenciada como o modo de autenticação, a função Proprietário de Dados dos Hubs de Eventos do Azure será concedida à identidade gerenciada para o trabalho do Stream Analytics. Para saber mais sobre identidades gerenciadas para um hub de eventos, consulte Usar identidades gerenciadas para acessar um hub de eventos a partir de um trabalho do Azure Stream Analytics.
As identidades gerenciadas eliminam as limitações dos métodos de autenticação baseados no usuário. Essas limitações incluem a necessidade de autenticar novamente devido a alterações de senha ou expirações de token de usuário que ocorrem a cada 90 dias.
Depois de configurar os detalhes do hub de eventos e selecionar Conectar, você pode adicionar campos manualmente usando + Adicionar campo se souber os nomes dos campos. Para detetar campos e tipos de dados automaticamente com base em uma amostra das mensagens recebidas, selecione Detetar campos automaticamente. Selecionar o símbolo de engrenagem permite editar as credenciais, se necessário.
Quando os trabalhos do Stream Analytics detetam os campos, você os vê na lista. Você também verá uma visualização ao vivo das mensagens recebidas na tabela Visualização de dados na exibição de diagrama.
Modificar dados de entrada
Você pode editar os nomes dos campos, remover campos, alterar o tipo de dados ou alterar a hora do evento (Marcar como hora do evento: cláusula TIMESTAMP BY se for um campo do tipo datetime), selecionando o símbolo de três pontos ao lado de cada campo. Você também pode expandir, selecionar e editar quaisquer campos aninhados das mensagens recebidas, conforme mostrado na imagem a seguir.
Gorjeta
Isso também se aplica aos dados de entrada do Hub IoT do Azure e do Azure Data Lake Storage Gen2.
Os tipos de dados disponíveis são:
- DateTime: Campo de data e hora em formato ISO.
- Float: Número decimal.
- Int: Número inteiro.
- Registro: objeto aninhado com vários registros.
- String: Texto.
Hub IoT do Azure como entrada de streaming
O Hub IoT do Azure é um serviço gerenciado hospedado na nuvem que atua como um hub de mensagens central para comunicação entre um aplicativo IoT e seus dispositivos conectados. Os dados de dispositivos IoT enviados para o hub IoT podem ser usados como entrada para um trabalho do Stream Analytics.
Nota
A entrada do Hub IoT do Azure está disponível no editor sem código no portal do Azure Stream Analytics.
Para adicionar um hub IoT como entrada de streaming para seu trabalho, selecione o Hub IoT em Entradas na faixa de opções. Em seguida, preencha as informações necessárias no painel direito para conectar o hub IoT ao seu trabalho. Para saber mais sobre os detalhes de cada campo, consulte Transmitir dados do Hub IoT para o trabalho do Stream Analytics.
Azure Data Lake Storage Gen2 como entrada de streaming
O Azure Data Lake Storage Gen2 (ADLS Gen2) é uma solução de data lake empresarial baseada na nuvem. Ele foi projetado para armazenar grandes quantidades de dados em qualquer formato e para facilitar cargas de trabalho analíticas de big data. Os dados armazenados no ADLS Gen2 podem ser processados como um fluxo de dados pelo Stream Analytics. Para saber mais sobre esse tipo de entrada, consulte Transmitir dados do trabalho do ADLS Gen2 para o Stream Analytics
Nota
A entrada do Azure Data Lake Storage Gen2 está disponível no editor sem código no portal do Azure Stream Analytics.
Para adicionar um ADLS Gen2 como entrada de streaming para seu trabalho, selecione o ADLS Gen2 em Entradas na faixa de opções. Em seguida, preencha as informações necessárias no painel direito para conectar o ADLS Gen2 ao seu trabalho. Para saber mais sobre os detalhes de cada campo, consulte Transmitir dados do trabalho do ADLS Gen2 para o Stream Analytics
Entradas de dados de referência
Os dados de referência são estáticos ou mudam lentamente ao longo do tempo. Normalmente é usado para enriquecer fluxos de entrada e fazer pesquisas em seu trabalho. Por exemplo, você pode unir a entrada de fluxo de dados aos dados de referência, da mesma forma que executaria uma junção SQL para pesquisar valores estáticos. Para obter mais informações sobre entradas de dados de referência, consulte Usar dados de referência para pesquisas no Stream Analytics.
O editor no-code agora suporta duas fontes de dados de referência:
- Armazenamento do Azure Data Lake Ger2
- Base de Dados SQL do Azure
Azure Data Lake Storage Gen2 como dados de referência
Os dados de referência são modelados como uma sequência de blobs em ordem crescente da combinação data/hora especificada no nome do blob. Você pode adicionar blobs ao final da sequência somente usando uma data/hora maior do que aquela que o último blob especificou na sequência. Os blobs são definidos na configuração de entrada.
Primeiro, na seção Entradas na faixa de opções, selecione Referência ADLS Gen2. Para ver detalhes sobre cada campo, consulte a seção sobre o Armazenamento de Blobs do Azure em Usar dados de referência para pesquisas no Stream Analytics.
Em seguida, carregue um arquivo de matriz JSON. Os campos no arquivo serão detetados. Use esses dados de referência para executar a transformação com dados de entrada de streaming de Hubs de Eventos.
Banco de Dados SQL do Azure como dados de referência
Você pode usar o Banco de Dados SQL do Azure como dados de referência para seu trabalho do Stream Analytics no editor sem código. Para obter mais informações, consulte a seção sobre o Banco de dados SQL em Usar dados de referência para pesquisas no Stream Analytics.
Para configurar o Banco de dados SQL como entrada de dados de referência, selecione Banco de dados SQL de referência na seção Entradas na faixa de opções. Em seguida, preencha as informações para conectar seu banco de dados de referência e selecione a tabela com as colunas necessárias. Você também pode buscar os dados de referência da tabela editando a consulta SQL manualmente.
Transformações
As transformações de dados de streaming são inerentemente diferentes das transformações de dados em lote. Quase todos os dados de streaming têm um componente de tempo, que afeta todas as tarefas de preparação de dados envolvidas.
Para adicionar uma transformação de dados de streaming ao seu trabalho, selecione o símbolo de transformação na seção Operações na faixa de opções dessa transformação. O respetivo bloco será descartado na visualização de diagrama. Depois de selecioná-lo, você verá o painel lateral dessa transformação para configurá-lo.
Filtro
Use a transformação Filter para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação manterá os valores que correspondem à condição selecionada.
Nota
Dentro de cada bloco, você verá informações sobre o que mais a transformação precisa estar pronta. Por exemplo, ao adicionar um novo bloco, você verá uma mensagem de Instalação necessária . Se estiver faltando um conector de nó, você verá uma mensagem de erro ou uma mensagem de aviso .
Gerir campos
A transformação Gerenciar campos permite adicionar, remover ou renomear campos provenientes de uma entrada ou outra transformação. As configurações no painel lateral oferecem a opção de adicionar um novo selecionando Adicionar campo ou adicionando todos os campos de uma só vez.
Você também pode adicionar um novo campo com as funções internas para agregar os dados do upstream. Atualmente, as funções incorporadas que suportamos são algumas funções em Funções de String, Funções de Data e Hora, Funções Matemáticas. Para saber mais sobre as definições dessas funções, consulte Funções internas (Azure Stream Analytics).
Gorjeta
Depois de configurar um mosaico, a vista de diagrama dá-lhe uma visão das definições dentro do mosaico. Por exemplo, na área Gerenciar campos da imagem anterior, você pode ver os três primeiros campos sendo gerenciados e os novos nomes atribuídos a eles. Cada bloco tem informações relevantes para ele.
Agregação
Você pode usar a transformação Agregar para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite filtrar ou fatiar a agregação com base em outras dimensões em seus dados. Você pode ter uma ou mais agregações na mesma transformação.
Para adicionar uma agregação, selecione o símbolo de transformação. Em seguida, conecte uma entrada, selecione a agregação, adicione qualquer filtro ou dimensão de fatia e selecione o período de tempo durante o qual a agregação será calculada. Neste exemplo, estamos calculando a soma do valor do pedágio pelo estado de onde o veículo está nos últimos 10 segundos.
Para adicionar outra agregação à mesma transformação, selecione Adicionar função de agregação. Lembre-se de que o filtro ou fatia será aplicado a todas as agregações na transformação.
Participar
Use a transformação Join para combinar eventos de duas entradas com base nos pares de campos selecionados. Se você não selecionar um par de campos, a associação será baseada no tempo por padrão. O padrão é o que torna essa transformação diferente de um lote.
Tal como acontece com as junções regulares, tem opções para a sua lógica de adesão:
- Junção interna: inclua apenas registros de ambas as tabelas em que o par corresponde. Neste exemplo, é aí que a placa corresponde às duas entradas.
- Junção externa esquerda: inclua todos os registros da tabela esquerda (primeira) e apenas os registros da segunda tabela que correspondam ao par de campos. Se não houver correspondência, os campos da segunda entrada ficarão em branco.
Para selecionar o tipo de associação, selecione o símbolo do tipo preferido no painel lateral.
Por fim, selecione durante o período em que deseja que a junção seja calculada. Neste exemplo, a junção examina os últimos 10 segundos. Lembre-se de que, quanto maior for o período, menos frequente será a saída e mais recursos de processamento você usará para a transformação.
Por padrão, todos os campos de ambas as tabelas são incluídos. Os prefixos esquerda (primeiro nó) e direita (segundo nó) na saída ajudam a diferenciar a origem.
Agrupar por
Use a transformação Agrupar por para calcular agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como a transformação Agregada, mas fornece mais opções para agregações. Também inclui opções mais complexas para janelas de tempo. Também como o Agregado, você pode adicionar mais de uma agregação por transformação.
As agregações disponíveis na transformação são:
- Média
- Contagem
- Máximo
- Mínimo
- Percentil (contínuo e discreto)
- Desvio padrão
- Sum
- Variância
Para configurar a transformação:
- Selecione a sua agregação preferida.
- Selecione o campo no qual deseja agregar.
- Selecione um campo opcional agrupar por se quiser obter o cálculo agregado sobre outra dimensão ou categoria. Por exemplo: Estado.
- Selecione sua função para janelas de tempo.
Para adicionar outra agregação à mesma transformação, selecione Adicionar função de agregação. Lembre-se de que a função Agrupar por campo e a função de janela serão aplicadas a todas as agregações na transformação.
Um carimbo de data/hora para o final da janela de tempo aparece como parte da saída de transformação para referência. Para obter mais informações sobre as janelas de tempo suportadas pelos trabalhos do Stream Analytics, consulte Funções de janela (Azure Stream Analytics).
União
Use a transformação União para conectar duas ou mais entradas para adicionar eventos que tenham campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não corresponderem serão descartados e não serão incluídos na saída.
Expandir matriz
Use a transformação Expandir matriz para criar uma nova linha para cada valor dentro de uma matriz.
Saídas de streaming
A experiência de arrastar e soltar sem código atualmente suporta vários coletores de saída para armazenar seus dados processados em tempo real.
Azure Data Lake Storage Gen2
O Data Lake Storage Gen2 torna o Armazenamento do Azure a base para a criação de data lakes corporativos no Azure. Ele foi projetado para atender a vários petabytes de informações enquanto sustenta centenas de gigabits de taxa de transferência. Ele permite que você gerencie facilmente grandes quantidades de dados. O Armazenamento de Blobs do Azure oferece uma solução econômica e escalável para armazenar grandes quantidades de dados não estruturados na nuvem.
Na seção Saídas na faixa de opções, selecione ADLS Gen2 como a saída para seu trabalho do Stream Analytics. Em seguida, selecione o contêiner para onde deseja enviar a saída do trabalho. Para obter mais informações sobre a saída do Azure Data Lake Gen2 para um trabalho do Stream Analytics, consulte Armazenamento de Blob e saída do Azure Data Lake Gen2 do Azure Stream Analytics.
Quando você estiver se conectando ao Azure Data Lake Storage Gen2, se selecionar Identidade Gerenciada como o modo de autenticação, a função de Colaborador de Dados de Blob de Armazenamento será concedida à identidade gerenciada para o trabalho do Stream Analytics. Para saber mais sobre identidades gerenciadas para o Azure Data Lake Storage Gen2, consulte Usar identidades gerenciadas para autenticar seu trabalho do Azure Stream Analytics no Armazenamento de Blobs do Azure.
As identidades gerenciadas eliminam as limitações dos métodos de autenticação baseados no usuário. Essas limitações incluem a necessidade de autenticar novamente devido a alterações de senha ou expirações de token de usuário que ocorrem a cada 90 dias.
Exatamente uma vez que a entrega (visualização) é suportada no ADLS Gen2 como nenhuma saída do editor de código. Você pode ativá-lo na seção Modo de gravação na configuração do ADLS Gen2. Para obter mais informações sobre esse recurso, consulte Exatamente uma entrega (visualização) no Azure Data Lake Gen2
A gravação na tabela Delta Lake (visualização) é suportada no ADLS Gen2 como nenhuma saída do editor de código. Você pode acessar essa opção na seção Serialização na configuração do ADLS Gen2. Para obter mais informações sobre esse recurso, consulte Gravar na tabela Delta Lake.
Azure Synapse Analytics
Os trabalhos do Azure Stream Analytics podem enviar saída para uma tabela de pool SQL dedicada no Azure Synapse Analytics e podem processar taxas de transferência de até 200 MB por segundo. O Stream Analytics suporta as necessidades mais exigentes de análise em tempo real e processamento de dados de caminho ativo para cargas de trabalho, como relatórios e painéis.
Importante
A tabela de pool SQL dedicada deve existir antes que você possa adicioná-la como saída ao seu trabalho do Stream Analytics. O esquema da tabela deve corresponder aos campos e seus tipos na saída do trabalho.
Na seção Saídas na faixa de opções, selecione Sinapse como a saída para seu trabalho do Stream Analytics. Em seguida, selecione a tabela de pool SQL para onde você deseja enviar a saída do trabalho. Para obter mais informações sobre a saída do Azure Synapse para um trabalho do Stream Analytics, consulte Saída do Azure Synapse Analytics do Azure Stream Analytics.
Azure Cosmos DB
O Azure Cosmos DB é um serviço de banco de dados distribuído globalmente que oferece escala elástica ilimitada em todo o mundo. Ele também oferece consultas avançadas e indexação automática em modelos de dados independentes de esquema.
Na seção Saídas na faixa de opções, selecione CosmosDB como a saída para seu trabalho do Stream Analytics. Para obter mais informações sobre a saída do Azure Cosmos DB para um trabalho do Stream Analytics, consulte Saída do Azure Cosmos DB do Azure Stream Analytics.
Quando você estiver se conectando ao Azure Cosmos DB, se selecionar Identidade Gerenciada como o modo de autenticação, a função de Colaborador será concedida à identidade gerenciada para o trabalho do Stream Analytics. Para saber mais sobre identidades gerenciadas para o Azure Cosmos DB, consulte Usar identidades gerenciadas para acessar o Azure Cosmos DB a partir de um trabalho do Azure Stream Analytics (visualização).
O método de autenticação de identidades gerenciadas também é suportado na saída do Azure Cosmos DB no editor sem código, que tem o mesmo benefício que na saída ADLS Gen2 acima.
Base de Dados SQL do Azure
O Banco de Dados SQL do Azure é um mecanismo de banco de dados de plataforma como serviço (PaaS) totalmente gerenciado que pode ajudá-lo a criar uma camada de armazenamento de dados altamente disponível e de alto desempenho para os aplicativos e soluções no Azure. Usando o editor sem código, você pode configurar trabalhos do Azure Stream Analytics para gravar os dados processados em uma tabela existente no Banco de Dados SQL.
Para configurar o Banco de Dados SQL do Azure como saída, selecione Banco de Dados SQL na seção Saídas na faixa de opções. Em seguida, preencha as informações necessárias para conectar seu banco de dados SQL e selecione a tabela na qual deseja gravar dados.
Importante
A tabela do Banco de Dados SQL do Azure deve existir antes que você possa adicioná-la como saída ao seu trabalho do Stream Analytics. O esquema da tabela deve corresponder aos campos e seus tipos na saída do trabalho.
Para obter mais informações sobre a saída do Banco de Dados SQL do Azure para um trabalho do Stream Analytics, consulte Saída do Banco de Dados SQL do Azure do Azure Stream Analytics.
Hubs de Eventos
Com os dados em tempo real chegando ao ASA, o editor sem código pode transformar, enriquecer os dados e, em seguida, enviar os dados para outro hub de eventos também. Você pode escolher a saída dos Hubs de Eventos ao configurar seu trabalho do Azure Stream Analytics.
Para configurar Hubs de Eventos como saída, selecione Hub de Eventos na seção Saídas na faixa de opções. Em seguida, preencha as informações necessárias para conectar seu hub de eventos no qual você deseja gravar dados.
Para obter mais informações sobre a saída de Hubs de Eventos para um trabalho do Stream Analytics, consulte Saída de Hubs de Eventos do Azure Stream Analytics.
Azure Data Explorer
O Azure Data Explorer é uma plataforma de análise de big data totalmente gerenciada e de alto desempenho que facilita a análise de grandes volumes de dados. Você pode usar o Azure Data Explorer como uma saída para seu trabalho do Azure Stream Analytics usando o editor no-code também.
Para configurar o Azure Data Explorer como saída, selecione Azure Data Explorer na seção Saídas na faixa de opções. Em seguida, preencha as informações necessárias para conectar seu banco de dados do Azure Data Explorer e especifique a tabela na qual você deseja gravar dados.
Importante
A tabela deve existir no banco de dados selecionado e o esquema da tabela deve corresponder exatamente aos campos e seus tipos na saída do trabalho.
Para obter mais informações sobre a saída do Azure Data Explorer para um trabalho do Stream Analytics, consulte Saída do Azure Data Explorer do Azure Stream Analytics (Visualização).
Power BI
O Power BI oferece uma experiência de visualização abrangente para o resultado da análise de dados. Com a saída do Power BI para o Stream Analytics, os dados de streaming processados são gravados no conjunto de dados de streaming do Power BI e, em seguida, podem ser usados para criar o painel do Power BI quase em tempo real. Para saber mais sobre como criar o painel quase em tempo real, consulte Criar painel em tempo real com o conjunto de dados do Power BI produzido a partir do Stream Analytics sem editor de código.
Para configurar o Power BI como saída, selecione Power BI na seção Saídas na faixa de opções. Em seguida, preencha as informações necessárias para conectar seu espaço de trabalho do Power BI e forneça os nomes para o conjunto de dados de streaming e a tabela na qual você deseja gravar os dados. Para saber mais sobre os detalhes de cada campo, consulte Saída do Power BI do Azure Stream Analytics.
Visualização de dados, erros de criação, logs de tempo de execução e métricas
A experiência de arrastar e soltar sem código fornece ferramentas para ajudá-lo a criar, solucionar problemas e avaliar o desempenho do seu pipeline de análise para streaming de dados.
Visualização de dados em tempo real para entradas
Quando você estiver se conectando a uma fonte de entrada, por exemplo: hub de eventos e selecionando seu bloco na exibição de diagrama (a guia Visualização de Dados ), você obterá uma visualização ao vivo dos dados recebidos se todos os itens a seguir forem verdadeiros:
- Os dados estão sendo enviados.
- A entrada está configurada corretamente.
- Foram adicionados campos.
Como mostrado na captura de tela a seguir, se você quiser ver ou detalhar algo específico, você pode pausar a visualização (1). Ou você pode iniciá-lo novamente se terminar.
Também pode ver os detalhes de um registo específico, uma célula na tabela, selecionando-a e, em seguida, selecionando Mostrar/Ocultar detalhes (2). A captura de tela mostra a exibição detalhada de um objeto aninhado em um registro.
Pré-visualização estática para transformações e saídas
Depois de adicionar e configurar quaisquer etapas na exibição de diagrama, você pode testar seu comportamento selecionando Obter visualização estática.
Depois disso, o trabalho do Stream Analytics avalia todas as transformações e saídas para garantir que elas estejam configuradas corretamente. Em seguida, o Stream Analytics exibe os resultados na visualização de dados estáticos, conforme mostrado na imagem a seguir.
Você pode atualizar a visualização selecionando Atualizar visualização estática (1). Quando você atualiza a visualização, o trabalho do Stream Analytics obtém novos dados da entrada e avalia todas as transformações. Em seguida, ele envia a saída novamente com quaisquer atualizações que você possa ter executado. A opção Mostrar/Ocultar detalhes também está disponível (2).
Erros de criação
Se você tiver erros de criação ou avisos, a guia Erros de criação os listará, conforme mostrado na captura de tela a seguir. A lista inclui detalhes sobre o erro ou aviso, o tipo de cartão (entrada, transformação ou saída), o nível de erro e uma descrição do erro ou aviso.
Logs de tempo de execução
Os logs de tempo de execução aparecem no nível de aviso, erro ou informação quando um trabalho está em execução. Esses logs são úteis quando você deseja editar a topologia ou a configuração do trabalho do Stream Analytics para solução de problemas. É altamente recomendável que você ative os logs de diagnóstico e os envie para o espaço de trabalho do Log Analytics em Configurações para ter mais informações sobre seus trabalhos em execução para depuração.
No exemplo de captura de tela a seguir, o usuário configurou a saída do Banco de dados SQL com um esquema de tabela que não corresponde aos campos da saída do trabalho.
Métricas
Se o trabalho estiver em execução, você poderá monitorar a integridade do trabalho na guia Métricas . As quatro métricas mostradas por padrão são Atraso de marca d'água, Eventos de entrada, Eventos de entrada em lista de pendências e Eventos de saída. Você pode usar essas métricas para entender se os eventos estão entrando e saindo do trabalho sem qualquer lista de pendências de entrada.
Você pode selecionar mais métricas na lista. Para entender todas as métricas em detalhes, consulte Métricas de trabalho do Azure Stream Analytics.
Iniciar uma tarefa do Stream Analytics
Você pode salvar o trabalho a qualquer momento ao criá-lo. Depois de configurar as entradas, transformações e saídas de streaming para o trabalho, você pode iniciá-lo.
Nota
Embora o editor sem código no portal do Azure Stream Analytics esteja em visualização, o serviço Azure Stream Analytics está disponível em geral.
Você pode configurar estas opções:
- Hora de início da saída: Ao iniciar um trabalho, você seleciona um horário para o trabalho começar a criar saída.
- Agora: essa opção faz com que o ponto inicial do fluxo de eventos de saída seja o mesmo de quando o trabalho é iniciado.
- Personalizado: Você pode escolher o ponto de partida da saída.
- Quando interrompido pela última vez: esta opção está disponível quando o trabalho foi iniciado anteriormente, mas foi interrompido manualmente ou falhou. Quando você escolhe essa opção, o último tempo de saída será usado para reiniciar o trabalho, portanto, nenhum dado é perdido.
- Unidades de streaming: as unidades de streaming (SUs) representam a quantidade de computação e memória atribuída ao trabalho enquanto ele está em execução. Se não tiver a certeza de quantos SUs escolher, recomendamos que comece com três e ajuste conforme necessário.
- Tratamento de erros de dados de saída: as políticas para tratamento de erros de dados de saída aplicam-se somente quando o evento de saída produzido por um trabalho do Stream Analytics não está em conformidade com o esquema do coletor de destino. Você pode configurar a política escolhendo Repetir ou Soltar. Para obter mais informações, consulte Política de erro de saída do Azure Stream Analytics.
- Iniciar: este botão inicia o trabalho do Stream Analytics.
Lista de tarefas do Stream Analytics no portal dos Hubs de Eventos do Azure
Para ver uma lista de todos os trabalhos do Stream Analytics que você criou usando a experiência de arrastar e soltar sem código no portal dos Hubs de Eventos do Azure, selecione Processar trabalhos> do Stream Analytics.
Estes são os elementos da guia de trabalhos do Stream Analytics:
- Filtrar: Você pode filtrar a lista pelo nome do trabalho.
- Atualizar: atualmente, a lista não se atualiza automaticamente. Use o botão Atualizar para atualizar a lista e ver o status mais recente.
- Nome do trabalho: O nome nesta área é o que você forneceu na primeira etapa da criação de emprego. Não é possível editá-lo. Selecione o nome do trabalho para abri-lo na experiência de arrastar e soltar sem código, onde você pode parar o trabalho, editá-lo e iniciá-lo novamente.
- Status: Esta área mostra o status do trabalho. Selecione Atualizar na parte superior da lista para ver o status mais recente.
- Unidades de streaming: esta área mostra o número de unidades de streaming que você selecionou quando iniciou o trabalho.
- Marca d'água de saída: Esta área fornece um indicador de vivacidade para os dados que o trabalho produziu. Todos os eventos anteriores ao carimbo de data/hora já foram computados.
- Monitoramento de trabalho: selecione Abrir métricas para ver as métricas relacionadas a esse trabalho do Stream Analytics. Para obter mais informações sobre as métricas que você pode usar para monitorar seu trabalho do Stream Analytics, consulte Métricas de trabalho do Azure Stream Analytics.
- Operações: Iniciar, parar ou excluir o trabalho.
Próximos passos
Saiba como usar o editor sem código para abordar cenários comuns usando modelos predefinidos: