Fluxos de dados de streaming (visualização)

As organizações querem trabalhar com dados à medida que eles chegam, não dias ou semanas depois. A visão do Power BI é simples: as distinções entre lote, tempo real e streaming devem desaparecer. Os usuários devem ser capazes de trabalhar com todos os dados assim que estiverem disponíveis. Os analistas geralmente precisam de ajuda técnica para lidar com fontes de dados de streaming, preparação de dados, operações complexas baseadas em tempo e visualização de dados em tempo real. Os departamentos de TI geralmente dependem de sistemas personalizados e de uma combinação de tecnologias de vários fornecedores para realizar análises oportunas dos dados. Sem essa complexidade, eles não podem fornecer informações aos tomadores de decisão quase em tempo real.

Os fluxos de dados de streaming permitem que os autores se conectem, ingestão, combinem, modelem e criem relatórios com base no streaming em dados quase em tempo real diretamente no serviço do Power BI. O serviço permite experiências de arrastar e soltar sem código. Você pode misturar e combinar dados de streaming com dados em lote, se necessário, por meio de uma interface do usuário (UI) que inclua uma exibição de diagrama para facilitar o mashup de dados. O item final produzido é um fluxo de dados, que pode ser consumido em tempo real para criar relatórios altamente interativos e quase em tempo real. Todos os recursos de visualização de dados no Power BI funcionam com dados de streaming, assim como funcionam com dados em lote.

Importante

Os fluxos de dados de streaming foram desativados e não estão mais disponíveis. O Azure Stream Analytics mesclou a funcionalidade de fluxos de dados de streaming. Para obter mais informações sobre a desativação de fluxos de dados de streaming, consulte o anúncio de aposentadoria. Os usuários podem executar operações de preparação de dados, como junções e filtros. Eles também podem executar agregações de janela de tempo (como janelas de tombamento, salto e sessão) para operações por grupo. O streaming de fluxos de dados no Power BI capacita as organizações a:

• Tome decisões confiantes quase em tempo real. As organizações podem ser mais ágeis e tomar ações significativas com base nos insights mais atualizados.
• Democratizar o streaming de dados. As organizações podem tornar os dados mais acessíveis e fáceis de interpretar com uma solução sem código, e essa acessibilidade reduz os recursos de TI.
• Acelere o tempo de obtenção de informações usando uma solução completa de análise de streaming com armazenamento de dados integrado e business intelligence.

Os fluxos de dados de streaming suportam DirectQuery e deteção automática de atualização/alteração de página. Esse suporte permite que os usuários criem relatórios que são atualizados quase em tempo real, até a cada segundo, usando qualquer visual disponível no Power BI.

Requisitos

Antes de criar seu primeiro fluxo de dados de streaming, verifique se você atende a todos os seguintes requisitos:

• Para criar e executar um fluxo de dados de streaming, você precisa de um espaço de trabalho que faça parte de uma licença de capacidade Premium ou PPU (Premium por usuário).

  Importante

  Se você estiver usando uma licença PPU e quiser que outros usuários consumam relatórios criados com fluxos de dados de streaming que são atualizados em tempo real, eles também precisarão de uma licença PPU. Eles podem consumir os relatórios com a mesma frequência de atualização que você configurou, se essa atualização for mais rápida do que a cada 30 minutos.

• Habilite fluxos de dados para seu locatário. Para obter mais informações, consulte Habilitando fluxos de dados no Power BI Premium.

• Para garantir que os fluxos de dados de streaming funcionem em sua capacidade Premium, o mecanismo de computação aprimorado precisa ser ativado. O mecanismo é ativado por padrão, mas os administradores de capacidade do Power BI podem desativá-lo. Em caso afirmativo, entre em contato com o administrador para ativá-lo.

  O mecanismo de computação aprimorado está disponível apenas em Premium P ou Embedded A3 e em capacidades maiores. Para usar fluxos de dados de streaming, você precisa de PPU, uma capacidade Premium P de qualquer tamanho ou uma capacidade A3 incorporada ou maior. Para obter mais informações sobre SKUs Premium e suas especificações, consulte Capacidade e SKUs na análise incorporada do Power BI.

• Para criar relatórios atualizados em tempo real, certifique-se de que o administrador (capacidade ou Power BI para PPU) ativou a atualização automática de página. Certifique-se também de que o administrador permitiu um intervalo mínimo de atualização que corresponda às suas necessidades. Para obter mais informações, consulte Atualização automática de página no Power BI.

Criar um fluxo de dados de streaming

Um fluxo de dados de streaming, como seu parente de fluxo de dados, é uma coleção de entidades (tabelas) criadas e gerenciadas em espaços de trabalho no serviço do Power BI. Uma tabela é um conjunto de campos que são usados para armazenar dados, muito parecido com uma tabela dentro de um banco de dados.

Você pode adicionar e editar tabelas em seu fluxo de dados de streaming diretamente do espaço de trabalho no qual seu fluxo de dados foi criado. A principal diferença com fluxos de dados regulares é que você não precisa se preocupar com atualizações ou frequência. Devido à natureza dos dados de streaming, há um fluxo contínuo chegando. A atualização é constante ou infinita, a menos que você a pare.

Nota

Você pode ter apenas um tipo de fluxo de dados por espaço de trabalho. Se você já tiver um fluxo de dados regular em seu espaço de trabalho Premium, não poderá criar um fluxo de dados de streaming (e vice-versa).

Para criar um fluxo de dados de streaming:

1. Abra o serviço do Power BI em um navegador e selecione um espaço de trabalho habilitado para Premium. (Fluxos de dados de streaming, como fluxos de dados regulares, não estão disponíveis em Meu espaço de trabalho.)

2. Selecione o menu suspenso Novo e, em seguida, escolha Fluxo de dados de streaming.

   

3. No painel lateral que se abre, você deve nomear seu fluxo de dados de streaming. Introduza um nome na caixa Nome (1) e, em seguida, selecione Criar (2).

   

   A exibição de diagrama vazia para fluxos de dados de streaming é exibida.

A captura de tela a seguir mostra um fluxo de dados concluído. Ele destaca todas as seções disponíveis para criação na interface do usuário do fluxo de dados de streaming.

1. Faixa de opções: na faixa de opções, as seções seguem a ordem de um processo de análise "clássico": entradas (também conhecidas como fontes de dados), transformações (streaming de operações ETL), saídas e um botão para salvar seu progresso.

2. Visualização de diagrama: esta exibição é uma representação gráfica do seu fluxo de dados, de entradas a operações e saídas.

3. Painel lateral: Dependendo do componente selecionado na exibição de diagrama, você tem configurações para modificar cada entrada, transformação ou saída.

4. Guias para visualização de dados, erros de criação e erros de tempo de execução: para cada cartão mostrado, a visualização de dados mostra os resultados dessa etapa (ao vivo para entradas e sob demanda para transformações e saídas).

   Esta seção também resume quaisquer erros de criação ou avisos que você possa ter em seus fluxos de dados. Selecionar cada erro ou aviso seleciona essa transformação. Além disso, você tem acesso a erros de tempo de execução após a execução do fluxo de dados, como mensagens descartadas.

   Você sempre pode minimizar essa seção de fluxos de dados de streaming selecionando a seta no canto superior direito.

Um fluxo de dados de streaming é construído em três componentes principais: entradas, transformações e saídas de streaming. Você pode ter quantos componentes quiser, incluindo várias entradas, ramificações paralelas com várias transformações e várias saídas.

Adicionar uma entrada de streaming

Para adicionar uma entrada de streaming, selecione o ícone na faixa de opções e forneça as informações necessárias no painel lateral para configurá-la. A partir de julho de 2021, a visualização dos fluxos de dados de streaming dá suporte aos Hubs de Eventos do Azure e ao Hub IoT do Azure como entradas.

Os Hubs de Eventos do Azure e os serviços do Hub IoT do Azure são criados em uma arquitetura comum para facilitar a ingestão e o consumo rápidos e escaláveis de eventos. O Hub IoT, em particular, é adaptado como um hub de mensagens central para comunicações em ambas as direções entre um aplicativo IoT e seus dispositivos conectados.

Hubs de Eventos do Azure

Os Hubs de Eventos do Azure são uma plataforma de streaming de big data e um serviço de ingestão de eventos. Pode receber e processar milhões de eventos por segundo. Os dados enviados para um hub de eventos podem ser transformados e armazenados usando qualquer provedor de análise em tempo real ou você pode usar adaptadores de lote ou armazenamento.

Para configurar um hub de eventos como uma entrada para fluxos de dados de streaming, selecione o ícone Hub de Eventos . Um cartão aparece na vista de diagrama, incluindo um painel lateral para a sua configuração.

Você tem a opção de colar a cadeia de conexão dos Hubs de Eventos. Os fluxos de dados de streaming preenchem todas as informações necessárias, incluindo o grupo de consumidores opcional (que, por padrão, é $Default). Se quiser inserir todos os campos manualmente, você pode ativar a alternância de entrada manual para mostrá-los. Para saber mais, consulte Obter uma cadeia de conexão de Hubs de Eventos.

Depois de configurar as credenciais dos Hubs de Eventos e selecionar Conectar, você pode adicionar campos manualmente usando + Adicionar campo se souber os nomes dos campos. Como alternativa, você pode detetar campos e tipos de dados automaticamente com base em uma amostra das mensagens recebidas, selecione Detetar campos automaticamente. Selecionar o ícone de engrenagem permite editar as credenciais, se necessário.

Quando os fluxos de dados de streaming detetam os campos, você pode vê-los na lista. Há também uma visualização ao vivo das mensagens recebidas na tabela Visualização de dados na exibição de diagrama.

Pode sempre editar os nomes dos campos, ou remover ou alterar o tipo de dados, selecionando mais opções (...) junto a cada campo. Você também pode expandir, selecionar e editar quaisquer campos aninhados das mensagens recebidas, conforme mostrado na imagem a seguir.

Hub IoT do Azure

O Hub IoT é um serviço gerenciado hospedado na nuvem. Ele atua como um hub de mensagens central para comunicações em ambas as direções entre um aplicativo IoT e seus dispositivos conectados. Você pode conectar milhões de dispositivos e suas soluções de back-end de forma confiável e segura. Quase qualquer dispositivo pode ser conectado a um hub IoT.

A configuração do Hub IoT é semelhante à configuração dos Hubs de Eventos devido à sua arquitetura comum. Mas há algumas diferenças, incluindo onde encontrar a cadeia de conexão compatível com Hubs de Eventos para o ponto de extremidade interno. Para saber mais, consulte Ler mensagens do dispositivo para a nuvem a partir do ponto de extremidade integrado.

Depois de colar a cadeia de conexão para o ponto de extremidade interno, todas as funcionalidades para selecionar, adicionar, detetar automaticamente e editar campos provenientes do Hub IoT são as mesmas que nos Hubs de Eventos. Você também pode editar as credenciais selecionando o ícone de engrenagem.

Gorjeta

Se você tiver acesso aos Hubs de Eventos ou ao Hub IoT no portal do Azure da sua organização e quiser usá-lo como uma entrada para seu fluxo de dados de streaming, poderá encontrar as cadeias de conexão nos seguintes locais:

Para Hubs de Eventos:

1. Na seção Análise, selecione Todos os Hubs de Eventos de Serviços>.
2. Selecione Entidades de Namespace>de Hubs de Eventos/Hubs de Eventos e selecione o nome do hub de eventos.
3. Na lista Políticas de Acesso Compartilhado, selecione uma política.
4. Selecione Copiar para área de transferência ao lado do campo Cadeia de conexão-chave primária.

Para o Hub IoT:

1. Na seção Internet das Coisas, selecione Todos os Hubs IoT de Serviços>.
2. Selecione o hub IoT ao qual você deseja se conectar e, em seguida, selecione Pontos de extremidade internos.
3. Selecione Copiar para área de transferência ao lado do ponto de extremidade compatível com Hubs de Eventos.

Ao usar dados de fluxo de Hubs de Eventos ou Hub IoT, você tem acesso aos seguintes campos de tempo de metadados em seu fluxo de dados de streaming:

• EventProcessedUtcTime: A data e a hora em que o evento foi processado.
• EventEnqueuedUtcTime: A data e a hora em que o evento foi recebido.

Nenhum desses campos aparece na visualização de entrada. Você precisa adicioná-los manualmente.

Armazenamento de Blobs

O Armazenamento de blobs do Azure é a solução de armazenamento de objetos da Microsoft para a cloud. O armazenamento de blobs está otimizado para armazenar quantidades em grande escala de dados não estruturados. Os dados não estruturados são dados que não seguem uma definição ou um modelo de dados particular, como texto ou dados binários.

Você pode usar os Blobs do Azure como uma entrada de streaming ou de referência. Os blobs de streaming são verificados a cada segundo em busca de atualizações. Ao contrário de um blob de streaming, um blob de referência só é carregado no início da atualização. São dados estáticos que não devem ser alterados e o limite recomendado para dados estáticos é de 50 MB ou menos.

O Power BI espera que os blobs de referência sejam usados ao lado de fontes de streaming, por exemplo, por meio de um JOIN. Portanto, um fluxo de dados de streaming com um blob de referência também deve ter uma fonte de streaming.

A configuração dos Blobs do Azure é ligeiramente diferente da de um nó de Hubs de Eventos do Azure. Para localizar sua cadeia de conexão de Blob do Azure, consulte Exibir chaves de acesso à conta.

Depois de inserir a cadeia de conexão Blob, você precisa fornecer o nome do contêiner. Você também precisa inserir o padrão de caminho dentro do diretório para acessar os arquivos que deseja definir como a fonte para seu fluxo de dados.

Para blobs de streaming, espera-se que o padrão de caminho de diretório seja um valor dinâmico. A data é necessária para fazer parte do caminho do arquivo para o blob – referenciado como {date}. Além disso, um asterisco (*) no padrão de caminho, como {date}/{time}/*.json, não é suportado.

Por exemplo, se você tiver um blob chamado ExampleContainer que está armazenando arquivos .json aninhados dentro, onde o primeiro nível é a data de criação e o segundo nível é a hora da criação (aaaa-mm-dd/hh), sua entrada de contêiner seria "ExampleContainer". O padrão de caminho do diretório seria "{date}/{time}", onde você poderia modificar o padrão de data e hora.

Depois que seu blob estiver conectado ao ponto de extremidade, todas as funcionalidades para selecionar, adicionar, detetar automaticamente e editar campos provenientes do Blob do Azure serão as mesmas que nos Hubs de Eventos. Você também pode editar as credenciais selecionando o ícone de engrenagem.

Muitas vezes, ao trabalhar com dados em tempo real, os dados são condensados e os identificadores são usados para representar o objeto. Um possível caso de uso para blobs também pode ser como dados de referência para suas fontes de streaming. Os dados de referência permitem que você junte dados estáticos a dados de streaming para enriquecer seus fluxos para análise. Um exemplo rápido de quando esse recurso seria útil seria se você estivesse instalando sensores em diferentes lojas de departamento para medir quantas pessoas estão entrando na loja em um determinado momento. Normalmente, o ID do sensor precisa ser unido em uma mesa estática para indicar em qual loja de departamentos e em qual local o sensor está localizado. Agora, com os dados de referência, é possível juntar esses dados durante a fase de ingestão para facilitar a visualização de qual loja tem a maior saída de usuários.

Nota

Um trabalho de Fluxos de Dados de Streaming extrai dados do armazenamento de Blob do Azure ou da entrada ADLS Gen2 a cada segundo se o arquivo de blob estiver disponível. Se o arquivo blob não estiver disponível, há um backoff exponencial com um atraso máximo de 90 segundos.

Tipos de dados

Os tipos de dados disponíveis para campos de fluxos de dados de streaming incluem:

• DateTime: campo de data e hora em formato ISO
• Float: Número decimal
• Int: Número inteiro
• Registro: objeto aninhado com vários registros
• String: Texto

Importante

Os tipos de dados selecionados para uma entrada de streaming têm implicações importantes a jusante para o seu fluxo de dados de streaming. Selecione o tipo de dados o mais cedo possível em seu fluxo de dados para evitar ter que pará-lo mais tarde para edições.

Adicionar uma transformação de dados de streaming

As transformações de dados de streaming são inerentemente diferentes das transformações de dados em lote. Quase todos os dados de streaming têm um componente de tempo que afeta todas as tarefas de preparação de dados envolvidas.

Para adicionar uma transformação de dados de streaming ao seu fluxo de dados, selecione o ícone de transformação na faixa de opções dessa transformação. O respetivo cartão aparece na vista de diagrama. Depois de selecioná-lo, você verá o painel lateral dessa transformação para configurá-lo.

A partir de julho de 2021, os fluxos de dados de streaming suportam as seguintes transformações de streaming.

Filtro

Use a transformação Filter para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação mantém os valores que correspondem à condição selecionada.

Nota

Dentro de cada cartão, você verá informações sobre o que mais é necessário para que a transformação esteja pronta. Por exemplo, ao adicionar um novo cartão, você verá uma mensagem "Configuração necessária". Se estiver faltando um conector de nó, você verá uma mensagem de "Erro" ou "Aviso".

Gerir campos

A transformação Gerenciar campos permite adicionar, remover ou renomear campos provenientes de uma entrada ou outra transformação. As configurações no painel lateral oferecem a opção de adicionar um novo selecionando Adicionar campo ou adicionando todos os campos de uma só vez.

Gorjeta

Depois de configurar um cartão, a vista de diagrama dá-lhe uma visão das definições dentro do próprio cartão. Por exemplo, na área Gerenciar campos da imagem anterior, você pode ver os três primeiros campos sendo gerenciados e os novos nomes atribuídos a eles. Cada cartão tem informações relevantes para ele.

Agregação

Você pode usar a transformação Agregar para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite filtrar ou fatiar a agregação com base em outras dimensões em seus dados. Você pode ter uma ou mais agregações na mesma transformação.

Para adicionar uma agregação, selecione o ícone de transformação. Em seguida, conecte uma entrada, selecione a agregação, adicione qualquer filtro ou dimensão de fatia e escolha o período de tempo em que deseja calcular a agregação. Este exemplo calcula a soma do valor do pedágio pelo estado de origem do veículo nos últimos 10 segundos.

Para adicionar outra agregação à mesma transformação, selecione Adicionar função de agregação. Lembre-se de que o filtro ou fatia se aplica a todas as agregações na transformação.

Participar

Use a transformação Join para combinar eventos de duas entradas com base nos pares de campos selecionados. Se você não selecionar um par de campos, a associação será baseada no tempo por padrão. O padrão é o que torna essa transformação diferente de um lote.

Tal como acontece com as junções regulares, tem diferentes opções para a sua lógica de adesão:

• Junção interna: inclua apenas registros de ambas as tabelas em que o par corresponde. Neste exemplo, é aí que a placa corresponde às duas entradas.
• Junção externa esquerda: inclua todos os registros da tabela esquerda (primeira) e apenas os registros da segunda tabela que correspondam ao par de campos. Se não houver correspondência, os campos da segunda entrada serão colocados em branco.

Para selecionar o tipo de associação, selecione o ícone para o tipo preferido no painel lateral.

Por fim, selecione durante o período de tempo em que deseja que a junção seja calculada. Neste exemplo, a junção examina os últimos 10 segundos. Lembre-se de que, quanto maior for o período, menos frequente será a saída e mais recursos de processamento você usará para a transformação.

Por padrão, todos os campos de ambas as tabelas são incluídos. Os prefixos esquerda (primeiro nó) e direita (segundo nó) na saída ajudam a diferenciar a origem.

Agrupar por

Use a transformação Agrupar por para calcular agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É semelhante à transformação Agregada, mas fornece mais opções para agregações. Também inclui opções de janela de tempo mais complexas. Também semelhante ao Aggregate, você pode adicionar mais de uma agregação por transformação.

As agregações disponíveis nesta transformação são: Média, Contagem, Máximo, Mínimo, Percentil (contínuo e discreto), Desvio Padrão, Soma e Variância.

Para configurar essa transformação:

1. Selecione a sua agregação preferida.
2. Escolha o campo no qual deseja agregar.
3. Selecione um campo opcional agrupar por se quiser obter o cálculo agregado sobre outra dimensão ou categoria (por exemplo, Estado).
4. Escolha a sua função para janelas de tempo.

Para adicionar outra agregação à mesma transformação, selecione Adicionar função de agregação. Lembre-se de que a função Agrupar por campo e a função de janela se aplicam a todas as agregações na transformação.

Um carimbo de data/hora para o final da janela de tempo é fornecido como parte da saída de transformação para referência.

Uma seção mais adiante neste artigo explica cada tipo de janela de tempo disponível para essa transformação.

União

Use a transformação União para conectar duas ou mais entradas para adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não correspondem são descartados e não são incluídos na saída.

Configurar funções de janela de tempo

As janelas de tempo são um dos conceitos mais complexos no streaming de dados. Este conceito está no centro da análise de streaming.

Com fluxos de dados de streaming, você pode configurar janelas de tempo quando estiver agregando dados como uma opção para o Grupo por transformação.

Nota

Tenha em mente que todos os resultados de saída para operações de janela são calculados no final da janela de tempo. A saída da janela será um único evento baseado na função agregada. Este evento terá o carimbo de data/hora do final da janela, e todas as funções da janela são definidas com um comprimento fixo.

Há cinco tipos de janelas de tempo para escolher: tombamento, salto, deslizamento, sessão e instantâneo.

Janela de tombo

O tombo é o tipo mais comum de janela de tempo. As principais características das janelas de tombamento são que elas se repetem, têm a mesma duração de tempo e não se sobrepõem. Um evento não pode pertencer a mais de uma janela de tombo.

Ao configurar uma janela de tombo em fluxos de dados de streaming, você precisa fornecer a duração da janela (igual para todas as janelas, neste caso). Você também pode fornecer um deslocamento opcional. Por padrão, as janelas de tombamento incluem o final da janela e excluem o início. Você pode usar esse parâmetro para alterar esse comportamento e incluir os eventos no início da janela e excluir os eventos no final.

Janela de salto

As janelas de salto "saltam" para a frente no tempo por um período fixo. Você pode pensar neles como janelas que podem se sobrepor e ser emitidas com mais frequência do que o tamanho da janela. Os eventos podem pertencer a mais de um conjunto de resultados para uma janela de salto. Para tornar uma janela de salto igual a uma janela de tombamento, você pode especificar o tamanho do salto para ser o mesmo que o tamanho da janela.

Ao configurar uma janela de salto em fluxos de dados de streaming, você precisa fornecer a duração da janela (o mesmo que com janelas de tombamento). Você também precisa fornecer o tamanho do salto, que informa aos fluxos de dados de streaming com que frequência você deseja que a agregação seja calculada para a duração definida.

O parâmetro offset também está disponível em janelas de salto pelo mesmo motivo que em janelas de tombamento. Ele define a lógica para incluir e excluir eventos para o início e o fim da janela de salto.

Janela de correr

As janelas deslizantes, ao contrário das janelas de tombo ou saltos, calculam a agregação apenas para os pontos no tempo em que o conteúdo da janela realmente muda. Quando um evento entra ou sai da janela, a agregação é calculada. Assim, cada janela tem pelo menos um evento. Semelhante às janelas saltitantes, os eventos podem pertencer a mais de uma janela deslizante.

O único parâmetro que você precisa para uma janela deslizante é a duração, porque os próprios eventos definem quando a janela é iniciada. Nenhuma lógica de deslocamento é necessária.

Janela da sessão

As janelas de sessão são o tipo mais complexo. Eles agrupam eventos que chegam em horários semelhantes, filtrando períodos de tempo em que não há dados. Para esta janela, é necessário fornecer:

• Um tempo limite: quanto tempo esperar se não houver novos dados.
• Uma duração máxima: o maior tempo que a agregação calcula se os dados continuarem chegando.

Você também pode definir uma partição, se desejar.

Você configura uma janela de sessão diretamente no painel lateral para a transformação. Se você fornecer uma partição, a agregação só agrupará eventos para a mesma chave.

Janela de instantâneo

Snapshot windows agrupa eventos que têm o mesmo carimbo de data/hora. Ao contrário de outras janelas, um instantâneo não requer parâmetros porque usa o tempo do sistema.

Definir saídas

Depois de configurar entradas e transformações, é hora de definir uma ou mais saídas. A partir de julho de 2021, os fluxos de dados de streaming suportam tabelas do Power BI como o único tipo de saída.

Essa saída é uma tabela de fluxo de dados (ou seja, uma entidade) que você pode usar para criar relatórios no Power BI Desktop. Você precisa unir os nós da etapa anterior com a saída que está criando para fazê-la funcionar. Depois disso, nomeie a tabela.

Depois de se conectar ao seu fluxo de dados, esta tabela estará disponível para você criar elementos visuais que são atualizados em tempo real para seus relatórios.

Pré-visualização de dados e erros

Os fluxos de dados de streaming fornecem ferramentas para ajudá-lo a criar, solucionar problemas e avaliar o desempenho do seu pipeline de análise para streaming de dados.

Visualização de dados em tempo real para entradas

Quando você está se conectando a um hub de eventos ou hub IoT e selecionando seu cartão na exibição de diagrama (a guia Visualização de dados), você obtém uma visualização ao vivo dos dados que entram se todos os itens a seguir forem verdadeiros:

• Os dados estão sendo enviados.
• A entrada está configurada corretamente.
• Foram adicionados campos.

Como mostrado na captura de tela a seguir, se você quiser ver ou detalhar algo específico, você pode pausar a visualização (1). Ou você pode iniciá-lo novamente se terminar.

Você também pode ver os detalhes de um registro específico (uma "célula" na tabela) selecionando-o e, em seguida, selecionando Mostrar detalhes ou Ocultar detalhes (2). A captura de tela mostra a exibição detalhada de um objeto aninhado em um registro.

Pré-visualização estática para transformações e saídas

Depois de adicionar e configurar quaisquer etapas na exibição de diagrama, você pode testar seu comportamento selecionando o botão de dados estáticos.

Depois disso, os fluxos de dados de streaming avaliam todas as transformações e saídas configuradas corretamente. Em seguida, os fluxos de dados de streaming exibem os resultados na visualização de dados estáticos, conforme mostrado na imagem a seguir.

Você pode atualizar a visualização selecionando Atualizar visualização estática (1). Quando você faz isso, os fluxos de dados de streaming recebem novos dados da entrada e avaliam todas as transformações e saídas novamente com quaisquer atualizações que você possa executar. A opção Mostrar ou Ocultar detalhes também está disponível (2).

Erros de criação

Se você tiver erros de criação ou avisos, a guia Erros de criação (1) os lista, conforme mostrado na captura de tela a seguir. A lista inclui detalhes do erro ou aviso, o tipo de cartão (entrada, transformação ou saída), o nível de erro e uma descrição do erro ou aviso (2). Quando você seleciona qualquer um dos erros ou avisos, o respetivo cartão é selecionado e o painel lateral de configuração é aberto para que você faça as alterações necessárias.

Erros de tempo de execução

A última guia disponível na visualização é Erros de tempo de execução (1), conforme mostrado na captura de tela a seguir. Esta guia lista todos os erros no processo de ingestão e análise do fluxo de dados de streaming depois de iniciá-lo. Por exemplo, você pode obter um erro de tempo de execução se uma mensagem entrar corrompida e o fluxo de dados não puder ingeri-la e executar as transformações definidas.

Como os fluxos de dados podem ser executados por um longo período de tempo, esta guia oferece a opção de filtrar por período de tempo e baixar a lista de erros e atualizá-la, se necessário (2).

Modificar configurações para fluxos de dados de streaming

Tal como acontece com os fluxos de dados regulares, as configurações para fluxos de dados de streaming podem ser modificadas dependendo das necessidades dos proprietários e autores. As configurações a seguir são exclusivas para fluxos de dados de streaming. Para o restante das configurações, devido à infraestrutura compartilhada entre os dois tipos de fluxos de dados, você pode assumir que o uso é o mesmo.

• Histórico de atualização: como os fluxos de dados de streaming são executados continuamente, o histórico de atualizações mostra apenas informações sobre quando o fluxo de dados é iniciado, quando é cancelado ou quando falha (com detalhes e códigos de erro, quando aplicável). Essas informações são semelhantes às que aparecem para fluxos de dados regulares. Você pode usar essas informações para solucionar problemas ou para fornecer suporte do Power BI com os detalhes solicitados.

• Credenciais da fonte de dados: essa configuração mostra as entradas que foram configuradas para o fluxo de dados de streaming específico.

• Configurações aprimoradas do mecanismo de computação: os fluxos de dados de streaming precisam do mecanismo de computação aprimorado para fornecer imagens em tempo real, portanto, essa configuração é ativada por padrão e não pode ser alterada.

• Duração da retenção: essa configuração é específica para fluxos de dados de streaming. Aqui você pode definir por quanto tempo deseja manter dados em tempo real para visualizar em relatórios. Os dados históricos são salvos por padrão no Armazenamento de Blobs do Azure. Essa configuração é específica para o lado em tempo real dos seus dados (armazenamento a quente). O valor mínimo é de 1 dia ou 24 horas.

  Importante

  A quantidade de dados quentes armazenados por essa duração de retenção influencia diretamente o desempenho de seus visuais em tempo real quando você cria relatórios sobre esses dados. Quanto mais retenção você tiver aqui, mais seus visuais em tempo real nos relatórios poderão ser afetados pelo baixo desempenho. Se você precisar executar a análise histórica, use o armazenamento a frio fornecido para fluxos de dados de streaming.

Executar e editar um fluxo de dados de streaming

Depois de salvar e configurar seu fluxo de dados de streaming, tudo estará pronto para você executá-lo. Em seguida, você pode começar a ingerir dados no Power BI com a lógica de análise de streaming que você definiu.

Execute seu fluxo de dados de streaming

Para iniciar seu fluxo de dados de streaming, primeiro salve seu fluxo de dados e vá para o espaço de trabalho onde você o criou. Passe o cursor sobre o fluxo de dados de streaming e selecione o botão de reprodução que aparece. Uma mensagem pop-up informa que o fluxo de dados de streaming está sendo iniciado.

Nota

Pode levar até cinco minutos para que os dados comecem a ser ingeridos e para que você veja os dados chegando para criar relatórios e painéis no Power BI Desktop.

Edite seu fluxo de dados de streaming

Enquanto um fluxo de dados de streaming está em execução, ele não pode ser editado. Mas você pode entrar em um fluxo de dados de streaming que está em um estado de execução e ver a lógica de análise na qual o fluxo de dados é construído.

Quando você entra em um fluxo de dados de streaming em execução, todas as opções de edição são desabilitadas e uma mensagem é exibida: "O fluxo de dados não pode ser editado enquanto estiver em execução. Pare o fluxo de dados se quiser continuar." A visualização de dados também está desativada.

Para editar seu fluxo de dados de streaming, você precisa pará-lo. Um fluxo de dados interrompido resulta em dados ausentes.

A única experiência disponível enquanto um fluxo de dados de streaming é executado é a guia Erros de tempo de execução, onde você pode monitorar o comportamento do seu fluxo de dados para quaisquer mensagens descartadas e situações semelhantes.

Considere o armazenamento de dados ao editar seu fluxo de dados

Ao editar um fluxo de dados, você precisa levar em conta outras considerações. Semelhante a quaisquer alterações em um esquema para fluxos de dados regulares, se você fizer alterações em uma tabela de saída, perderá dados que já foram enviados por push e salvos no Power BI. A interface fornece informações claras sobre as consequências de qualquer uma dessas alterações no fluxo de dados de streaming, juntamente com as opções de alterações que você faz antes de salvar.

Esta experiência é melhor demonstrada com um exemplo. A captura de tela a seguir mostra a mensagem que você recebe quando adiciona uma coluna a uma tabela, altera o nome de uma segunda tabela e deixa uma terceira tabela igual à anterior.

Neste exemplo, os dados já salvos em ambas as tabelas que tiveram alterações de esquema e nome serão excluídos se você salvar as alterações. Para a tabela que permaneceu a mesma, você tem a opção de excluir quaisquer dados antigos e começar do zero, ou salvá-los para análise posterior, juntamente com novos dados que chegam.

Tenha essas nuances em mente ao editar seu fluxo de dados de streaming, especialmente se precisar de dados históricos disponíveis posteriormente para análise posterior.

Consumir um fluxo de dados de streaming

Depois que o fluxo de dados de streaming estiver em execução, você estará pronto para começar a criar conteúdo sobre os dados de streaming. Não há mudanças estruturais em comparação com o que você precisa fazer para criar relatórios que são atualizados em tempo real. Há algumas nuances e atualizações a considerar para que você possa aproveitar esse novo tipo de preparação de dados para streaming de dados.

Configurar o armazenamento de dados

Como mencionamos anteriormente, os fluxos de dados de streaming salvam dados nos dois locais a seguir. O uso dessas fontes depende do tipo de análise que você está tentando fazer.

• Armazenamento ativo (análise em tempo real): à medida que os dados entram no Power BI a partir de fluxos de dados de streaming, os dados são armazenados em um local ativo para você acessar com visuais em tempo real. A quantidade de dados salvos nesse armazenamento depende do valor que você definiu para Duração da retenção nas configurações de fluxo de dados de streaming. O padrão (e mínimo) é 24 horas.
• Armazenamento a frio (análise histórica): Qualquer período de tempo que não se enquadre no período definido para Duração da retenção é salvo no armazenamento a frio (blobs) no Power BI para você consumir, se necessário.

Nota

Há sobreposição entre esses dois locais de armazenamento de dados. Se você precisar usar ambos os locais em conjunto (por exemplo, alteração percentual dia a dia), talvez seja necessário desduplicar seus registros. Depende dos cálculos de inteligência de tempo que você está fazendo e da política de retenção.

Conectar-se a fluxos de dados de streaming do Power BI Desktop

O Power BI Desktop oferece um conector chamado Fluxos de Dados para você usar. Como parte desse conector para fluxos de dados de streaming, você verá duas tabelas que correspondem ao armazenamento de dados descrito anteriormente.

Para se conectar aos seus dados para fluxos de dados de streaming:

1. Vá para Obter Dados, selecione Plataforma de Energia e escolha o conector Fluxos de Dados.

   

2. Entre com suas credenciais do Power BI.

3. Selecione espaços de trabalho. Procure aquele que contém seu fluxo de dados de streaming e selecione esse fluxo de dados. (Neste exemplo, o fluxo de dados de streaming é chamado dePortagem.)

4. Observe que todas as suas tabelas de saída aparecem duas vezes: uma para streaming de dados (quente) e outra para dados arquivados (frio). Você pode diferenciá-los pelos rótulos adicionados após os nomes das tabelas e pelos ícones.

   

5. Conecte-se aos dados de streaming. O caso de dados arquivados é o mesmo, disponível apenas no modo de importação. Selecione as tabelas que incluem os rótulos Streaming e Hot, e selecione Carregar.

   

6. Quando lhe for pedido para escolher um modo de armazenamento, selecione DirectQuery se o seu objetivo for criar elementos visuais em tempo real.

   

Agora você pode criar elementos visuais, medidas e muito mais, usando os recursos disponíveis no Power BI Desktop.

Nota

O conector de fluxo de dados normal do Power BI ainda está disponível e funcionará com fluxos de dados de streaming com duas advertências:

• Ele só permite que você se conecte ao armazenamento quente.
• A visualização de dados no conector não funciona com fluxos de dados de streaming.

Ativar a atualização automática de página para efeitos visuais em tempo real

Depois que o relatório estiver pronto e você tiver adicionado todo o conteúdo que deseja compartilhar, a única etapa restante é garantir que seus visuais sejam atualizados em tempo real. Você pode usar um recurso chamado atualização automática de página. Esse recurso permite que você atualize visuais de uma fonte DirectQuery com uma frequência de um segundo.

Para obter mais informações sobre o recurso, consulte Atualização automática de página no Power BI. Esse artigo inclui informações sobre como usá-lo, como configurá-lo e como entrar em contato com seu administrador se estiver tendo problemas. A seguir estão as noções básicas sobre como configurá-lo:

1. Vá para a página do relatório onde você deseja que os visuais sejam atualizados em tempo real.

2. Limpe qualquer visual na página. Se possível, selecione o plano de fundo da página.

3. Vá para o painel de formato (1) e ative a Atualização de página (2).

   

4. Configure a frequência desejada (até a cada segundo, se o administrador permitir).

   

5. Para compartilhar um relatório em tempo real, primeiro publique novamente no serviço do Power BI. Em seguida, você pode configurar suas credenciais de fluxo de dados para o modelo semântico e compartilhar.

Gorjeta

Se o relatório não for atualizado tão rápido quanto você precisa ou em tempo real, verifique a documentação para atualizar a página automaticamente. Siga as perguntas frequentes e as instruções de solução de problemas para descobrir por que esse problema pode estar acontecendo.

Considerações e limitações

Limitações gerais

• Uma assinatura do Power BI Premium (capacidade ou PPU) é necessária para criar e executar fluxos de dados de streaming.
• Apenas um tipo de fluxo de dados é permitido por espaço de trabalho.
• Não é possível vincular fluxos de dados regulares e de streaming.
• Capacidades menores que A3 não permitem o uso de fluxos de dados de streaming.
• Se os fluxos de dados ou o mecanismo de cálculo avançado não estiver habilitado em um locatário, você não poderá criar ou executar fluxos de dados de streaming.
• Não há suporte para espaços de trabalho conectados a uma conta de armazenamento.
• Cada fluxo de dados de streaming pode fornecer até 1 MB por segundo de taxa de transferência.

Disponibilidade

A visualização dos fluxos de dados de streaming não está disponível nas seguintes regiões:

• Índia Central
• Norte da Alemanha
• Leste da Noruega
• Oeste da Noruega
• E.A.U. Central
• Norte da África do Sul
• Oeste da África do Sul
• Norte da Suíça
• Oeste da Suíça
• Brasil Sudeste

Licenciamento

O número de fluxos de dados de streaming permitidos por locatário depende da licença que está sendo usada:

• Para capacidades regulares, use a seguinte fórmula para calcular o número máximo de fluxos de dados de streaming permitido em uma capacidade:

  Número máximo de fluxos de dados de streaming por capacidade = vCores na capacidade x 5

  Por exemplo, P1 tem 8 vCores: 8 * 5 = 40 fluxos de dados de streaming.

• Para Premium por usuário, um fluxo de dados de streaming é permitido por usuário. Se outro usuário quiser consumir um fluxo de dados de streaming em um espaço de trabalho PPU, ele também precisará de uma licença PPU.

Criação de fluxo de dados

Ao criar fluxos de dados de streaming, esteja atento às seguintes considerações:

• O proprietário de um fluxo de dados de streaming só pode fazer modificações e só pode fazer modificações se o fluxo de dados não estiver em execução.
• Os fluxos de dados de streaming não estão disponíveis em Meu Espaço de Trabalho.

Ligar a partir do Power BI Desktop

Você pode acessar o armazenamento a frio somente usando o conector Dataflows disponível a partir da atualização de julho de 2021 do Power BI Desktop. O conector de fluxo de dados anterior do Power BI permite apenas conexões com o armazenamento de streaming de dados (quente). A visualização de dados do conector não funciona.

Conteúdos relacionados

Este artigo forneceu uma visão geral da preparação de dados de streaming de autoatendimento usando fluxos de dados de streaming. Os artigos a seguir fornecem informações sobre como testar esse recurso e como usar outros recursos de streaming de dados no Power BI:

• Crie uma solução de IoT usando o Stream Analytics
• Conectar o simulador online do Raspberry Pi ao Hub IoT do Azure (Node.js)
• Streaming em tempo real no Power BI
• Atualização automática de página no Power BI