Executar um trabalho para ingerir dados
Depois de criar e salvar sua consulta, você pode executar o trabalho do Azure Stream Analytics para processar eventos na(s) entrada(s) e gravar os resultados na(s) saída(s). Uma vez iniciada, a consulta será executada perpetuamente até ser interrompida; ingestão constante de novos dados de eventos em seu espaço de trabalho do Azure Synapse Analytics (em uma tabela no data warehouse relacional ou arquivos em um data lake, dependendo do tipo de saída).
Trabalhar com dados ingeridos
Você pode trabalhar com os dados de streaming ingeridos como qualquer outro dado no Azure Synapse Analytics, combinando-os com dados ingeridos usando técnicas de processamento em lote ou sincronizados de fontes de dados operacionais usando o Azure Synapse Link.
Consultando dados em um data warehouse relacional
Se você usou uma saída do Azure Synapse Analytics para ingerir os resultados do seu trabalho de processamento de fluxo em uma tabela em um pool SQL dedicado, poderá consultar a tabela usando uma consulta SQL, assim como qualquer outra tabela. Os resultados da consulta sempre incluirão os dados mais recentes a serem ingeridos no momento em que a consulta for executada. Seu data warehouse pode incluir tabelas para streaming de dados, bem como tabelas para dados ingeridos em lote, permitindo que você junte dados em tempo real e em lote para análise histórica.
Por exemplo, o código SQL a seguir pode ser usado para consultar uma tabela chamada factSensorReadings que contém os resultados do processamento de fluxo e combiná-la com uma tabela dimDate contendo dados detalhados sobre as datas em que as leituras foram capturadas.
SELECT d.Weekday, s.SensorID, AVG(s.SensorReading) AS AverageReading
FROM factSensorReadings AS s
JOIN dimDate AS d
ON CAST(s.ReadingTime AS DATE) = d.DateKey
GROUP BY d.Weekday, s.SensorID
Gorjeta
Para saber mais sobre como usar um pool SQL dedicado para analisar dados em um data warehouse, consulte o módulo Analisar dados em um data warehouse relacional no Microsoft Learn.
Consultando dados em um data lake
Como os dados de streaming são ingeridos em arquivos em um data lake, você pode consultar esses arquivos usando um pool SQL sem servidor no Azure Synapse Analytics. Por exemplo, a consulta a seguir lê todos os campos de todos os arquivos Parquet na pasta sensors no contêiner do sistema de arquivos de dados .
SELECT *
FROM OPENROWSET(
BULK 'https://mydatalake.blob.core.windows.net/data/sensors/*',
FORMAT = 'parquet') AS rows
Gorjeta
Para saber mais sobre como usar pools SQL sem servidor para consultar arquivos em um data lake, consulte Usar o pool SQL sem servidor do Azure Synapse para consultar arquivos em um módulo de data lake no Microsoft Learn.
Você também pode consultar o data lake usando código em execução em um pool do Apache Spark, conforme mostrado neste exemplo:
%%pyspark
df = spark.read.load('abfss://data@datalake.dfs.core.windows.net/sensors/*', format='parquet'
)
display(df)
Gorjeta
Para saber mais sobre como usar pools do Apache Spark para consultar arquivos em um data lake, consulte o módulo Analisar dados com o Apache Spark no Azure Synapse Analytics no Microsoft Learn.