Usare i dati di riferimento per le ricerche in Analisi di flusso
I dati di riferimento sono un set di dati finito che è statico o che cambia lentamente in natura. Viene usato per eseguire una ricerca o per aumentare i flussi di dati. I dati di riferimento sono noti anche come tabella di ricerca.
Si prenda uno scenario IoT come esempio. È possibile archiviare i metadati relativi ai sensori, che non cambiano spesso, nei dati di riferimento. È quindi possibile aggiungerlo con flussi di dati IoT in tempo reale.
Analisi di flusso di Azure carica i dati di riferimento in memoria per ottenere l'elaborazione del flusso a bassa latenza. Per usare i dati di riferimento nel processo di Analisi di flusso, in genere si userà un join di dati di riferimento nella query.
Esempio
È possibile avere un flusso in tempo reale degli eventi generati quando le auto passano un casello. Il casello può acquisire le targhe in tempo reale. Tali dati possono essere aggiunti a un set di dati statico con i dettagli di registrazione per identificare le targhe scadute.
SELECT I1.EntryTime, I1.LicensePlate, I1.TollId, R.RegistrationId
FROM Input1 I1 TIMESTAMP BY EntryTime
JOIN Registration R
ON I1.LicensePlate = R.LicensePlate
WHERE R.Expired = '1'
Analisi di flusso supporta Archiviazione BLOB di Azure, Azure Data Lake Archiviazione Gen2 e database SQL di Azure come livello di archiviazione per i dati di riferimento. Se si hanno i dati di riferimento in altri archivi dati, provare a usare Azure Data Factory per estrarre, trasformare e caricare i dati in uno degli archivi dati supportati. Per altre informazioni, vedere La panoramica dell'attività di copia in Azure Data Factory.
Archiviazione BLOB di Azure o Azure Data Lake Archiviazione Gen 2
I dati di riferimento vengono modellati come sequenza di BLOB in ordine crescente della data/ora specificata nel nome del BLOB. I BLOB possono essere aggiunti solo alla fine della sequenza usando una data/ora maggiore di quella specificata dall'ultimo BLOB nella sequenza. I BLOB vengono definiti nella configurazione di input.
Per altre informazioni, vedere Usare i dati di riferimento di BLOB Archiviazione per un processo di Analisi di flusso.
Configurare i dati di riferimento BLOB
Per configurare i dati di riferimento, è prima necessario creare un input che sia dei dati di riferimento del tipo. La tabella seguente illustra ogni proprietà da fornire quando si crea l'input dei dati di riferimento con la relativa descrizione.
| Nome proprietà | Descrizione |
|---|---|
| Alias di input | Nome descrittivo usato nella query del processo per fare riferimento a questo input. |
| Account di archiviazione | Nome dell'account di archiviazione in cui si trovano i BLOB. Se si trova nella stessa sottoscrizione del processo di Analisi di flusso, selezionarla nell'elenco a discesa. |
| chiave dell'account di archiviazione | Chiave privata associata all'account di archiviazione. Questa chiave viene popolata automaticamente se l'account di archiviazione si trova nella stessa sottoscrizione del processo di Analisi di flusso. |
| Contenitore di archiviazione | I contenitori forniscono un raggruppamento logico per i BLOB archiviati nell'Archiviazione BLOB. Quando si carica un BLOB nel BLOB Archiviazione, è necessario specificare un contenitore per tale BLOB. |
| Modello percorso | Questa proprietà obbligatoria viene usata per individuare i BLOB all'interno del contenitore specificato. All'interno del percorso è possibile scegliere di specificare una o più istanze delle variabili {date} e {time}. Esempio 1: products/{date}/{time}/product-list.csv Esempio 2: products/{date}/product-list.csv Esempio 3: product-list. csv Se il BLOB non esiste nel percorso specificato, il processo di Analisi di flusso attende a tempo indeterminato che il BLOB diventi disponibile. |
| Formato data [facoltativo] | Se è stato usato {date} nel modello di percorso specificato, selezionare il formato di data in cui i BLOB sono organizzati nell'elenco a discesa dei formati supportati. Esempio: AAAA/MM/GG o MM/GG/AAAA |
| Formato ora [facoltativo] | Se è stato usato {time} nel modello di percorso specificato, selezionare il formato di ora in cui i BLOB sono organizzati nell'elenco a discesa dei formati supportati. Esempio: HH, HH/mm o HH-mm |
| Formato di serializzazione eventi | Per accertarsi che le query funzionino come previsto, l'analisi di flusso deve conoscere il formato di serializzazione usato per i flussi di dati in entrata. Per i dati di riferimento, i formati supportati sono CSV e JSON. |
| Codifica | Al momento UTF-8 è l'unico formato di codifica supportato. |
Dati di riferimento statici
È possibile che i dati di riferimento non vengano modificati. Per abilitare il supporto per i dati di riferimento statici, specificare un percorso statico nella configurazione di input.
Analisi di flusso preleva il BLOB dal percorso specificato. I token di sostituzione {date} e {time} non sono necessari. Poiché i dati di riferimento non sono modificabili in Analisi di flusso, la sovrascrittura di un BLOB di dati di riferimento statico non è consigliata.
Generare i dati di riferimento in base a una pianificazione
I dati di riferimento potrebbero essere un set di dati a modifica lenta. Per aggiornare i dati di riferimento, specificare un modello di percorso nella configurazione di input usando i token di sostituzione {date} e {time}. Analisi di flusso seleziona le definizioni dei dati di riferimento aggiornate in base a questo modello di percorso.
Ad esempio, un modello di sample/{date}/{time}/products.csv con un formato di data AAAA-MM-GG e un formato di ora di HH-mm indica a Analisi di flusso di raccogliere il BLOB sample/2015-04-16/17-30/products.csv aggiornato il 16 aprile 2015 alle 15:30 UTC.
Analisi di flusso analizza automaticamente i BLOB di dati di riferimento aggiornati a intervalli di un minuto. Un BLOB con il timestamp 10:30:00 potrebbe essere caricato con un piccolo ritardo, ad esempio 10:30:30. Si noterà un piccolo ritardo nel processo di Analisi di flusso che fa riferimento a questo BLOB.
Per evitare questi scenari, caricare il BLOB prima del tempo effettivo di destinazione, ovvero 10:30:00 in questo esempio. Il processo di Analisi di flusso ha ora tempo sufficiente per individuare e caricare il BLOB in memoria ed eseguire operazioni.
Nota
Attualmente, i processi di Analisi di flusso cercano l'aggiornamento BLOB solo quando il tempo del computer passa all'ora codificata nel nome del BLOB. Ad esempio, il processo cerca sample/2015-04-16/17-30/products.csv il prima possibile, ma non prima del 16 aprile 2015 alle 17:30 UTC. Non cercherà mai un BLOB con un'ora codificata precedente all'ultima scoperta.
Ad esempio, dopo che il processo trova il BLOB sample/2015-04-16/17-30/products.csv, ignora tutti i file con una data codificata precedente al 16 aprile 2015 alle 17:30. Se un BLOB in arrivo sample/2015-04-16/17-25/products.csv in ritardo viene creato nello stesso contenitore, il processo non lo userà.
In un altro esempio, sample/2015-04-16/17-30/products.csv viene prodotto solo il 16 aprile 2015 alle 10:03, ma nel contenitore non è presente alcun BLOB con una data precedente. Il processo usa quindi questo file a partire dal 16 aprile 2015 alle 10:03 e usa i dati di riferimento precedenti fino ad allora.
Un'eccezione a questo comportamento è quando il processo deve rielaborare nuovamente i dati nel tempo o quando il processo viene avviato per la prima volta.
All'ora di inizio, il processo cerca il BLOB più recente prodotto prima dell'ora di inizio del processo specificata. Questo comportamento garantisce che all'avvio del processo sia presente un set di dati di riferimento non vuoto . Se non è possibile trovarne uno, il processo visualizza la diagnostica seguente: Initializing input without a valid reference data blob for UTC time <start time>.
Quando viene aggiornato un set di dati di riferimento, viene generato un log di diagnostica: Loaded new reference data from <blob path>. Per molti motivi, potrebbe essere necessario ricaricare un set di dati di riferimento precedente. La maggior parte delle volte, il motivo è quello di rielaborare i dati passati. Lo stesso log di diagnostica viene generato in quel momento. Questa azione non implica che i dati del flusso corrente usino dati di riferimento passati.
Data factory di Azure per organizzare l'attività di creazione dei BLOB aggiornati richiesti dall'analisi di flusso per aggiornare le definizioni dei dati di riferimento.
Data factory è un servizio di integrazione delle informazioni basato sul cloud che permette di automatizzare lo spostamento e la trasformazione dei dati. Data Factory supporta la connessione a un numero elevato di archivi dati locali e basati sul cloud. Può spostare facilmente i dati in base a una pianificazione regolare specificata.
Per altre informazioni su come configurare una pipeline di Data Factory per generare dati di riferimento per Analisi di flusso che vengono aggiornati in base a una pianificazione predefinita, vedere questo esempio di GitHub.
Suggerimenti sull'aggiornamento dei dati di riferimento BLOB
- Non sovrascrivere i BLOB di dati di riferimento perché non sono modificabili.
- Il modo consigliato per aggiornare i dati di riferimento consiste nel:
- Usare {date}/{time} nel modello di percorso.
- Aggiungere un nuovo BLOB usando lo stesso contenitore e lo stesso modello di percorso definito nell'input del processo.
- Usare un valore di data/ora maggiore rispetto a quello specificato dall'ultimo BLOB nella sequenza.
- I BLOB di dati di riferimento non sono* ordinati in base all'ora dell'ultima modifica del BLOB. Vengono ordinati solo in base alla data e all'ora specificate nel nome del BLOB usando le sostituzioni {date} e {time}.
- Per evitare di dover elencare un numero elevato di BLOB, eliminare i BLOB obsoleti per cui l'elaborazione non verrà più eseguita. Analisi di flusso potrebbe dover rielaborare una piccola quantità in alcuni scenari, ad esempio un riavvio.
Database SQL di Azure
Il processo di Analisi di flusso recupera database SQL dati di riferimento e li archivia come snapshot in memoria per l'elaborazione. Lo snapshot dei dati di riferimento viene archiviato anche in un contenitore in un account di archiviazione. Specificare l'account di archiviazione nelle impostazioni di configurazione.
Il contenitore viene creato automaticamente all'avvio del processo. Se il processo si arresta o entra in uno stato di errore, i contenitori creati automaticamente vengono eliminati al riavvio del processo.
Se i dati di riferimento sono un set di dati a modifica lenta, è necessario aggiornare periodicamente lo snapshot usato nel processo.
Con Analisi di flusso è possibile impostare una frequenza di aggiornamento quando si configura la connessione di input database SQL. Il runtime di Analisi di flusso esegue una query sull'istanza di database SQL all'intervallo specificato dalla frequenza di aggiornamento. La frequenza di aggiornamento più veloce supportata è una volta al minuto. Per ogni aggiornamento, Analisi di flusso archivia un nuovo snapshot nell'account di archiviazione specificato.
Analisi di flusso offre due opzioni per l'esecuzione di query nell'istanza di database SQL. Una query snapshot è obbligatoria e deve essere inclusa in ogni processo. Analisi di flusso esegue periodicamente la query snapshot in base all'intervallo di aggiornamento. Usa il risultato della query (snapshot) come set di dati di riferimento.
La query snapshot deve adattarsi alla maggior parte degli scenari. Se si verificano problemi di prestazioni con set di dati di grandi dimensioni e velocità di aggiornamento rapido, usare l'opzione di query delta. Le query che richiedono più di 60 secondi per restituire un set di dati di riferimento generano un timeout.
Con l'opzione di query delta, Analisi di flusso esegue inizialmente la query snapshot per ottenere un set di dati di riferimento di base. Successivamente, Analisi di flusso esegue periodicamente la query delta in base all'intervallo di aggiornamento per recuperare le modifiche incrementali. Queste modifiche incrementali vengono applicate continuamente al set di dati di riferimento per mantenerle aggiornate. L'uso dell'opzione di query delta può contribuire a ridurre i costi di archiviazione e le operazioni di I/O di rete.
Configurare database SQL dati di riferimento
Per configurare i dati di riferimento database SQL, è prima necessario creare l'input dei dati di riferimento. La tabella seguente illustra ogni proprietà da fornire quando si crea l'input dei dati di riferimento con la relativa descrizione. Per altre informazioni, vedere Usare i dati di riferimento di un database SQL per un processo di Analisi di flusso.
È possibile usare Istanza gestita di SQL di Azure come input di dati di riferimento. È necessario configurare un endpoint pubblico in Istanza gestita di SQL. Configurare quindi manualmente le impostazioni seguenti in Analisi di flusso. Una macchina virtuale di Azure che esegue SQL Server con un database collegato è supportata anche dalla configurazione manuale di queste impostazioni.
| Nome proprietà | Descrizione |
|---|---|
| Alias di input | Nome descrittivo usato nella query del processo per fare riferimento a questo input. |
| Subscription | Sottoscrizione in uso. |
| Database | Istanza di database SQL che contiene i dati di riferimento. Per Istanza gestita di SQL, è necessario specificare la porta 3342. Un esempio è sampleserver.public.database.windows.net,3342. |
| Username | Nome utente associato all'istanza di database SQL. |
| Password | Password associata all'istanza di database SQL. |
| Aggiorna periodicamente | Questa opzione consente di selezionare una frequenza di aggiornamento. Selezionare Sì per specificare la frequenza di aggiornamento in DD:HH:MM. |
| Query snapshot | Questa opzione di query predefinita recupera i dati di riferimento dall'istanza di database SQL. |
| Query delta | Per scenari avanzati con set di dati di grandi dimensioni e una frequenza di aggiornamento breve, aggiungere una query differenziale. |
Limitazione delle dimensioni
Usare set di dati di riferimento inferiori a 300 MB per ottenere prestazioni ottimali. I set di dati di riferimento di 5 GB o inferiori sono supportati nei processi con sei unità di streaming o più. L'uso di un set di dati di riferimento di grandi dimensioni potrebbe influire sulla latenza end-to-end del processo.
La complessità delle query può aumentare in modo da includere l'elaborazione con stato, ad esempio aggregazioni finestrate, join temporali e funzioni analitiche temporali. Quando la complessità aumenta, la dimensione massima supportata dei dati di riferimento diminuisce.
Se Analisi di flusso non è in grado di caricare i dati di riferimento ed eseguire operazioni complesse, il processo esaurisce la memoria e non riesce. In questi casi, la metrica di utilizzo dell'unità di streaming raggiunge il 100%.
| Numero di unità di streaming | Dimensioni consigliate |
|---|---|
| 1 | 50 MB o inferiore |
| 3 | 150 MB o inferiore |
| 6 e oltre | 5 GB o inferiore |
Il supporto per la compressione non è disponibile per i dati di riferimento. Per i set di dati di riferimento superiori a 300 MB, usare database SQL come origine con l'opzione di query delta per ottenere prestazioni ottimali. Se l'opzione di query delta non viene usata in questi scenari, vengono visualizzati picchi nella metrica di ritardo limite ogni volta che il set di dati di riferimento viene aggiornato.
Aggiungere più set di dati di riferimento in un processo
È possibile unire un input di dati di riferimento solo a un input di streaming. Per unire più set di dati di riferimento, suddividere la query in più passaggi. Ecco un esempio:
With Step1 as (
--JOIN input stream with reference data to get 'Desc'
SELECT streamInput.*, refData1.Desc as Desc
FROM streamInput
JOIN refData1 ON refData1.key = streamInput.key
)
--Now Join Step1 with second reference data
SELECT *
INTO output
FROM Step1
JOIN refData2 ON refData2.Desc = Step1.Desc
Processi IoT Edge
Per i processi perimetrali di Analisi di flusso sono supportati solo i dati di riferimento locali. Quando un processo viene distribuito in un dispositivo IoT Edge, carica i dati di riferimento dal percorso del file definito dall'utente. Tenere un file di dati di riferimento pronto nel dispositivo.
Per un contenitore Windows, inserire il file di dati di riferimento nell'unità locale e condividere l'unità locale con il contenitore Docker. Per un contenitore Linux, creare un volume Docker e popolare il file di dati nel volume.
I dati di riferimento in un aggiornamento di IoT Edge vengono attivati da una distribuzione. Dopo l'attivazione, il modulo analisi di flusso seleziona i dati aggiornati senza arrestare il processo in esecuzione.
È possibile aggiornare i dati di riferimento in due modi:
- Aggiornare il percorso dei dati di riferimento nel processo di Analisi di flusso dal portale di Azure.
- Aggiornare la distribuzione IoT Edge.