Streaming su Azure Databricks
È possibile usare Azure Databricks per l'inserimento dati, l'elaborazione, l'apprendimento automatico e l'IA in near real-time per dati di streaming.
Azure Databricks offre numerose ottimizzazioni per lo streaming e l'elaborazione incrementale, tra cui:
- DLT fornisce una sintassi dichiarativa per l'elaborazione incrementale. Vedere Che cos'è DLT?.
- Il caricatore automatico semplifica l'inserimento incrementale dall'archiviazione di oggetti cloud. Vedere Che cos'è l’Autoloader?.
- Unity Catalog aggiunge la governance dei dati ai carichi di lavoro di streaming. Consulta Uso del catalogo Unity con streaming strutturato.
Delta Lake offre il livello di archiviazione per queste integrazioni. Consultare operazioni di lettura e scrittura delle tabelle Delta.
Per la gestione dei modelli in tempo reale, vedere Distribuire modelli con Mosaic AI Model Serving.
- Tutorial
- Concetti
- Streaming con stato
- Applicazioni con stato personalizzate
- Considerazioni sulla produzione
- Monitorare i flussi
- Integrazione del catalogo Unity
- Streaming con Delta
- Esempi
Azure Databricks include funzionalità specifiche per l'uso di campi di dati semistrutturati contenuti in Avro, buffer di protocollo e payload di dati JSON. Per altre informazioni, vedere:
- Leggere e scrivere dati Avro in streaming
- Buffer del protocollo di lettura e scrittura
- Interrogare le stringhe JSON
Risorse aggiuntive
Apache Spark offre una Guida per programmare Structured Streaming con altre informazioni sullo Structured Streaming.
Per informazioni di riferimento su Structured Streaming, Azure Databricks consiglia di vedere la seguente documentazione di riferimento API di Apache Spark: