Streamen op Azure Databricks
U kunt Azure Databricks gebruiken voor bijna realtime gegevensopname, verwerking, machine learning en AI voor het streamen van gegevens.
Azure Databricks biedt talloze optimalisaties voor streaming en incrementele verwerking, waaronder de volgende:
- DLT biedt declaratieve syntaxis voor incrementele verwerking. Zie Wat is DLT?.
- Auto Loader vereenvoudigt incrementele opname vanuit cloudobjectopslag. Zie Wat is Auto Loader?
- Unity Catalog voegt gegevensbeheer toe aan streamingworkloads. Zie Unity Catalog gebruiken met Structured Streaming.
Delta Lake biedt de opslaglaag voor deze integraties. Zie lees- en schrijfstreams van de deltatabellen.
Zie Modellen implementeren met behulp van Mosaic AI Model Servingvoor realtime modelweergaven.
- Handleiding
- Concepten
- Stateful streaming
- Aangepaste staatvolle toepassingen
- Overwegingen voor productie
- Streams monitoren
- Integratie van Unity Catalog
- Streamen met Delta
- Voorbeelden
Azure Databricks heeft specifieke functies voor het werken met semi-gestructureerde gegevensvelden in Avro, protocolbuffers en JSON-gegevenspayloads. Raadpleeg voor meer informatie:
- Lees- en schrijfbewerkingen voor het streamen van Avro-gegevens
- Protocolbuffers lezen en schrijven
- JSON-tekenreeksen queryen
Aanvullende bronnen
Apache Spark biedt een programmeerhandleiding voor gestructureerd streamen met meer informatie over Structured Streaming.
Voor naslaginformatie over structured streaming raadt Databricks de volgende Apache Spark-API-verwijzingen aan: