Direktuppspelning i Azure Databricks

Du kan använda Azure Databricks för datainmatning i nära realtid, bearbetning, maskininlärning och AI för strömmande data.

Azure Databricks erbjuder många optimeringar för strömning och inkrementell bearbetning, inklusive följande:

• Delta Live Tables tillhandahåller deklarativ syntax för inkrementell bearbetning. Se Vad är Delta Live Tables?.
• Automatisk inläsning förenklar inkrementell inmatning från molnobjektlagring. Se Vad är automatisk inläsare?.
• Unity Catalog lägger till datastyrning till strömmande arbetsbelastningar. Se Använda Unity Catalog med Strukturerad Strömning.

Delta Lake tillhandahåller lagringsskiktet för dessa integreringar. Se Delta table strömningsläsningar och skrivningar.

Information om realtidsmodellservering finns i Distribuera modeller med hjälp av Mosaic AI Model Serving.

• Självstudie

  Lär dig grunderna i nästan realtid och inkrementell bearbetning med strukturerad direktuppspelning i Azure Databricks.

• Begrepp

  Lär dig grundläggande begrepp för att konfigurera inkrementella och nästan realtidsarbetsbelastningar med strukturerad direktuppspelning.

• Tillståndskänslig direktuppspelning

  Genom att hantera mellanliggande tillståndsinformation för tillståndskänsliga frågor för strukturerad direktuppspelning kan du förhindra oväntade svarstider och produktionsproblem.

• Produktionsöverväganden

  Denna artikel innehåller rekommendationer för att konfigurera inkrementella bearbetningslaster för produktion med Strukturerad direktuppspelning i Azure Databricks för att uppfylla svarstids- och kostnadskraven för realtids- eller batchprogram.

• Övervaka strömmar

  Lär dig hur du övervakar strukturerade strömningsprogram i Azure Databricks.

• Unity Catalog integration

  Lär dig hur du använder Unity Catalog tillsammans med strukturerad direktuppspelning i Azure Databricks.

• Direktuppspelning med Delta

  Lär dig hur du använder Delta Lake tables som strömmande källor och mottagare.

• Exempel

  Se exempel på hur du använder Spark Structured Streaming med Cassandra, Azure Synapse Analytics, Python Notebooks och Scala Notebooks i Azure Databricks.

Azure Databricks har specifika funktioner för att arbeta med halvstrukturerade datafält som finns i Avro, protokollbuffertar och JSON-datanyttolaster. Mer information finns i:

• Läsa och skriva Avro-direktuppspelningsdata
• Läs- och skrivprotokollbuffertar
• Fråga efter JSON-strängar

Ytterligare resurser

Apache Spark tillhandahåller en programmeringsguide för strukturerad direktuppspelning som innehåller mer information om strukturerad direktuppspelning.

För referensinformation om strukturerad direktuppspelning rekommenderar Databricks följande Apache Spark API-referenser:

• Python
• Scala
• Java