Streamování v Azure Databricks

Azure Databricks můžete použít k příjmu dat téměř v reálném čase, ke zpracování, strojovému učení a umělé inteligenci pro streamování dat.

Azure Databricks nabízí řadu optimalizací pro streamování a přírůstkové zpracování, včetně následujících:

• DLT poskytuje deklarativní syntaxi pro přírůstkové zpracování. Podívejte se na Co je to DLT?.
• Automatický zavaděč zjednodušuje přírůstkové vkládání z cloudového objektového úložiště. Podívejte se na What is Auto Loader?.
• Katalog Unity přidává zásady správného řízení dat do úloh streamování. Viz Použití katalogu Unity se strukturovaným streamováním.

Delta Lake poskytuje vrstvu úložiště pro tyto integrace. Viz čtení a zápisy streamovaných tabulek Delta.

Viz služba pro nasazení modelů v reálném čase Nasazení modelů pomocí Mosaic AI Model Serving.

• Návod
• Koncepty
• Stavové streamování
• Vlastní stavová aplikace
• Důležité informace o produkčním prostředí
• Monitorování datových proudů
• Integrace Unity katalogu
• Streamování s využitím Delta
• Příklady

Azure Databricks má specifické funkce pro práci s částečně strukturovanými datovými poli obsaženými v Avro, protocol buffers a JSON datech. Další informace najdete v následujících tématech:

• Čtení a zápis streamovaných dat Avro
• Čtení a zápis do protocol buffers
• Dotazování řetězců JSON

Další materiály

Apache Spark poskytuje průvodce programováním strukturovaného streamování, který obsahuje další informace o strukturovaném streamování.

Databricks doporučuje následující odkazy na API Apache Spark jako referenční informace o strukturovaném streamování.

• Python
• Scala
• Java