Przesyłanie strumieniowe w usłudze Azure Databricks

Usługi Azure Databricks można używać do pozyskiwania, przetwarzania, uczenia maszynowego i sztucznej inteligencji niemal w czasie rzeczywistym na potrzeby przesyłania strumieniowego danych.

Usługa Azure Databricks oferuje wiele optymalizacji przesyłania strumieniowego i przetwarzania przyrostowego, w tym:

• Funkcja Delta Live Tables udostępnia składnię deklaratywną do przetwarzania przyrostowego. Zobacz Co to jest Delta Live Tables?.
• Automatyczne ładowanie upraszcza pozyskiwanie przyrostowe z magazynu obiektów w chmurze. Zobacz Co to jest moduł automatycznego ładowania?.
• Katalog Unity dodaje zarządzanie danymi do obciążeń związanych z przesyłaniem strumieniowym. Zobacz Korzystanie z katalogu Unity z przesyłaniem strumieniowym struktur danych.

Usługa Delta Lake udostępnia warstwę magazynu dla tych integracji. Zobacz przesyłanie strumieniowe odczytów i zapisów tabeli Delta .

Aby dowiedzieć się o serwowaniu modeli w czasie rzeczywistym, zobacz Deploy models using Mosaic AI Model Serving.

• Samouczek

  Poznaj podstawy niemal w czasie rzeczywistym i przyrostowe przetwarzanie za pomocą przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.

• Pojęcia

  Poznaj podstawowe pojęcia dotyczące konfigurowania obciążeń przyrostowych i niemal w czasie rzeczywistym za pomocą przesyłania strumieniowego ze strukturą.

• Przesyłanie strumieniowe stanowe

  Zarządzanie informacjami o stanie pośrednim zapytań przesyłania strumieniowego ze strukturą może pomóc w zapobieganiu nieoczekiwanym opóźnieniu i problemom produkcyjnym.

• Zagadnienia dotyczące środowiska produkcyjnego

  Ten artykuł zawiera rekomendacje dotyczące konfigurowania obciążeń przetwarzania przyrostowego w środowisku produkcyjnym za pomocą przesyłania strumieniowego ze strukturą w usłudze Azure Databricks w celu spełnienia wymagań dotyczących opóźnień i kosztów aplikacji w czasie rzeczywistym lub wsadowych.

• Monitorowanie strumieni

  Dowiedz się, jak monitorować aplikacje przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.

• Integracja z katalogiem Unity

  Dowiedz się, jak korzystać z Unity Catalog w połączeniu ze strukturalnym przesyłaniem strumieniowym w usłudze Azure Databricks.

• Przesyłanie strumieniowe za pomocą funkcji delta

  Dowiedz się, jak używać tabel usługi Delta Lake jako źródeł przesyłania strumieniowego i ujścia.

• Przykłady

  Zobacz przykłady użycia przesyłania strumieniowego ze strukturą platformy Spark z usługą Cassandra, usługą Azure Synapse Analytics, notesami języka Python i notesami Języka Scala w usłudze Azure Databricks.

Usługa Azure Databricks ma określone funkcje do pracy z częściowo ustrukturyzowanymi polami danych zawartymi w avro, protokołu i ładunkami danych JSON. Aby dowiedzieć się więcej, zobacz:

• Odczytywanie i zapisywanie przesyłanych strumieniowo danych systemu Avro
• protokołu odczytu i zapisu
• Wykonywanie zapytań względem ciągów JSON

Dodatkowe zasoby

Platforma Apache Spark udostępnia przewodnik programowania przesyłania strumieniowego ze strukturą, który zawiera więcej informacji na temat przesyłania strumieniowego ze strukturą.

Aby uzyskać informacje referencyjne dotyczące przesyłania strumieniowego ze strukturą, usługa Databricks zaleca następujące dokumentacja interfejsu API platformy Apache Spark:

• Python
• Scala
• Java