Przesyłanie strumieniowe w usłudze Azure Databricks
Usługi Azure Databricks można używać do pozyskiwania, przetwarzania, uczenia maszynowego i sztucznej inteligencji niemal w czasie rzeczywistym na potrzeby przesyłania strumieniowego danych.
Usługa Azure Databricks oferuje wiele optymalizacji przesyłania strumieniowego i przetwarzania przyrostowego, w tym:
- Funkcja Delta Live Tables udostępnia składnię deklaratywną do przetwarzania przyrostowego. Zobacz Co to jest delta live tables?.
- Automatyczne ładowanie upraszcza pozyskiwanie przyrostowe z magazynu obiektów w chmurze. Zobacz Co to jest moduł automatycznego ładowania?.
- Wykaz aparatu Unity dodaje nadzór nad danymi do obciążeń przesyłania strumieniowego. Zobacz Używanie wykazu aparatu Unity z przesyłaniem strumieniowym ze strukturą.
Usługa Delta Lake udostępnia warstwę magazynu dla tych integracji. Zobacz Delta table streaming reads and writes (Odczyty i zapisy w tabeli delty).
Aby zapoznać się z obsługą modelu w czasie rzeczywistym, zobacz Obsługa modelu w usłudze Azure Databricks.
-
Poznaj podstawy niemal w czasie rzeczywistym i przyrostowe przetwarzanie za pomocą przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.
-
Poznaj podstawowe pojęcia dotyczące konfigurowania obciążeń przyrostowych i niemal w czasie rzeczywistym za pomocą przesyłania strumieniowego ze strukturą.
Przesyłanie strumieniowe stanowe
Zarządzanie informacjami o stanie pośrednim zapytań przesyłania strumieniowego ze strukturą może pomóc w zapobieganiu nieoczekiwanym opóźnieniu i problemom produkcyjnym.
Zagadnienia dotyczące środowiska produkcyjnego
Ten artykuł zawiera rekomendacje dotyczące konfigurowania obciążeń przetwarzania przyrostowego w środowisku produkcyjnym za pomocą przesyłania strumieniowego ze strukturą w usłudze Azure Databricks w celu spełnienia wymagań dotyczących opóźnień i kosztów aplikacji w czasie rzeczywistym lub wsadowych.
-
Dowiedz się, jak monitorować aplikacje przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.
Integracja wykazu aparatu Unity
Dowiedz się, jak korzystać z wykazu aparatu Unity w połączeniu ze strukturą przesyłania strumieniowego w usłudze Azure Databricks.
Przesyłanie strumieniowe za pomocą funkcji delta
Dowiedz się, jak używać tabel usługi Delta Lake jako źródeł przesyłania strumieniowego i ujścia.
-
Zobacz przykłady użycia przesyłania strumieniowego ze strukturą platformy Spark z usługą Cassandra, usługą Azure Synapse Analytics, notesami języka Python i notesami Języka Scala w usłudze Azure Databricks.
Usługa Azure Databricks ma określone funkcje do pracy z częściowo ustrukturyzowanymi polami danych zawartymi w avro, protokołu i ładunkami danych JSON. Aby dowiedzieć się więcej, zobacz:
- Odczytywanie i zapisywanie przesyłanych strumieniowo danych systemu Avro
- protokołu odczytu i zapisu
- Wykonywanie zapytań względem ciągów JSON
Dodatkowe zasoby
Platforma Apache Spark udostępnia przewodnik programowania przesyłania strumieniowego ze strukturą, który zawiera więcej informacji na temat przesyłania strumieniowego ze strukturą.
Aby uzyskać informacje referencyjne dotyczące przesyłania strumieniowego ze strukturą, usługa Databricks zaleca następujące dokumentacja interfejsu API platformy Apache Spark: