Odniesienie do właściwości usługi Delta Live Tables

Ten artykuł zawiera odniesienie do specyfikacji ustawień JSON Delta Live Tables i właściwości table w usłudze Azure Databricks. Aby uzyskać więcej informacji na temat używania tych różnych właściwości i konfiguracji, zobacz następujące artykuły:

• Konfigurować potok Delta Live Tables
• Interfejs API REST potoków

konfiguracje potoku usługi Delta Live Tables

Pola
id Typ: string Globalnie unikatowa identifier dla tego potoku. identifier jest przypisywany przez system i nie można go zmienić.
name Typ: string Przyjazna dla użytkownika nazwa tego potoku. Nazwa może służyć do identyfikowania zadań potoku w interfejsie użytkownika.
storage Typ: string Lokalizacja w systemie plików DBFS lub w chmurze where, gdzie przechowywane są dane wyjściowe i metadane wymagane do wykonania pipeline'u. Tables i metadane są przechowywane w podkatalogach tej lokalizacji. storage Jeśli ustawienie nie zostanie określone, system będzie domyślnie ustawiać lokalizację w programie dbfs:/pipelines/. Nie storage można zmienić ustawienia po utworzeniu potoku.
configuration Typ: object Opcjonalna list ustawień do dodania do konfiguracji Spark klastra, który uruchomi potok. Te ustawienia są odczytywane przez środowisko uruchomieniowe Delta Live Tables i są dostępne dla zapytań dotyczących potoku za pośrednictwem konfiguracji Spark. Elementy muszą być sformatowane jako key:value pary.
libraries Typ: array of objects Tablica notesów zawierająca kod potoku i wymagane artefakty.
clusters Typ: array of objects Tablica specyfikacji klastrów do uruchomienia potoku. Jeśli nie zostanie to określone, potoki będą automatycznie select domyślną konfigurację klastra dla potoku.
development Typ: boolean Flaga wskazująca, czy należy uruchomić potok w programie development lub production tryb. Domyślna wartość to true
notifications Typ: array of objects Opcjonalna tablica specyfikacji dla powiadomień e-mail po zakończeniu potoku update kończy się niepowodzeniem z błędem z możliwością ponawiania próby, niepowodzeniem z błędem niemożliwym do ponowienia próby lub niepowodzeniem przepływu.
continuous Typ: boolean Flaga wskazująca, czy potok ma być uruchomiony w sposób ciągły. Domyślna wartość to false.
target Typ: string Nazwa bazy danych do utrwalania danych wyjściowych potoku. Skonfigurowanie target ustawienia umożliwia wyświetlanie i wykonywanie zapytań dotyczących danych wyjściowych potoku z interfejsu użytkownika usługi Azure Databricks.
channel Typ: string Wersja środowiska uruchomieniowego usługi Delta Live Tables, która ma być używana. Obsługiwane values to: - preview aby przetestować potok przy użyciu nadchodzących zmian w wersji środowiska uruchomieniowego. - current aby użyć bieżącej wersji środowiska uruchomieniowego. Pole channel jest opcjonalne. Wartość domyślna to current. Usługa Databricks zaleca używanie bieżącej wersji środowiska uruchomieniowego dla obciążeń produkcyjnych.
edition Wpisz string Wersja produktu Delta Live Tables do uruchomienia potoku. To ustawienie umożliwia wybranie najlepszej wersji produktu na podstawie wymagań potoku: - CORE do uruchamiania obciążeń pozyskiwania strumieniowego. - PRO w celu uruchamiania pozyskiwania i zmieniania obciążeń przechwytywania danych (CDC). pl-PL: - ADVANCED aby uruchamiać obciążenia przetwarzania strumieniowego, obciążenia CDC i obciążenia, które wymagają wymagań usługi Delta Live Tables w celu wymuszenia ograniczeń jakości danych. Pole edition jest opcjonalne. Wartość domyślna to ADVANCED.
photon Typ: boolean Flaga wskazująca, czy używać funkcji Co to jest photon? do uruchomienia potoku. Photon to aparat Spark o wysokiej wydajności usługi Azure Databricks. Potoki z obsługą fotonu są rozliczane według innej stawki niż potoki inne niż photon. Pole photon jest opcjonalne. Domyślna wartość to false.
pipelines.maxFlowRetryAttempts Typ: int Jeśli podczas potoku updatewystąpi błąd z możliwością ponawiania próby, maksymalna liczba ponownych prób przepływu to wartość przed zaniechaniem potoku update. Ustawienie domyślne: dwie próby ponawiania prób. W przypadku awarii, którą można ponowić, środowisko uruchomieniowe Delta Live Tables podejmuje próbę uruchomienia przepływu trzy razy, w tym oryginalną próbę.
pipelines.numUpdateRetryAttempts Typ: int Jeśli podczas updatewystąpi błąd z możliwością ponawiania próby, jest to maksymalna liczba ponownych prób update przed trwałym niepowodzeniem update. Ponowienie próby jest uruchamiane jako pełny update. Ten parametr dotyczy tylko potoków działających w trybie produkcyjnym. Ponowne próby nie są podejmowane, jeśli potok działa w trybie programowania lub po uruchomieniu Validateupdate. Domyślny: - Pięć dla uruchomionych potoków. - Nieograniczone dla potoków ciągłych.

właściwości usługi Delta Live Tablestable

Oprócz właściwości table obsługiwanych przez Delta Lake, można set następujące właściwości table.

Table właściwości
pipelines.autoOptimize.managed Domyślnie: true Włącza lub wyłącza automatycznie zaplanowaną optymalizację tego table.
pipelines.autoOptimize.zOrderCols Ustawienie domyślne: Brak Opcjonalny ciąg znaków, oddzielany przecinkami, zawierający list nazw column według kolejności tego table. Na przykład pipelines.autoOptimize.zOrderCols = "year,month"
pipelines.reset.allowed Domyślnie: true Określa, czy dla tego tabledozwolony jest pełny refresh.

Interwał wyzwalacza potoków

Można określić częstotliwość wyzwalania potoku dla całego potoku Delta Live Tables lub jako część deklaracji zestawu danych. Zobacz Set czas między wyzwoleniami w przypadku potoków ciągłych.

pipelines.trigger.interval

Wartość domyślna jest oparta na typie przepływu: - Pięć sekund dla zapytań przesyłania strumieniowego. — Minuta wykonywania zapytań, gdy wszystkie dane wejściowe pochodzą ze źródeł różnicowych. — Dziesięć minut dla pełnych zapytań, gdy niektóre źródła danych mogą nie być delty. Wartość jest liczbą oraz jednostką czasową. Poniżej przedstawiono prawidłowe jednostki czasu: - second, seconds - minute, minutes - hour, hours - day, days Można użyć jednostki pojedynczej lub mnogiej podczas definiowania wartości, na przykład: - {"pipelines.trigger.interval" : "1 hour"} - {"pipelines.trigger.interval" : "10 seconds"} - {"pipelines.trigger.interval" : "30 second"} - {"pipelines.trigger.interval" : "1 minute"} - {"pipelines.trigger.interval" : "10 minutes"} - {"pipelines.trigger.interval" : "10 minute"}

Atrybuty klastra, które nie są konfigurowalne przez użytkownika

Ponieważ Delta Live Tables zarządza cyklami życia klastrów, wiele ustawień klastra jest set przez Delta Live Tables i nie można ich skonfigurować ręcznie przez użytkowników ani w konfiguracji potoku, ani w zasadach klastra używanych w potoku. W poniższym table wymieniono te ustawienia i dlaczego nie można ich ręcznie set.

Pola
cluster_name Usługa Delta Live Tables ustawia nazwy klastrów używanych do uruchamiania aktualizacji potoku. Tych nazw nie można zastąpić.
data_security_mode access_mode Te values są automatycznie set przez system.
spark_version Klastry usługi Delta Live Tables działają w niestandardowej wersji środowiska Databricks Runtime, która jest stale aktualizowana w celu uwzględnienia najnowszych funkcji. Wersja platformy Spark jest dołączona do wersji środowiska Databricks Runtime i nie można jej zastąpić.
autotermination_minutes Ponieważ Delta Live Tables zarządza logiką automatycznego zakończenia i ponownego użycia klastra, nie można zmienić czasu automatycznego zakończenia klastra.
runtime_engine Chociaż to pole można kontrolować, włączając aplikację Photon dla potoku, nie można bezpośrednio set tej wartości.
effective_spark_version Ta wartość jest automatycznie ustawiana jako set przez system.
cluster_source To pole jest set przez system i jest tylko do odczytu.
docker_image Ponieważ usługa Delta Live Tables zarządza cyklem życia klastra, nie można użyć niestandardowego kontenera z klastrami potoków.
workload_type Ta wartość jest set przez system i nie można jej zastąpić.