Używanie kanałów usługi Delta Live Tables z przestarzałym magazynem metadanych Hive

Ten artykuł zawiera szczegółowe informacje o konfiguracjach i zastrzeżeniach specyficznych dla potoków usługi Delta Live Tables skonfigurowanych do publikowania danych w starszym magazynie metadanych Hive. Usługa Databricks zaleca używanie Unity Catalog dla wszystkich nowych przepływów danych. Zobacz Use Unity Catalog with your Delta Live Tables pipelines (Używanie Catalog aparatu Unity za pomocą potoków usługi Delta Live).

Publikowanie zestawów danych potoku w starszym magazynie metadanych Hive

Chociaż to opcjonalne, powinieneś określić cel publikacji tables stworzony przez twój potok, gdy tylko wyjdziesz poza etap rozwoju i testowania nowego potoku. Publikowanie potoku w miejscu docelowym powoduje, że zestawy danych są dostępne do wykonywania zapytań w innym miejscu w środowisku usługi Azure Databricks.

Dane wyjściowe potoku można wykrywać i udostępniać, publikując zestawy danych w magazynie metadanych Hive. Aby opublikować zestawy danych do metastore, wprowadź nazwę schema w polu Target podczas tworzenia pipeline. Możesz również dodać docelową bazę danych do istniejącego potoku.

Wszystkie tables i views utworzone w usłudze Delta Live Tables są przypisane domyślnie do potoku. Musisz opublikować tables do obiektu docelowego schema, aby wykonywać zapytania lub używać zbiorów danych Delta Live Tables poza potokiem, w którym są deklarowane.

Aby opublikować tables z potoków w usłudze Unity Catalog, zobacz Use Unity Catalog with your Delta Live Tables pipelines (Używanie Catalog aparatu Unity za pomocą potoków usługi Delta Live).

Jak opublikować zestawy danych usługi Delta Live Tables w starszym magazynie metadanych Hive

Możesz zadeklarować cel schema dla wszystkich tables w swoim potoku Delta Live Tables, korzystając z pola celu schema w ustawieniach potoku oraz interfejsów użytkownika Tworzenie potoku .

Można również określić schema w konfiguracji JSON, ustawiając wartość target.

Aby opublikować wyniki w docelowym schema, musisz uruchomić update dla potoku.

Tej funkcji można używać z wieloma konfiguracjami środowiska do publikowania w różnych schematach na podstawie środowiska. Można na przykład opublikować w devschema na potrzeby programowania i prodschema dla danych produkcyjnych.

Jak wykonywać zapytania dotyczące przesyłania strumieniowego tables i zmaterializowanego views w archaicznym magazynie metadanych Hive

Po zakończeniu update można wyświetlić schema i tables, wykonać zapytanie o dane lub użyć danych w aplikacjach podrzędnych.

Po opublikowaniu Delta Live Tablestables można wykonywać zapytania z dowolnego środowiska z dostępem do docelowego schema. Obejmuje to usługę Databricks SQL, notesy i inne potoki usługi Delta Live Tables.

Ważne

Podczas tworzenia konfiguracji target publikowane są tylko tables i skojarzone metadane. Views nie są publikowane do metastore.

Określanie lokalizacji przechowywania

Możesz określić lokalizację magazynu dla potoku, który publikuje w magazynie metadanych Hive. Główną motywacją do określenia lokalizacji jest kontrolowanie lokalizacji przechowywania obiektów dla danych zapisywanych przez potok.

Ponieważ wszystkie tables, dane, punkty kontrolne i metadane potoków usługi Delta Live Tables są w pełni zarządzane przez usługę Delta Live Tables, większość interakcji z zestawami danych usługi Delta Live Tables odbywa się za pośrednictwem tables zarejestrowanych w magazynie metadanych Hive lub CatalogUnity.

Konfiguracja magazynu w chmurze

Aby uzyskać dostęp do usługi Azure Storage, należy skonfigurować wymagane parameters, w tym tokeny dostępu, używając ustawień spark.conf w konfiguracjach klastra. Aby zapoznać się z przykładem konfigurowania dostępu do konta magazynu Azure Data Lake Storage Gen2 (ADLS Gen2), zobacz Bezpieczny dostęp do magazynu credentials z sekretami w pipeline.

Przykładowe notatniki z kodem źródłowym łańcucha dla obszarów roboczych bez Unity Catalog

Następujące notesy można zaimportować do obszaru roboczego usługi Azure Databricks bez włączonego środowiska Unity Catalog i użyć ich do wdrożenia potoku usługi Delta Live Tables. Zaimportuj notes wybranego języka i określ ścieżkę w polu Kod źródłowy podczas konfigurowania potoku przy użyciu opcji magazynu metadanych Hive. Zobacz, jak skonfigurować potok Delta Live Tables.

Get rozpoczęto jako Delta Live Tables Python notebook

notesu

Get rozpoczynanie pracy z notesem usługi Delta Live Tables SQL

notatnik