Używanie potoków delta Live Tables ze starszym magazynem metadanych Hive
Ten artykuł zawiera szczegółowe informacje o konfiguracjach i zastrzeżeniach specyficznych dla potoków tabel delta live tables skonfigurowanych do publikowania danych w starszym magazynie metadanych Hive. Usługa Databricks zaleca używanie wykazu aparatu Unity dla wszystkich nowych potoków. Zobacz Używanie wykazu aparatu Unity z potokami delta Live Tables.
Publikowanie zestawów danych potoku w starszym magazynie metadanych Hive
Opcjonalnie należy określić element docelowy do publikowania tabel utworzonych przez potok w dowolnym momencie, gdy przejdziesz poza programowanie i testowanie dla nowego potoku. Publikowanie potoku w miejscu docelowym powoduje, że zestawy danych są dostępne do wykonywania zapytań w innym miejscu w środowisku usługi Azure Databricks.
Dane wyjściowe potoku można wykrywać i udostępniać, publikując zestawy danych w magazynie metadanych Hive. Aby opublikować zestawy danych w magazynie metadanych, wprowadź nazwę schematu w polu Target podczas tworzenia potoku. Możesz również dodać docelową bazę danych do istniejącego potoku.
Wszystkie tabele i widoki utworzone w tabelach delta live są domyślnie lokalne dla potoku. Tabele należy opublikować w schemacie docelowym w celu wykonywania zapytań lub używania zestawów danych delta Live Tables poza potokiem, w którym są deklarowane.
Aby opublikować tabele z potoków w wykazie aparatu Unity, zobacz Używanie wykazu aparatu Unity z potokami tabel różnicowych na żywo.
Jak opublikować zestawy danych usługi Delta Live Tables w starszym magazynie metadanych Hive
Można zadeklarować schemat docelowy dla wszystkich tabel w potoku Delta Live Tables przy użyciu pola Schemat docelowy w ustawieniach potoku i Tworzenie interfejsów użytkownika potoku .
Możesz również określić schemat w konfiguracji JSON, ustawiając target wartość.
Aby opublikować wyniki w schemacie docelowym, należy uruchomić aktualizację potoku.
Tej funkcji można używać z wieloma konfiguracjami środowiska do publikowania w różnych schematach na podstawie środowiska. Można na przykład opublikować w schemacie dev na potrzeby programowania i prod schematu dla danych produkcyjnych.
Jak wykonywać zapytania dotyczące tabel przesyłania strumieniowego i zmaterializowane widoki w starszym magazynie metadanych Hive
Po zakończeniu aktualizacji można wyświetlić schemat i tabele, wykonać zapytanie dotyczące danych lub użyć danych w aplikacjach podrzędnych.
Po opublikowaniu tabel usługi Delta Live Tables można wykonywać zapytania z dowolnego środowiska z dostępem do schematu docelowego. Obejmuje to między innymi potoki usługi Databricks SQL, notesy i inne potoki tabel delta Live Tables.
Ważne
Podczas tworzenia target konfiguracji publikowane są tylko tabele i skojarzone metadane. Widoki nie są publikowane w magazynie metadanych.
Określanie lokalizacji przechowywania
Możesz określić lokalizację magazynu dla potoku, który publikuje w magazynie metadanych Hive. Główną motywacją do określenia lokalizacji jest kontrolowanie lokalizacji przechowywania obiektów dla danych zapisywanych przez potok.
Ponieważ wszystkie tabele, dane, punkty kontrolne i metadane potoków tabel delta Live Tables są w pełni zarządzane przez tabele Delta Live Tables, większość interakcji z zestawami danych delta Live Tables odbywa się za pośrednictwem tabel zarejestrowanych w magazynie metadanych Hive lub wykazie aparatu Unity.
Konfiguracja magazynu w chmurze
Aby uzyskać dostęp do usługi Azure Storage, należy skonfigurować wymagane parametry, w tym tokeny dostępu, przy użyciu spark.conf ustawień w konfiguracjach klastra. Aby zapoznać się z przykładem konfigurowania dostępu do konta magazynu usługi Azure Data Lake Storage Gen2 (ADLS Gen2), zobacz Bezpieczne uzyskiwanie dostępu do poświadczeń magazynu przy użyciu wpisów tajnych w potoku.
Przykładowe notesy kodu źródłowego potoku dla obszarów roboczych bez wykazu aparatu Unity
Następujące notesy można zaimportować do obszaru roboczego usługi Azure Databricks bez włączonego wykazu aparatu Unity i użyć ich do wdrożenia potoku delta Live Tables. Zaimportuj notes wybranego języka i określ ścieżkę w polu Kod źródłowy podczas konfigurowania potoku przy użyciu opcji magazynu metadanych Hive. Zobacz Konfigurowanie potoku tabel na żywo delty.