Připojení k replikaci Qlik
Důležité
Tato funkce je ve verzi Public Preview.
Qlik Replication pomáhá načíst data z několika zdrojů dat (Oracle, Microsoft SQL Server, SAP, sálový počítač a další) do Delta Lake. Replikace automatizovaného zachytávání dat změn (CDC) pomáhá vyhnout se ručnímu extrahování dat, přenosu pomocí skriptu rozhraní API, rozsekávání, přípravy a importu. Qlik Compose automatizuje CDC do Delta Lake.
Poznámka:
Informace o Qlik Sense, řešení, které vám pomůže analyzovat data v Delta Lake, najdete v tématu Připojení k Qlik Sense.
Obecnou ukázku replikace Qliku najdete v následujícím videu YouTube (14 minut).
Ukázku datových kanálů s replikou Qlik najdete v následujícím videu YouTube (6 minut).
Tady je postup použití replikace Qlik s Azure Databricks.
krok 1: Generate osobní přístupový token pro Databricks
Qlik Replikuje se pomocí Azure Databricks pomocí tokenu pat pro Azure Databricks.
Poznámka:
Osvědčeným postupem při ověřování pomocí automatizovaných nástrojů, systémů, skriptů a aplikací doporučuje Databricks místo uživatelů pracovního prostoru používat tokeny patního přístupu, které patří instančním objektům . Pokud chcete vytvořit tokeny pro instanční objekty, přečtěte si téma Správa tokenů instančního objektu.
krok 2: Set nastavení clusteru pro podporu potřeb integrace
Replikace Qlik zapíše data do cesty azure Data Lake Storage a integrační cluster Azure Databricks bude číst data z daného umístění. Proto integrační cluster vyžaduje zabezpečený přístup k cestě Azure Data Lake Storage.
Zabezpečený přístup k cestě azure Data Lake Storage
K zabezpečení přístupu k datům v Azure Data Lake Storage (ADLS) můžete použít přístupový klíč účtu úložiště Azure (doporučeno) nebo instanční objekt Microsoft Entra ID.
Použití přístupového klíče účtu úložiště Azure
Přístupový klíč účtu úložiště můžete nakonfigurovat v integračním clusteru jako součást konfigurace Sparku. Ujistěte se, že účet úložiště má přístup ke kontejneru a systému souborů ADLS používanému pro přípravu dat, a ke kontejneru a systému souborů ADLS where, do kterého chcete zapsat Delta Lake tables. Pokud chcete nakonfigurovat cluster integrace tak, aby používal klíč, postupujte podle kroků v tématu Připojení k Azure Data Lake Storage Gen2 a Blob Storage.
Použití instančního objektu Microsoft Entra ID
Instanční objekt můžete nakonfigurovat v clusteru integrace Azure Databricks jako součást konfigurace Sparku. Ujistěte se, že má služební principál přístup ke kontejneru ADLS, který se používá pro přípravu dat, a ke kontejneru ADLS where, do kterého chcete napsat rozdílová data tables. Pokud chcete nakonfigurovat integrační cluster tak, aby používal instanční objekt, postupujte podle kroků v Accessu ADLS Gen2 s instančním objektem.
Zadání konfigurace clusteru
Set režim clusterustandardní.
Set verze Databricks Runtime na verzi modulu runtime Databricks.
Povolte optimalizované zápisy a automatické komprimace přidáním následujících vlastností do konfigurace Sparku:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueNakonfigurujte cluster v závislosti na potřebách integrace a škálování.
Podrobnosti o konfiguraci clusteru najdete v referenčních informacích ke konfiguraci výpočetních prostředků.
Viz podrobnosti připojení Get pro výpočetní prostředek Azure Databricks pro kroky k získání adresy URL „JDBC“ a cesty „HTTP“.
Krok 3: Získání podrobností o připojení JDBC a ODBC pro připojení ke clusteru
Pokud chcete připojit cluster Azure Databricks k replikaci Qlik, potřebujete následující vlastnosti připojení JDBC/ODBC:
- JDBC URL
- Cesta HTTP
Krok 4: Konfigurace replikace Qlik pomocí Azure Databricks
Přejděte na přihlašovací stránku Qlik a postupujte podle pokynů.