Verbinding maken met Qlik Repliceren
Belangrijk
Deze functie is beschikbaar als openbare preview.
Qlik Replicate helpt u bij het ophalen van gegevens uit meerdere gegevensbronnen (Oracle, Microsoft SQL Server, SAP, mainframe en meer) in Delta Lake. Met de geautomatiseerde wijzigingsgegevensopname (CDC) van repliceren kunt u het zware werk voorkomen van het handmatig extraheren van gegevens, het overdragen met behulp van een API-script, het hakken, faseren en importeren. Qlik Compose automatiseert het CDC in Delta Lake.
Notitie
Zie Verbinding maken met Qlik Sense voor informatie over Qlik Sense, een oplossing waarmee u gegevens in Delta Lake kunt analyseren.
Bekijk de volgende YouTube-video (14 minuten) voor een algemene demonstratie van Qlik Replicate Repliceren.
Zie de volgende YouTube-video (6 minuten) voor een demonstratie van gegevenspijplijnen met Qlik Repliceren.
Hier volgen de stappen voor het gebruik van Qlik Replicate met Azure Databricks.
stap 1: een persoonlijk databricks-toegangstoken genereren
Qlik Replicate verifieert met Azure Databricks met behulp van een persoonlijk toegangstoken van Azure Databricks.
Notitie
Als best practice voor beveiliging, wanneer u zich verifieert met geautomatiseerde hulpprogramma's, systemen, scripts en apps, raadt Databricks u aan om persoonlijke toegangstokens te gebruiken die behoren tot service-principals in plaats van werkruimtegebruikers. Zie Tokens voor een service-principal beheren om tokens voor service-principals te maken.
stap 2: Een cluster instellen ter ondersteuning van integratiebehoeften
Qlik Replicate schrijft gegevens naar een Azure Data Lake Storage-pad en het Azure Databricks-integratiecluster leest gegevens van die locatie. Daarom vereist het integratiecluster beveiligde toegang tot het Azure Data Lake Storage-pad.
Beveiligde toegang tot een Azure Data Lake Storage-pad
Als u de toegang tot gegevens in Azure Data Lake Storage (ADLS) wilt beveiligen, kunt u een toegangssleutel voor een Azure-opslagaccount (aanbevolen) of een Service-principal voor Microsoft Entra ID gebruiken.
Een toegangssleutel voor een Azure-opslagaccount gebruiken
U kunt een toegangssleutel voor een opslagaccount configureren in het integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat het opslagaccount toegang heeft tot de ADLS-container en het bestandssysteem dat wordt gebruikt voor faseringsgegevens en de ADLS-container en het bestandssysteem waar u de Delta Lake-tabellen wilt schrijven. Als u het integratiecluster wilt configureren voor het gebruik van de sleutel, volgt u de stappen in Verbinding maken met Azure Data Lake Storage Gen2 en Blob Storage.
Een Microsoft Entra ID-service-principal gebruiken
U kunt een service-principal configureren in het Azure Databricks-integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat de service-principal toegang heeft tot de ADLS-container die wordt gebruikt voor faseringsgegevens en de ADLS-container waar u de Delta-tabellen wilt schrijven. Als u het integratiecluster wilt configureren voor het gebruik van de service-principal, volgt u de stappen in Access ADLS Gen2 met een service-principal.
De clusterconfiguratie opgeven
Stel clustermodus in op Standard-.
Stel Databricks Runtime-versie in op een Databricks Runtime-versie.
Geoptimaliseerde schrijfbewerkingen en automatische compressie inschakelen door de volgende eigenschappen toe te voegen aan uw Spark-configuratie:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigureer uw cluster, afhankelijk van uw integratie- en schaalbehoeften.
Zie de referentie voor compute-configuratie voor meer informatie over de clusterconfiguratie.
Zie Verbindingsgegevens ophalen voor een Azure Databricks-rekenresource voor de stappen voor het verkrijgen van de JDBC-URL en het HTTP-pad.
Stap 3: JDBC- en ODBC-verbindingsgegevens verkrijgen om verbinding te maken met een cluster
Als u een Azure Databricks-cluster wilt verbinden met Qlik Replicate, hebt u de volgende eigenschappen van de JDBC-/ODBC-verbinding nodig:
- JDBC-URL
- HTTP-pad
Stap 4: Qlik-replicatie configureren met Azure Databricks
Ga naar de aanmeldingspagina van Qlik en volg de instructies.