Se connecter à Qlik Replicate
Important
Cette fonctionnalité est disponible en préversion publique.
Qlik Replicate vous aide à extraire des données de plusieurs sources de données (Oracle, Microsoft SQL Server, SAP, mainframe et autres) vers Delta Lake. La capture de données modifiées automatisée (CDC) de la réplication vous permet d’éviter le gros travail d’extraction manuelle des données, de transfert à l’aide d’un script d’API, de hachage, de mise en lots et d’importation. Qlik Compose automatise la CDC dans Delta Lake.
Notes
Pour plus d’informations sur Glik Sense, une solution qui vous aide à analyser des données dans Delta Lake, consultez Se connecter à Glik Sense.
Pour une démonstration générale de la réplication de Glik Sense, regardez la vidéo YouTube suivante (14 minutes).
Pour une démonstration des pipelines de données avec Glik Sense Replicate, consultez la vidéo YouTube suivante (6 minutes).
Voici les étapes d’utilisation de la réplication Glik Sense avec Azure Databricks.
Étape 1 : Générer un jeton d’accès personnel Databricks
Qlik Replicate s'authentifie auprès d'Azure Databricks en utilisant un jeton d'accès personnel Azure Databricks.
Notes
En guise de bonne pratique de sécurité, quand vous vous authentifiez avec des outils, systèmes, scripts et applications automatisés, Databricks recommande d’utiliser des jetons d’accès personnels appartenant à des principaux de service et non des utilisateurs de l’espace de travail. Pour créer des jetons d’accès pour des principaux de service, consultez la section Gérer les jetons pour un principal de service.
Étape 2 : Configurer un cluster pour prendre en charge les besoins de l’intégration
Qlik Replicate écrira les données sur un chemin de stockage Azure Data Lake et le cluster d'intégration Azure Databricks lira les données à partir de cet emplacement. Par conséquent, le cluster d’intégration nécessite un accès sécurisé au chemin Azure Data Lake Storage.
Sécuriser l’accès à un chemin Azure Data Lake Storage
Pour sécuriser l’accès aux données dans Azure Data Lake Storage (ADLS), vous pouvez utiliser une clé d’accès au compte de stockage Azure (recommandé) ou un principal de service Microsoft Entra ID.
Utiliser une clé d’accès au compte de stockage Azure
Vous pouvez configurer une clé d’accès au compte de stockage dans le cluster d’intégration dans le cadre d’une configuration Spark. Vérifiez que le compte de stockage a accès au conteneur ADLS et au système de fichiers qui sont utilisés pour les données intermédiaires, ainsi qu’au conteneur ADLS et au système de fichiers dans lesquels vous souhaitez écrire les tables Delta Lake. Pour configurer le cluster d’intégration afin qu’il utilise la clé, suivez les étapes décrites dans Se connecter à Azure Data Lake Storage Gen2 et au Stockage Blob.
Utiliser un principal de service Microsoft Entra ID
Vous pouvez configurer un principal de service dans le cluster d’intégration Azure Databricks dans le cadre de la configuration Spark. Vérifiez que le principal de service a accès au conteneur ADLS qui est utilisé pour les données intermédiaires, ainsi qu’au conteneur ADLS dans lequel vous souhaitez écrire les tables Delta. Pour configurer le cluster d’intégration afin qu’il utilise le principal de service, suivez les étapes décrites dans Accéder à ADLS Gen2 à l’aide d’un principal de service.
Spécifier la configuration du cluster
Définissez le mode de cluster sur Standard.
Dans Databricks Runtime Version, sélectionnez une version pour Databricks Runtime.
Activez les écritures optimisées et le compactage automatique en ajoutant les propriétés suivantes à votre configuration Spark :
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigurez votre cluster en fonction de vos besoins en matière d’intégration et de mise à l’échelle.
Pour plus d’informations sur la configuration du cluster, consultez Informations de référence sur la configuration de calcul.
Pour connaître les étapes à suivre pour obtenir l’URL JDBC et le chemin d’accès HTTP, consultez Obtenir les détails de connexion pour une ressource de calcul Azure Databricks.
Étape 3 : Obtenir les détails des connexions JDBC et ODBC pour se connecter à un cluster
Pour connecter un cluster Azure Databricks à Qlik Replicate, vous avez besoin des propriétés de connexion JDBC/ODBC suivantes :
- URL JDBC
- HTTP Path
Étape 4 : configurer la réplication Qlik avec Azure Databricks
Accédez à la page de connexion de Qlik et suivez les instructions.