Utiliser des pipelines Delta Live Tables avec un metastore Hive hérité
Cet article détaille les configurations et les mises en garde spécifiques aux pipelines Delta Live Tables configurés pour publier des données dans le metastore Hive hérité. Databricks recommande d’utiliser Unity Catalog pour tous les nouveaux pipelines. Consultez Utiliser Unity Catalog avec vos pipelines Delta Live Tables.
Remarque
Cet article décrit les fonctionnalités du mode de publication par défaut actuel pour les pipelines. Les pipelines créés avant le 5 février 2025 pourraient utiliser le mode de publication hérité et le schéma virtuel LIVE. Consultez le schéma en direct (hérité).
Comment interroger des tables de diffusion en continu et des vues matérialisées dans le metastore Hive hérité
Une fois la mise à jour terminée, vous pouvez afficher le schéma et les tables, interroger les données ou utiliser les données dans les applications en aval.
Une fois publiées, les tables Delta Live Tables peuvent être interrogées à partir de n’importe quel environnement ayant accès au schéma cible. Cela inclut Databricks SQL, les notebooks et d’autres pipelines Delta Live Tables.
Important
Lorsque vous créez une configuration target, seules les tables et les métadonnées associées sont publiées. Les vues ne sont pas publiées dans le metastore.
Configurer un pipeline pour publier sur le metastore Hive
Lors de la création d’un pipeline, vous pouvez spécifier metastore Hive sous les options de stockage pour publier sur le metastore Hive hérité. Vous devez spécifier un schéma cible par défaut lors de la publication sur le metastore Hive. Consultez Configurer un pipeline Delta Live Tables.
Spécifier un emplacement de stockage
Vous pouvez spécifier un emplacement de stockage pour un pipeline qui publie dans le metastore Hive. La principale motivation pour spécifier un emplacement est de contrôler l’emplacement de stockage de l’objet pour les données écrites par votre pipeline. Databricks recommande de toujours spécifier un emplacement de stockage pour éviter d'écrire à la racine de DBFS.
Étant donné que toutes les tables, données, points de contrôle et métadonnées des pipelines Delta Live Tables sont entièrement gérés par Delta Live Tables, la plupart des interactions avec les jeux de données Delta Live Tables se produisent via des tables inscrites dans le metastore Hive ou Unity Catalog.
Configuration du stockage cloud
Pour accéder au stockage Azure, vous devez configurer les paramètres requis, y compris les jetons d’accès, à l’aide des paramètres spark.conf de vos configurations de cluster. Pour obtenir un exemple de configuration de l’accès à un compte de stockage Azure Data Lake Storage Gen2 (ADLS Gen2), consultez Accéder en toute sécurité aux informations d’identification de stockage en utilisant des secrets dans un pipeline.
Exemple de notebooks de code source de pipeline pour les espaces de travail sans catalogue Unity
Vous pouvez importer les notebooks suivants dans un espace de travail Azure Databricks sans le catalogue Unity activé et les utiliser pour déployer un pipeline Delta Live Tables. Importez le notebook de votre langue choisie et spécifiez le chemin d’accès dans le champ code source lors de la configuration d’un pipeline avec l’option de stockage du metastore Hive. Consultez Configurer un pipeline Delta Live Tables.