Partager via

Gérer les metastores du catalogue Unity

  • Article

Cet article explique comment mettre à jour, supprimer et gérer le comportement des metastores Unity Catalog dans votre compte Azure Databricks.

Pour en savoir plus sur les metastores du catalogue Unity et comment les créer, consultez Créer un metastore de catalogue Unity.

Permettre à un metastore d’être automatiquement affecté à de nouveaux espaces de travail

Pour affecter automatiquement un metastore de catalogue Unity existant à de nouveaux espaces de travail dans la région de ce metastore, un administrateur de compte peut activer l’attribution automatique de l’espace de travail pour le metastore. Si ce paramètre n’est pas sélectionné, l’administrateur qui crée un espace de travail dans la même région que le metastore doit activer manuellement l’espace de travail pour le catalogue Unity et sélectionner le metastore dans une liste déroulante.

Avant qu’un administrateur de compte active cette option, il doit être sûr de comprendre les impacts suivants sur les nouveaux espaces de travail :

Pour activer l’affectation automatique :

  1. En tant qu’administrateur de compte, accédez à la console de compte Azure Databricks.
  2. Cliquez sur Icône Catalogue Catalogue.
  3. Sélectionnez votre metastore.
  4. Sous l’onglet Configuration , sous Attribution d’espace de travail, sélectionnez Affecter automatiquement de nouveaux espaces de travail dans <region> ce metastore.
  5. Dans la boîte de dialogue de confirmation, cliquez sur Activer l’attribution automatique.

Ajouter un stockage managé à un metastore existant

Le stockage managé au niveau du metastore est facultatif et n’est pas inclus pour les metastores créés automatiquement. Vous pouvez ajouter un stockage au niveau du metastore à votre metastore si vous préférez un modèle d’isolation des données qui stocke les données de manière centralisée pour plusieurs espaces de travail. Vous avez besoin d’un stockage au niveau du metastore si vous souhaitez partager des notebooks à l’aide du partage Delta ou si vous êtes un partenaire Azure Databricks qui utilise des emplacements intermédiaires personnels.

Consultez également Spécifier un emplacement de stockage managé dans Unity Catalog.

Spécifications

  • Vous devez disposer d’au moins un espace de travail attaché au metastore Unity Catalog.
  • Autorisations Azure Databricks requises :
    • Pour créer un emplacement externe, vous devez être un administrateur de metastore ou un utilisateur disposant des privilèges CREATE EXTERNAL LOCATION et CREATE STORAGE CREDENTIAL.
    • Pour ajouter l’emplacement de stockage à la définition du metastore, vous devez être administrateur de compte. Pour obtenir des instructions sur l’activation du rôle d’administrateur de compte dans votre compte, consultez Établir votre premier administrateur de compte.
  • Autorisations de locataire Azure requises :
    • Permission de créer un compte de stockage à utiliser avec Azure Data Lake Storage Gen2. Ce compte de stockage doit avoir un espace de noms hiérarchique. Consultez Créer un compte de stockage à utiliser avec Azure Data Lake Storage Gen2.
    • Autorisation de créer une nouvelle ressource pour contenir une identité managée affectée par le système. Cela nécessite que vous soyez Contributeur ou Propriétaire d’un groupe de ressources dans un abonnement quelconque du locataire.

Étape 1 : Créer l’emplacement de stockage

Suivez les instructions de l’Étape 1 (facultatif) : Créer un conteneur de stockage pour le stockage managé au niveau du metastore et l’Étape 2 (facultatif) : Créer une identité managée pour accéder à l’emplacement de stockage managé pour créer un conteneur de stockage dans Azure Data Lake Storage Gen2 et un connecteur d’accès Azure Databricks qui contient une identité managée qui a accès au conteneur de stockage.

Étape 2 : Créer un emplacement externe dans Unity Catalog

Dans cette étape, vous créez un emplacement externe dans Unity Catalog qui fait référence au chemin ADLS Gen2 que vous venez de créer.

  1. Créez des informations d’identification de stockage.

    Les informations d’identification de stockage représentent l’identité managée Azure que vous avez créée à l’Étape 1 : Créer l’emplacement de stockage.

    Suivez les instructions fournies dans Créer des informations d’identification de stockage pour la connexion à Azure Data Lake Storage Gen2.

  2. Créez un emplacement externe qui référence les informations d’identification de stockage que vous avez créées à l’étape précédente et le conteneur de stockage ADLS Gen 2 que vous avez créé à l’Étape 1 : Créer l’emplacement de stockage.

    Suivez les instructions fournies dans Créer un emplacement externe pour connecter le stockage cloud à Azure Databricks.

  3. Accordez-vous le privilège CREATE MANAGED STORAGE sur l’emplacement externe.

    1. Cliquez sur le nom de l’emplacement externe pour ouvrir le volet d’informations.
    2. Sous l'onglet Autorisations, cliquez sur Octroyer.
    3. Dans la boîte de dialogue Accorder sur <external location> sélectionnez-vous dans le champ Principaux, puis sélectionnez CREATE MANAGED STORAGE.
    4. Cliquez sur Octroyer.

Étape 3 : Ajouter l’emplacement de stockage au metastore

Une fois que vous avez créé un emplacement externe qui représente le compartiment de stockage du metastore, vous pouvez l’ajouter au metastore.

  1. En tant qu’administrateur de compte, connectez-vous à la console de compte.

  2. Cliquez sur Icône Catalogue Catalogue.

  3. Cliquez sur le nom du metastore.

  4. Vérifiez que vous êtes l’Administrateur du metastore.

    Si ce n’est pas le cas, cliquez sur Modifier et attribuez-vous le statut d’administrateur du metastore. Vous pouvez vous le désattribuer lorsque vous avez terminé cette procédure.

  5. Sous l’onglet Configuration , en regard du chemin d’accès d’ADLS Gen2, cliquez sur Définir.

  6. Dans la boîte de dialogue Définir la racine du metastore, entrez le chemin d’accès d’ADLS Gen2 que vous avez utilisé pour créer l’emplacement externe, puis cliquez sur Mettre à jour.

    Vous ne pouvez pas modifier ce chemin une fois que vous l’avez défini.

Ajouter un administrateur de metastore

Les administrateurs de metastore sont facultatifs, mais il existe des situations où vous en souhaiterez peut-être un pour votre metastore. Consultez Attribuer un administrateur de metastore.

Supprimer un metastore

Si vous fermez votre compte Azure Databricks ou si vous avez une autre raison de supprimer l’accès aux données gérées par votre metastore Unity Catalog, vous pouvez supprimer le metastore.

Avertissement

Tous les objets gérés par le metastore deviennent inaccessibles avec les espaces de travail Azure Databricks. Il est impossible d’annuler cette opération.

Les données et métadonnées de table managées sont supprimées automatiquement après 30 jours. Les données de table externes dans votre stockage cloud ne sont pas affectées par la suppression du metastore.

Pour supprimer un metastore :

  1. En tant qu’administrateur de metastore, connectez-vous à la console de compte.
  2. Cliquez sur Icône Catalogue Catalogue.
  3. Cliquez sur le nom du metastore.
  4. Sous l’onglet Configuration, cliquez sur le menu à trois boutons tout en haut à droite et sélectionnez Supprimer.
  5. Dans la boîte de dialogue de confirmation, entrez le nom du metastore et cliquez sur Supprimer.