Unity Catalog-metastores beheren

In dit artikel wordt beschreven hoe u het gedrag van Unity Catalog-metastores in uw Azure Databricks-account bijwerkt, verwijdert en beheert.

Zie Een Unity Catalog-metastore makenvoor meer informatie over Unity Catalog-metastores en hoe u deze kunt maken.

Een metastore automatisch toewijzen aan nieuwe werkruimten inschakelen

Als u een bestaande Unity Catalog-metastore automatisch wilt toewijzen aan nieuwe werkruimten in de regio van die metastore, kan een accountbeheerder automatische toewijzing van werkruimten inschakelen voor de metastore. Als deze instelling niet is geselecteerd, moet de beheerder die een werkruimte maakt in dezelfde regio als de metastore de werkruimte voor Unity Catalog handmatig inschakelen en de metastore selecteren in een vervolgkeuzelijst.

Voordat een accountbeheerder deze optie inschakelt, moet u weten wat de volgende gevolgen zijn voor nieuwe werkruimten:

• Er wordt een werkruimtecatalogus gemaakt en alle werkruimtegebruikers hebben de vereiste bevoegdheden om er objecten in te maken. Zie Automatische activering van Unity Catalog.
• Werkruimtebeheerders hebben de machtigingen die nodig zijn om beveiligbare objecten op metastore-niveau te maken, zoals catalogi en externe locaties. Zie werkruimtebeheerdersbevoegdheden wanneer werkruimten automatisch zijn ingeschakeld voor Unity Catalog.
• Als opslag op metastore-niveau al is ingeschakeld voor de metastore, kan de werkruimte die opslag gebruiken. Zie Een beheerde opslaglocatie opgeven in Unity Catalog.
• Als een metastore-beheerder is gedefinieerd voor de metastore, kunnen ze de toegang beheren tot alle beveiligbare objecten in alle werkruimten die zijn gekoppeld aan de metastore. Zie Metastore-beheerders.
• De instelling delta delen (ingeschakeld of uitgeschakeld) voor de metastore is van toepassing op alle werkruimten die zijn gekoppeld aan de metastore. Zie Delta Sharing instellen voor uw account (voor providers).

Automatische toewijzing inschakelen:

1. Als accountbeheerder gaat u naar de Azure Databricks-accountconsole.
2. Klik op Catalogus.
3. Selecteer uw metastore.
4. Selecteer op het tabblad Configuratie, onder werkruimtetoewijzing, Automatisch nieuwe werkruimten in <region> toewijzen aan deze metastore.
5. Klik in het bevestigingsvenster op Automatisch toewijzen inschakelen.

Beheerde opslag toevoegen aan een bestaande metastore

Beheerde opslag op metastoreniveau is optioneel en is niet opgenomen voor metastores die automatisch zijn gemaakt. Mogelijk wilt u opslag op metastoreniveau toevoegen aan uw metastore als u liever een gegevensisolatiemodel gebruikt waarin gegevens centraal worden opgeslagen voor meerdere werkruimten. U hebt opslag op metastoreniveau nodig als u een Azure Databricks-partner bent die persoonlijke faseringslocaties gebruikt.

Zie ook Een beheerde opslaglocatie opgeven in Unity Catalog.

Vereisten

• U moet ten minste één werkruimte hebben gekoppeld aan de Unity Catalog-metastore.
• Azure Databricks-machtigingen zijn vereist:
  • Als u een externe locatie wilt maken, moet u een metastore-beheerder of gebruiker zijn met de CREATE EXTERNAL LOCATION en CREATE STORAGE CREDENTIAL bevoegdheden.
  • Als u de opslaglocatie wilt toevoegen aan de metastore-definitie, moet u een accountbeheerder zijn. Zie Uw eerste accountbeheerder instellen voor instructies over het inschakelen van de rol accountbeheerder in uw account.
• Azure-tenantmachtigingen vereist:
  • Machtiging voor het maken van een opslagaccount voor gebruik met Azure Data Lake Storage Gen2. Dit opslagaccount moet een hiërarchische naamruimte hebben. Zie Een opslagaccount maken dat met Azure Data Lake Storage Gen2 wordt gebruikt.
  • Machtiging voor het maken van een nieuwe resource voor het opslaan van een door het systeem toegewezen beheerde identiteit. Hiervoor moet u inzender of eigenaar van een resourcegroep zijn in elk abonnement in de tenant.

Stap 1: De opslaglocatie maken

Volg de instructies in stap 1 (optioneel): Maak een opslagcontainer voor beheerde opslag op metastoreniveau en stap 2 (optioneel): Maak een beheerde identiteit voor toegang tot de beheerde opslaglocatie om een opslagcontainer te maken in Azure Data Lake Storage Gen2 en een Azure Databricks-toegangsconnector die een beheerde identiteit bevat die toegang heeft tot de opslagcontainer.

Stap 2: Een externe locatie maken in Unity Catalog

In deze stap maakt u een externe locatie in Unity Catalog die verwijst naar het ADLS Gen 2-pad dat u zojuist hebt gemaakt.

1. Maak een opslagreferentie.

   De opslagreferentie vertegenwoordigt de door Azure beheerde identiteit die u in stap 1 hebt gemaakt: de opslaglocatie maken.

   Volg de instructies in Een opslagreferentie maken om verbinding te maken met Azure Data Lake Storage Gen2.

2. Maak een externe locatie die verwijst naar de opslagreferentie die u in de vorige stap hebt gemaakt en de ADLS Gen 2-opslagcontainer die u in stap 1 hebt gemaakt: de opslaglocatie maken.

   Volg de instructies in Een externe locatie maken om cloudopslag te verbinden met Azure Databricks

3. Geef uzelf de CREATE MANAGED STORAGE bevoegdheid op de externe locatie.

   1. Klik op de naam van de externe locatie om het detailvenster te openen.
   2. Klik op het tabblad Machtigingen op verlenen.
   3. Selecteer in het dialoogvenster voor Verlenen van <external location> uzelf in het veld Principals en kies vervolgens CREATE MANAGED STORAGE.
   4. Klik op om te verlenen.

Stap 3: De opslaglocatie toevoegen aan de metastore

Nadat u een externe locatie hebt gemaakt die de metastore-opslagbucket vertegenwoordigt, kunt u deze toevoegen aan de metastore.

1. Meld u als accountbeheerder aan bij de accountconsole.

2. Klik op Catalogus.

3. Klik op de naam van de metastore.

4. Bevestig dat u de Metastore-beheerder bent.

   Als u dat niet bent, klikt u op Bewerken en wijst u uzelf toe als de metastore-beheerder. U kunt de toewijzing van uzelf ongedaan maken wanneer u klaar bent met deze procedure.

5. Klik op het tabblad Configuratie naast ADLS Gen 2-padop Instellen.

6. In het dialoogvenster Metastore hoofdpad instellen voert u het ADLS Gen 2-pad in dat u hebt gebruikt om de externe locatie te maken en klikt u op Bijwerken.

   U kunt dit pad niet wijzigen nadat u het hebt ingesteld, maar u kunt het verwijderen en indien nodig een nieuw pad toevoegen.

Opslag op metastoreniveau verwijderen

Als u opslag op metastoreniveau hebt voor beheerde tabellen en volumes (ook wel de hoofdmap van de metastore-opslag genoemd), maar u gegevensopslagisolatie wilt afdwingen op catalogus- of schemaniveau, kunt u de opslagoptie op metastoreniveau voor de metastore verwijderen. Wanneer u dit doet, gebeurt het volgende:

• Bestaande catalogi waarvoor geen opslaghoofdmap is opgegeven, krijgen de cloudopslaglocatie van de metastore-opslagmap als de beheerde opslaglocatie op catalogusniveau. Met andere woorden, de hoofdmap van de metastore-opslag wordt naar deze catalogi doorgeschoven. Toegang tot gegevens in deze catalogi blijft werken zonder onderbreking.
• Afhankelijk van hoe uw metastore is gemaakt, is er mogelijk geen externe locatie die kan worden beveiligd in Unity Catalog voor de hoofdmap van de metastore-opslag. In dat geval worden er een nieuwe externe locatie en bijbehorende opslagreferentie gemaakt. De nieuwe externe locatie heet standaard prior_metastore_root_location.
• Telkens wanneer een gebruiker een catalogus maakt, moet deze een toegewezen opslaglocatie opgeven die is geregistreerd in Unity Catalog als een externe locatie.

Notitie

Als u Delta Sharing gebruikt om notebooks te delen en u de metastore-hoofdmap hebt gebruikt als gedeelde notebookopslag, moet u het volgende doen voordat u de hoofdmap van de metastore kunt verwijderen:

1. Verwijder uw notitieblok uit de share.
2. Voeg het notebook opnieuw toe met behulp van een toegewezen opslaglocatie.

Zie Notitieblokbestanden toevoegen aan een gedeelde map.

Om de hoofdmap van de metastore-opslag te verwijderen:

1. Meld u als accountbeheerder aan bij de accountconsole.
2. Klik op Catalogus.
3. Klik op de naam van de metastore.
4. Klik op het tabblad Configuration, onder ADLS Gen 2-pad, op de knop 'Verwijderen' .
5. Klik in het bevestigingsvenster op verwijderen.

Een metastore-beheerder toevoegen

Metastore-beheerders zijn optioneel, maar er zijn situaties waarin u er misschien een wilt gebruiken voor uw metastore. Zie Een metastore-beheerder toewijzen.

Een metastore verwijderen

Als u uw Azure Databricks-account sluit of een andere reden hebt om toegang te verwijderen tot gegevens die worden beheerd door uw Unity Catalog-metastore, kunt u de metastore verwijderen.

Waarschuwing

Alle objecten die worden beheerd door de metastore, worden niet toegankelijk met behulp van Azure Databricks-werkruimten. Deze actie kan niet ongedaan worden gemaakt.

beheerde tabel gegevens en metagegevens worden na 30 dagen automatisch verwijderd. Externe tabelgegevens in uw cloudopslag worden niet beïnvloed door het verwijderen van metastores.

Een metastore verwijderen:

1. Meld u als metastore-beheerder aan bij de accountconsole.
2. Klik op Catalogus.
3. Klik op de naam van de metastore.
4. Klik op het tabblad Configuratie op het menu met drie knoppen rechtsboven en selecteer Verwijderen.
5. Voer in het bevestigingsvenster de naam van de metastore in en klik op Verwijderen.