Unity-Catalogmetastores beheren

In dit artikel wordt beschreven hoe u het gedrag van Unity Catalogmetastores in uw Azure Databricks-account update, verwijdert en beheert.

Zie Een Unity Catalog-metastore makenvoor meer informatie over Unity Catalogmetastores en hoe u deze kunt maken.

Een metastore automatisch toewijzen aan nieuwe werkruimten inschakelen

Als u een bestaande Unity-Catalog metastore automatisch wilt toewijzen aan nieuwe werkruimten in de regio van die metastore, kan een accountbeheerder automatische toewijzing van werkruimten inschakelen voor de metastore. Als deze instelling niet is geselecteerd, moet de beheerder die een werkruimte maakt in dezelfde regio als de metastore de werkruimte handmatig inschakelen voor Unity Catalog en de metastore select vanuit een vervolgkeuzelijst.

Voordat een accountbeheerder deze optie inschakelt, moet u weten wat de volgende gevolgen zijn voor nieuwe werkruimten:

• Er wordt een werkruimte catalog gemaakt en alle werkruimtegebruikers hebben de vereiste bevoegdheden om er objecten in te maken. Zie Automatische activering van Unity Catalog.
• Werkruimtebeheerders hebben de machtigingen die zijn vereist voor het maken van beveiligbare objecten op metastoreniveau, zoals catalogs en externe locaties. Zie beheerdersrechten voor werkruimten wanneer werkruimten voor Unity Catalog automatischzijn ingeschakeld.
• Als opslag op metastore-niveau al is ingeschakeld voor de metastore, kan de werkruimte die opslag gebruiken. Zie Een beheerde opslaglocatie opgeven in Unity Catalog.
• Als een metastore-beheerder is gedefinieerd voor de metastore, kunnen ze de toegang beheren tot alle beveiligbare objecten in alle werkruimten die zijn gekoppeld aan de metastore. Zie Metastore-beheerders.
• De instelling delta delen (ingeschakeld of uitgeschakeld) voor de metastore is van toepassing op alle werkruimten die zijn gekoppeld aan de metastore. Zie Set Delta Sharing voor uw account (voor providers).

Automatische toewijzing inschakelen:

1. Als accountbeheerder gaat u naar de Azure Databricks-accountconsole.
2. Klik op Catalog.
3. Select uw metastore.
4. Op het tabblad Configuratie onder werkruimtetoewijzing, selectAutomatisch nieuwe werkruimten in <region> toewijzen aan deze metastore.
5. Klik in het bevestigingsvenster op Automatisch toewijzen inschakelen.

Beheerde opslag toevoegen aan een bestaande metastore

Beheerde opslag op metastoreniveau is optioneel en is niet opgenomen voor automatisch aangemaakte metastores. Mogelijk wilt u opslag op metastoreniveau toevoegen aan uw metastore als u liever een gegevensisolatiemodel gebruikt waarin gegevens centraal worden opgeslagen voor meerdere werkruimten. U hebt opslag op metastoreniveau nodig als u een Azure Databricks-partner bent die persoonlijke faseringslocaties gebruikt.

Zie ook Een beheerde opslaglocatie opgeven in Unity Catalog.

Vereisten

• U moet ten minste één werkruimte hebben gekoppeld aan de Unity-Catalog-metastore.
• Azure Databricks-machtigingen zijn vereist:
  • Als u een externe locatie wilt maken, moet u een metastore-beheerder of gebruiker zijn met de CREATE EXTERNAL LOCATION en CREATE STORAGE CREDENTIAL bevoegdheden.
  • Als u de opslaglocatie wilt toevoegen aan de metastore-definitie, moet u een accountbeheerder zijn. Zie Uw eerste accountbeheerder instellen voor instructies over het inschakelen van de rol accountbeheerder in uw account.
• Azure-tenantmachtigingen vereist:
  • Machtiging voor het maken van een opslagaccount voor gebruik met Azure Data Lake Storage Gen2. Dit opslagaccount moet een hiërarchische naamruimte hebben. Zie Een opslagaccount maken dat met Azure Data Lake Storage Gen2 wordt gebruikt.
  • Machtiging voor het maken van een nieuwe resource voor het opslaan van een door het systeem toegewezen beheerde identiteit. Hiervoor moet u inzender of eigenaar van een resourcegroep zijn in elk abonnement in de tenant.

Stap 1: De opslaglocatie maken

Volg de instructies in stap 1 (optioneel): Maak een opslagcontainer voor beheerde opslag op metastoreniveau en stap 2 (optioneel): Maak een beheerde identiteit voor toegang tot de beheerde opslaglocatie om een opslagcontainer te maken in Azure Data Lake Storage Gen2 en een Azure Databricks-toegangsconnector die een beheerde identiteit bevat die toegang heeft tot de opslagcontainer.

Stap 2: Een externe locatie maken in Unity Catalog

In deze stap maakt u een externe locatie in Unity Catalog die verwijst naar het ADLS Gen 2-pad dat u zojuist hebt gemaakt.

1. Maak een opslagreferentie.

   De opslagreferentie vertegenwoordigt de door Azure beheerde identiteit die u in stap 1 hebt gemaakt: de opslaglocatie maken.

   Volg de instructies in Een opslagreferentie maken om verbinding te maken met Azure Data Lake Storage Gen2.

2. Maak een externe locatie die verwijst naar de opslagreferentie die u in de vorige stap hebt gemaakt en de ADLS Gen 2-opslagcontainer die u in stap 1 hebt gemaakt: de opslaglocatie maken.

   Volg de instructies in Een externe locatie maken om cloudopslag te verbinden met Azure Databricks

3. Grant uzelf de CREATE MANAGED STORAGE bevoegdheid op de externe locatie.

   1. Klik op de naam van de externe locatie om het detailvenster te openen.
   2. Klik op het tabblad Machtigingen op Grant.
   3. In het dialoogvenster Grant op <external location>, select uzelf in het veld Principals en voer selectCREATE MANAGED STORAGEuit.
   4. Klik op Grant.

Stap 3: De opslaglocatie toevoegen aan de metastore

Nadat u een externe locatie hebt gemaakt die de metastore-opslagbucket vertegenwoordigt, kunt u deze toevoegen aan de metastore.

1. Meld u als accountbeheerder aan bij de accountconsole.

2. Klik op Catalog.

3. Klik op de naam van de metastore.

4. Bevestig dat u de Metastore-beheerder bent.

   Als u dat niet bent, klikt u op Bewerken en wijst u uzelf toe als de metastore-beheerder. U kunt de toewijzing van uzelf ongedaan maken wanneer u klaar bent met deze procedure.

5. Klik op het tabblad Configuration naast ADLS Gen 2-padop Set.

6. Voer in het dialoogvenster Set hoofdmap van de metastore het ADLS Gen 2-pad in dat u hebt gebruikt om de externe locatie te maken en klik op Update.

   U kunt dit pad niet wijzigen zodra u het set, maar u kunt het remove en indien nodig een nieuw pad toevoegen.

Remove opslag op metastore-niveau

Als u opslag op metastoreniveau hebt voor beheerde tables en volumes (ook wel de hoofdmap van de metastore-opslag genoemd), maar u gegevensopslagisolatie wilt afdwingen op catalog of schema niveau, kunt u de opslagoptie op metastore-niveau remove voor de metastore. Wanneer u dit doet, gebeurt het volgende:

• Bestaande catalogs waarvoor geen opslaghoofdmap is opgegeven, krijgen de cloudopslaglocatie van de metastore-opslaghoofdmap als de beheerde opslaglocatie op catalogniveau. Met andere woorden, de hoofdmap van de metastore-opslag wordt verplaatst naar deze catalogs. Toegang tot gegevens in deze catalogs blijft werken zonder onderbreking.
• Afhankelijk van hoe uw metastore is gemaakt, is er mogelijk geen externe locatie die beveiligbaar is gedefinieerd in Unity Catalog voor de opslagroot van de metastore. In dat geval worden er een nieuwe externe locatie en bijbehorende opslagreferentie gemaakt. De nieuwe externe locatie heet standaard prior_metastore_root_location.
• Telkens wanneer een gebruiker een catalogmaakt, moet deze een toegewezen opslaglocatie opgeven die is geregistreerd in Unity Catalog als een externe locatie.

Notitie

Als u Delta Sharing gebruikt om notitieblokken te delen en u de metastore-hoofdmap hebt gebruikt als gedeelde notebookopslag, moet u het volgende doen voordat u de hoofdmap van de metastore kunt remove:

1. Remove uw notitieblok vanuit de share.
2. Voeg het notebook opnieuw toe met behulp van een toegewezen opslaglocatie.

Zie Notitieblokbestanden toevoegen aan een gedeelde map.

Ga naar de hoofdmap van de metastore-opslag met remove.

1. Meld u als accountbeheerder aan bij de accountconsole.
2. Klik op Catalog.
3. Klik op de naam van de metastore.
4. Klik op het tabblad Configuration onder ADLS Gen 2-padop de knop Remove.
5. Klik in het bevestigingsvenster op Remove.

Een metastore-beheerder toevoegen

Metastore-beheerders zijn optioneel, maar er zijn situaties where waarin u er een zou willen hebben voor uw metastore. Zie Een metastore-beheerder toewijzen.

Een metastore verwijderen

Als u uw Azure Databricks-account sluit of een andere reden hebt om de toegang tot gegevens te verwijderen die worden beheerd door uw Unity Catalog metastore, kunt u de metastore verwijderen.

Waarschuwing

Alle objecten die worden beheerd door de metastore, worden niet toegankelijk met behulp van Azure Databricks-werkruimten. Deze actie kan niet ongedaan worden gemaakt.

beheerde table gegevens en metagegevens worden na 30 dagen automatisch verwijderd. Externe table gegevens in uw cloudopslag worden niet beïnvloed door het verwijderen van metastores.

Een metastore verwijderen:

1. Meld u als metastore-beheerder aan bij de accountconsole.
2. Klik op Catalog.
3. Klik op de naam van de metastore.
4. Klik op het tabblad Configuratie op het menu met drie knoppen rechtsboven en klik vervolgens op selectverwijderen.
5. Voer in het bevestigingsvenster de naam van de metastore in en klik op Verwijderen.