Gestire Unity Catalogmetastores

Questo articolo illustra come update, eliminare e gestire il comportamento di Unity Catalogmetastores nell'account Azure Databricks.

Per informazioni su Unity Catalogmetastores e su come crearli, vedere Creare un metastore Unity Catalog.

Abilitare un metastore da assegnare automaticamente alle nuove aree di lavoro

Per assegnare automaticamente un metastore Unity Catalog esistente alle nuove aree di lavoro nella regione specifica di quel metastore, un amministratore dell'account può abilitare l'auto-assegnazione delle aree di lavoro per il metastore. Se questa impostazione non è selezionata, l'amministratore che crea un'area di lavoro nella stessa area del metastore deve abilitare manualmente l'area di lavoro, selezionando Unity Catalog, select e il metastore da un menu a tendina.

Prima che un amministratore dell'account abiliti questa opzione, deve essere sicuro di comprendere gli effetti seguenti sulle nuove aree di lavoro:

• Verrà creata un'area di lavoro catalog e tutti gli utenti dell'area di lavoro avranno i privilegi necessari per crearvi oggetti. Vedere Abilitazione automatica di Unity Catalog.
• Gli amministratori dell'area di lavoro avranno le autorizzazioni necessarie per creare oggetti sicurizzabili a livello di metastore, come catalogs e percorsi esterni. Consulta i privilegi di amministratore dell'area di lavoro quando le aree di lavoro sono abilitate automaticamente per Unity Catalog.
• Se l'archiviazione a livello di metastore è già abilitata per il metastore, l'area di lavoro sarà in grado di usare tale archiviazione. Vedere Specificare un percorso di archiviazione gestito in Unity Catalog.
• Se un amministratore del metastore è definito per il metastore, sarà in grado di gestire l'accesso a tutti gli oggetti a protezione diretta in tutte le aree di lavoro collegate al metastore. Si veda Amministratori metastore.
• L'impostazione Condivisione differenziale (abilitata o disabilitata) per il metastore verrà applicata a tutte le aree di lavoro collegate al metastore. Consulta Set Delta Sharing per il tuo account (per providers).

Per abilitare l'assegnazione automatica:

1. In qualità di amministratore dell'account, passare alla console dell'account Azure Databricks.
2. Fare clic sull'icona Catalog.
3. Select il tuo metastore.
4. Nella scheda di configurazione , sotto assegnazione dell'area di lavoro, selectassegnare automaticamente nuove aree di lavoro in <region> a questo metastore.
5. Nella finestra di dialogo di conferma fare clic su Abilita assegnazione automatica.

Aggiungere l'archiviazione gestita a un metastore esistente

L'archiviazione gestita a livello di metastore è facoltativa e non è inclusa per le metastores create automaticamente. È possibile aggiungere l'archiviazione a livello di metastore al metastore se si preferisce un modello di isolamento dei dati che archivia i dati centralmente per più aree di lavoro. Se si è un partner Azure Databricks che utilizza percorsi di staging personali, è necessaria l'archiviazione a livello di metastore.

Vedi anche Specifica una posizione di archiviazione gestita in Unity Catalog.

Requisiti

• È necessario avere almeno uno spazio di lavoro collegato al metastore Catalog Unity.
• Autorizzazioni di Azure Databricks necessarie:
  • Per creare una posizione esterna, è necessario essere un amministratore o un utente del metastore con i CREATE EXTERNAL LOCATION privilegi e CREATE STORAGE CREDENTIAL .
  • Per aggiungere il percorso di archiviazione alla definizione del metastore, è necessario essere un amministratore dell'account. Per istruzioni sull'abilitazione del ruolo di amministratore dell'account nell'account, vedere Stabilire il primo amministratore dell'account.
• Autorizzazioni del tenant di Azure necessarie:
  • Autorizzazione per creare un account di archiviazione da usare con Azure Data Lake Storage Gen2. Questo account di archiviazione deve avere uno spazio dei nomi gerarchico. Vedere Creare un account di archiviazione da usare con Azure Data Lake Storage Gen2.
  • Autorizzazione per creare una nuova risorsa per contenere un'identità gestita assegnata dal sistema. A tale scopo, è necessario essere un collaboratore o proprietario di un gruppo di risorse in qualsiasi sottoscrizione nel tenant.

Passaggio 1: Creare il percorso di archiviazione

Seguire le istruzioni in Passaggio 1 (facoltativo): Creare un contenitore di archiviazione per l'archiviazione gestita a livello di metastore e passaggio 2 (facoltativo): creare un'identità gestita per accedere al percorso di archiviazione gestito per creare un contenitore di archiviazione in Azure Data Lake Storage Gen2 e un connettore di accesso di Azure Databricks che contiene un'identità gestita che ha accesso al contenitore di archiviazione.

Passaggio 2: Creare un percorso esterno in Unity Catalog

In questo passaggio viene creata una posizione esterna in Unity Catalog che fa riferimento al percorso di ADLS Gen 2 appena creato.

1. Creare credenziali di archiviazione.

   Le credenziali di archiviazione rappresenteranno l'identità gestita di Azure creata nel passaggio 1: Creare il percorso di archiviazione.

   Seguire le istruzioni in Creare credenziali di archiviazione per la connessione ad Azure Data Lake Storage Gen2.

2. Creare un percorso esterno che faccia riferimento alle credenziali di archiviazione create nel passaggio precedente e al contenitore di archiviazione DILS Gen 2 creato nel passaggio 1: Creare il percorso di archiviazione.

   Seguire le istruzioni in Creare una posizione esterna per connettere l'archiviazione cloud ad Azure Databricks

3. Grant concediti il privilegio di CREATE MANAGED STORAGE nella posizione esterna.

   1. Fare clic sul nome della posizione esterna per aprire il riquadro dei dettagli.
   2. Nella scheda Autorizzazioni fare clic su Grant.
   3. Nella finestra di dialogo nel campo principal e .
   4. Fare clic su Grant.

Passaggio 3: Aggiungere il percorso di archiviazione al metastore

Dopo aver creato una posizione esterna che rappresenta il bucket di archiviazione del metastore, è possibile aggiungerla al metastore.

1. Come amministratore dell'account, accedere alla console dell'account.

2. Fare clic sull'icona Catalog.

3. Fare clic sul nome del metastore.

4. Verificare di essere l'amministratore del Metastore.

   In caso contrario, fare clic su Modifica e assegnarsi come amministratore del metastore. È possibile annullare l'assegnazione quando si esegue questa procedura.

5. Nella scheda Configurazione, accanto al percorso ADLS Gen 2, fare clic su Set.

6. Nella finestra di dialogo, radice del metastore , immettere il percorso di ADLS Gen 2 usato per creare la posizione esterna e fare clic su .

   Non è possibile modificare questo percorso una volta set, ma è possibile remove e aggiungere un nuovo percorso, se necessario.

Remove archiviazione a livello di metastore

Se si dispone di archiviazione a livello di metastore per tables gestiti e volumes (nota anche come radice dell'archiviazione metastore), ma si vuole applicare l'isolamento dell'archiviazione dei dati a livello di catalog o schema, è possibile remove l'opzione di archiviazione a livello di metastore per il metastore. Quando si esegue questa operazione, si verifica quanto segue:

• Ai catalogs esistenti senza radice di archiviazione specificata viene assegnata la posizione di archiviazione nel cloud della radice del metastore come posizione di archiviazione gestita a livello di catalog. In altre parole, la radice di archiviazione del metastore viene "spostata verso il basso" in questi catalogs. L'accesso ai dati in questi catalogs continua a funzionare senza interruzioni.
• A seconda della modalità di creazione del metastore, potrebbe non esserci una posizione esterna sicura definita in Unity Catalog per la radice dell'archiviazione del metastore. In tal caso, per esso viene creata una nuova posizione esterna e le credenziali di archiviazione associate. La nuova posizione esterna è denominata prior_metastore_root_location per impostazione predefinita.
• Ogni volta che un utente crea un catalog, deve fornire un percorso di archiviazione dedicato, registrato in Unity Catalog, come posizione esterna.

Nota

Se usi Delta Sharing per condividere notebook e hai utilizzato la radice del metastore come risorsa di archiviazione per i notebook condivisi, è necessario eseguire le seguenti operazioni prima di poter remove la radice del metastore:

1. Remove il notebook dalla sezione condivisa.
2. Aggiungere nuovamente il notebook usando un percorso di archiviazione dedicato.

Consulta Aggiungi file del notebook a una condivisione.

Per remove la radice di archiviazione del metastore:

1. Come amministratore dell'account, accedere alla console dell'account.
2. Fare clic sull'icona Catalog.
3. Fare clic sul nome del metastore.
4. Nella scheda Configurazione, sotto il percorso ADLS Gen 2, fare clic sul pulsante Remove.
5. Nella finestra di dialogo di conferma fare clic su Remove.

Aggiungere un amministratore del metastore

Gli amministratori metastore sono facoltativi, ma esistono situazioni where potrebbe essere utile uno per il metastore. Vedere Assegnare un amministratore del metastore.

Eliminare un metastore

Se si chiude l'account Azure Databricks o si ha un altro motivo per eliminare l'accesso ai dati gestiti dal metastore di Unity Catalog, è possibile eliminare il metastore.

Avviso

Tutti gli oggetti gestiti dal metastore diventeranno inaccessibili usando le aree di lavoro di Azure Databricks. Questa azione non può essere annullata.

i dati e i metadati di table gestiti verranno eliminati automaticamente dopo 30 giorni. I dati table esterni nell'archiviazione cloud non sono interessati dall'eliminazione del metastore.

Per eliminare un metastore:

1. Come amministratore del metastore, accedere alla console dell'account.
2. Fare clic sull'icona Catalog.
3. Fare clic sul nome del metastore.
4. Nella scheda Configurazione , fare clic sul menu a tre pulsanti nell'angolo in alto a destra e Elimina.
5. Nella finestra di dialogo di conferma immettere il nome del metastore e fare clic su Elimina.