Sdílet prostřednictvím

Správa metastorů katalogu Unity

  • Článek

Tento článek ukazuje, jak aktualizovat, odstranit a spravovat chování metastorů katalogu Unity v účtu Azure Databricks.

Informace o metastorech katalogu Unity a jejich vytváření najdete v tématu Vytvoření metastoru katalogu Unity.

Povolení automatického přiřazení metastoru k novým pracovním prostorům

Pokud chcete automaticky přiřadit existující metastore katalogu Unity novým pracovním prostorům v dané oblasti metastoru, může správce účtu povolit automatické přiřazení pracovního prostoru pro metastor. Pokud toto nastavení není vybrané, musí správce, který vytvoří pracovní prostor ve stejné oblasti jako metastor, ručně povolit pracovní prostor pro Katalog Unity a vybrat metastor z rozevíracího seznamu.

Než správce účtu tuto možnost povolí, měli byste vědět, jaké mají tyto dopady na nové pracovní prostory:

Povolení automatického přiřazení:

  1. Jako správce účtu přejděte do konzoly účtu Azure Databricks.
  2. Klikněte na ikonu katalogukatalog.
  3. Vyberte metastore.
  4. Na kartě Konfigurace, v části Přiřazení pracovního prostoru, vyberte možnost Automaticky přiřazovat nové pracovní prostory v <region> k tomuto metastore.
  5. V potvrzovací dialogovém okně klikněte na Povolit automatické přiřazení.

Přidání spravovaného úložiště do existujícího metastoru

Spravované úložiště na úrovni metastoru je volitelné a není součástí automaticky vytvořených metastorů. Pokud dáváte přednost modelu izolace dat, který ukládá data centrálně pro více pracovních prostorů, můžete do metastoru přidat úložiště na úrovni metastoru. Pokud jste partner Azure Databricks, který používá osobní pracovní umístění, potřebujete úložiště na úrovni metastoru.

Viz také Specifikujte spravované umístění úložiště v katalogu Unity.

Požadavky

  • K metastoru katalogu Unity musíte mít připojený alespoň jeden pracovní prostor.
  • Požadovaná oprávnění Azure Databricks:
    • Pokud chcete vytvořit externí umístění, musíte být správcem metastoru nebo uživatelem s oprávněnímiCREATE EXTERNAL LOCATION.CREATE STORAGE CREDENTIAL
    • Pokud chcete do definice metastoru přidat umístění úložiště, musíte být správcem účtu. Pokyny k povolení role správce účtu ve vašem účtu najdete v tématu Vytvoření prvního správce účtu.
  • Požadovaná oprávnění tenanta Azure:
    • Oprávnění k vytvoření účtu úložiště pro použití s Azure Data Lake Storage Gen2 Tento účet úložiště musí mít hierarchický obor názvů. Viz Vytvoření účtu úložiště pro použití s Azure Data Lake Storage Gen2.
    • Oprávnění k vytvoření nového prostředku pro uložení spravované identity přiřazené systémem To vyžaduje, abyste byl přispěvatelem nebo vlastníkem skupiny prostředků v libovolném předplatném v tenantovi.

Krok 1: Vytvoření umístění úložiště

Postupujte podle pokynů v kroku 1 (volitelné): Vytvořte kontejner úložiště pro spravované úložiště na úrovni metastoru a krok 2 (volitelné): Vytvořte spravovanou identitu pro přístup ke spravovanému umístění úložiště a vytvořte kontejner úložiště v Azure Data Lake Storage Gen2 a přístupový konektor Azure Databricks, který obsahuje spravovanou identitu, která má přístup ke kontejneru úložiště.

Krok 2: Vytvoření externího umístění v katalogu Unity

V tomto kroku vytvoříte v katalogu Unity externí umístění, které odkazuje na cestu ADLS Gen2, kterou jste právě vytvořili.

  1. Vytvořte přihlašovací údaje úložiště.

    Přihlašovací údaje úložiště budou představovat spravovanou identitu Azure, kterou jste vytvořili v kroku 1: Vytvoření umístění úložiště.

    Postupujte podle pokynů v tématu Vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2.

  2. Vytvořte externí umístění, které odkazuje na přihlašovací údaje úložiště, které jste vytvořili v předchozím kroku, a kontejner úložiště ADLS Gen2, který jste vytvořili v kroku 1: Vytvoření umístění úložiště.

    Postupujte podle pokynů v tématu Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.

  3. Udělte si oprávnění CREATE MANAGED STORAGE pro externí umístění.

    1. Kliknutím na název externího umístění otevřete podokno podrobností.
    2. Na kartě Oprávnění klikněte na Udělit.
    3. V dialogovém okně Udělit na <external location> vyberte sami sebe v poli principály a vyberte CREATE MANAGED STORAGE.
    4. Klikněte na Udělit.

Krok 3: Přidání umístění úložiště do metastoru

Po vytvoření externího umístění, které představuje kontejner úložiště metastoru, můžete ho přidat do metastoru.

  1. Jako správce účtu se přihlaste ke konzole účtu.

  2. Klikněte na ikonu katalogu .

  3. Klikněte na název metastoru.

  4. Potvrďte, že jste správcem metastoru.

    Pokud nejste, klikněte na Upravit a přiřaďte se jako správce metastoru. Až budete s tímto postupem hotovi, můžete zrušit přiřazení sami sebe.

  5. Na kartě Konfigurace vedle cesty ADLS Gen2 klikněte naNastavit.

  6. V dialogovém okně Nastavit kořenové metadatové úložiště zadejte cestu ADLS Gen2, kterou jste použili pro vytvoření externího umístění, a klikněte na Aktualizovat.

    Tuto cestu nelze po nastavení upravit, ale v případě potřeby ji můžete odebrat a přidat novou cestu.

Odebrání úložiště na úrovni metastoru

Pokud máte úložiště na úrovni metastoru pro spravované tabulky a svazky (označované také jako kořen úložiště metastoru), ale chcete vynutit izolaci úložiště dat na úrovni katalogu nebo schématu, můžete odebrat možnost úložiště na úrovni metastoru pro metastor. Když to uděláte, stane se toto:

  • Existující katalogy, které nemají zadaný žádný kořenový adresář úložiště, mají jako umístění spravovaného úložiště na úrovni katalogu umístění cloudového úložiště úložiště metastoru. Jinými slovy, kořen úložiště metastoru je „přesunut“ do těchto katalogů. Přístup k datům v těchto katalogech nadále funguje bez přerušení.
  • V závislosti na způsobu vytvoření metastoru nemusí existovat externí umístění zabezpečitelné v katalogu Unity pro kořen úložiště metastoru. V takovém případě se pro něj vytvoří nové externí umístění a přidružené přihlašovací údaje úložiště. Nové externí umístění má ve výchozím nastavení název prior_metastore_root_location.
  • Pokaždé, když uživatel vytvoří katalog, musí poskytnout vyhrazené umístění úložiště, které je zaregistrované v katalogu Unity jako externí umístění.

Poznámka

Pokud ke sdílení poznámkových bloků používáte Delta Sharing a jako sdílené úložiště poznámkového bloku jste použili kořen metastoru, musíte před odstraněním kořene metastoru provést následující úkony:

  1. Odeberte poznámkový blok ze sdílené složky.
  2. Znovu přidejte poznámkový blok pomocí určeného úložiště.

Viz Přidejte soubory poznámkového bloku ke sdílení.

Chcete-li odstranit kořen úložiště metastoru:

  1. Jako správce účtu se přihlaste ke konzole účtu.
  2. Klikněte na ikonu katalogu katalog.
  3. Klikněte na název metastoru.
  4. Na kartě Konfigurace v části cesta ADLS Gen2 klikněte na tlačítko Odebrat.
  5. V potvrzovací dialogovém okně klikněte na Odebrat.

Přidání správce metastoru

Správci metastoru jsou nepovinní, ale existují situace, kdy může být žádoucí mít správce pro váš metastor. Viz Přiřazení správce metastoru.

Odstranění metastoru

Pokud zavřete účet Azure Databricks nebo máte jiný důvod k odstranění přístupu k datům spravovaným metastorem katalogu Unity, můžete metastor odstranit.

Upozorňující

Všechny objekty spravované metastorem budou nepřístupné pomocí pracovních prostorů Azure Databricks. Tuto akci nejde vrátit zpátky.

Data a metadata spravované tabulky se automaticky odstraní po 30 dnech. Odstranění metastoru neovlivní data externí tabulky ve vašem cloudovém úložišti.

Odstranění metastoru:

  1. Jako správce metastoru se přihlaste ke konzole účtu.
  2. Klikněte na ikonu katalogu .
  3. Klikněte na název metastoru.
  4. Na kartě Konfigurace klikněte na nabídku se třemi tlačítky v pravém horním rohu a vyberte Odstranit.
  5. V potvrzovací dialogovém okně zadejte název metastoru a klikněte na Odstranit.