Sdílet prostřednictvím

Vytvoření externího umístění pro data v kořenovém adresáři DBFS

  • Článek

Tento článek ukazuje, jak v katalogu Unity nakonfigurovat externí umístění pro řízení přístupu ke kořenovému úložišti DBFS. Ačkoli Databricks doporučuje neukládat data do kořenového úložiště DBFS, váš pracovní prostor to může učinit kvůli starším postupům.

Externí umístění jsou zabezpečitelné objekty v katalogu Unity, které asociují ověřovací údaje s kontejnery cloudových úložišť objektů. Externí umístění slouží k definování spravovaných umístění úložiště pro spravované tabulky a svazky a k řízení přístupu k umístěním úložiště, která obsahují externí tabulky a externí svazky.

Pokud místní metastore Azure Databricks Hive ve vašem pracovním prostoru ukládá data do kořenového adresáře DBFS a chcete federovat tento starší metastore Hive, aby váš tým mohl pracovat s tabulkami metastore Hive pomocí katalogu Unity, musíte vytvořit externí umístění. Viz federaci metastoru Hive: Povolení katalogu Unity spravovat tabulky registrované v metastoru Hive a Povolit federaci metastoru Hive pro starší pracovní prostor Hive metastoru.

Než začnete

Abyste mohli vytvořit externí umístění pro kořen DBFS, musíte mít přihlašovací údaje úložiště definované v katalogu Unity, které poskytují přístup k umístění cloudového úložiště dbFS. Pokud ho ještě nemáte, systém ho může vytvořit během procesu vytváření externího umístění.

požadavky na oprávnění :

  • Musíte mít oprávnění CREATE STORAGE CREDENTIAL a CREATE EXTERNAL LOCATION v metastore. Správci metastoru mají tato oprávnění ve výchozím nastavení.

    Poznámka

    Pokud přihlašovací údaje úložiště pro umístění úložiště kořenového adresáře DBFS již existují, uživatel, který vytvoří externí umístění, nepotřebuje CREATE STORAGE CREDENTIAL, ale potřebuje CREATE EXTERNAL LOCATION na přihlašovacích údajích úložiště i metastoru.

  • Aby vám systém během vytváření externího umístění vytvořil přihlašovací údaje k úložišti, musíte být správcem pracovního prostoru.

    Pokud přihlašovací údaje úložiště, které poskytují přístup k kořenovému úložišti DBFS, už existují a máte CREATE EXTERNAL LOCATION přihlašovacích údajů úložiště i metastoru, nemusíte být správcem pracovního prostoru.

Vytvořte externí umístění

Průzkumníka katalogu můžete použít k vytvoření externího umístění pro kořen DBFS.

  1. Na bočním panelu klikněte na ikonu katalogu katalog.

  2. Klikněte na Externí data > a Vytvořit externí umístění.

  3. Zadejte název externího umístění.

  4. V částiadresy URL klikněte na Kopírovat z připojení DBFS a vyberte Kopírovat z kořenovéhoDBFS .

    Pole adresy URL a dílčí cesty jsou naplněna cestou cloudového úložiště ke kořenovému adresáři DBFS.

    Důležitý

    Při vytváření externího umístění pro kořen DBFS je nutné použít dílčí cestu k kořenovému umístění DBFS, nikoli cestu k celému kontejneru. Podcesta je předem vyplněna user/hive/warehouse, což je výchozí umístění úložiště pro tabulky Hive metastore. Pokud chcete podrobnější řízení přístupu k datům v kořenovém adresáři DBFS, můžete vytvořit samostatná externí umístění pro dílčí cesty v kořenovém adresáři DBFS.

    Varování

    Váš kořen DBFS může být uložený ve službě Azure Blob Storage místo Azure Data Lake Storage Gen2. K těmto umístěním se přistupuje pomocí ovladače wasb, který neumožňuje ovládací prvky na úrovni adresáře nebo souboru. Katalog Unity proto může vynutit řízení přístupu pouze na úrovni kontejneru, což znamená, že uživatelé s přístupem k tomuto externímu umístění můžou potenciálně přistupovat k jiným datům ve stejném kontejneru, pokud používají clustery s režimem přístupu jednoho uživatele. Pokud tomu chcete zabránit, vynucujte použití clusterů režimu sdíleného přístupu, SQL Warehouse nebo bezserverových výpočetních prostředků.

  5. Vyberte přihlašovací údaje úložiště, které udělují přístup k umístění kořenového cloudového úložiště DBFS, nebo, pokud žádné nebyly definovány, klikněte na + Vytvořit nové přihlašovací údaje úložiště.

    Pokud chcete vytvořit přihlašovací údaje úložiště, vyberte Typ přihlašovacích údajů kořenovéhoDBFS . Přihlašovací údaje úložiště se vytvoří automaticky při uložení externího umístění.

  6. (Volitelné) Přidejte komentář.

  7. (Volitelné) Klepněte na Rozšířené možnosti a povolte záložní režim.

    Záložní režim je určený pro scénáře migrace starších verzí úloh. Viz Povolit záložní režim na externích umístěních.

  8. Klikněte na Vytvořit.

  9. Přejděte na kartu Oprávnění a udělte oprávnění k používání externího umístění.

    1. Klikněte na Udělit.
    2. Vyberte uživatele, skupiny nebo hlavní uživatele v poli Principals a vyberte oprávnění, která hodláte poskytnout.
    3. Klikněte na Udělit.

  10. (Volitelné) Nastavte pracovní prostory, které mají přístup k tomuto externímu umístění.

    Ve výchozím nastavení mohou uživatelé v rámci kteréhokoliv pracovního prostoru, který používá tento metastor katalogu Unity, získat přístup k datům v tomto umístění. Tento přístup můžete omezit na konkrétní pracovní prostory. Databricks doporučuje omezit přístup k pracovnímu prostoru, ve které je kořen DBFS.

    Podívejte se na Připojte externí umístění k jednomu nebo více pracovním prostorům.