Sdílet prostřednictvím

Vytvoření externího umístění pro data v kořenovém adresáři DBFS

  • Článek

Tento článek ukazuje, jak nakonfigurovat externí umístění v Unity Catalog pro řízení přístupu ke kořenovému umístění úložiště DBFS. Ačkoli Databricks doporučuje neukládat data do kořenového úložiště DBFS, váš pracovní prostor to může učinit kvůli starším postupům.

externích umístění jsou zabezpečitelné objekty Unity Catalog, které přidružují credentials úložiště ke kontejnerům cloudového úložiště objektů. Externí umístění slouží k definování spravovaných umístění úložiště pro spravované tables a volumesa k řízení přístupu k umístěním úložiště, která obsahují externí tables a externí volumes.

Pokud váš pracovní prostor uložený lokálně, starší metastor Azure Databricks Hive ukládá data do kořenového adresáře DBFS, musíte vytvořit externí umístění. Chcete-li federovat váš starší metastore Hive, aby váš tým mohl pracovat s metastorem Hive tables pomocí Unity Catalog. Viz federaci metastoru Hive: Povolení Catalog Unity řídit tables zaregistrované v metastoru Hive a Povolit federaci metastoru Hive pro starší verzi pracovního prostorumetastore Hive .

Než začnete

Pokud chcete vytvořit externí umístění pro kořen DBFS, musíte mít přihlašovací údaje úložiště definované v Unity Catalog, které poskytují přístup k umístění cloudového úložiště DBFS. Pokud ho ještě nemáte, systém ho může vytvořit během procesu vytváření externího umístění.

požadavky na oprávnění :

  • Musíte mít oprávnění CREATE STORAGE CREDENTIAL a CREATE EXTERNAL LOCATION v metastore. Správci metastoru mají tato oprávnění ve výchozím nastavení.

    Poznámka

    Pokud přihlašovací údaje úložiště pro umístění úložiště kořenového adresáře DBFS již existují, uživatel, který vytvoří externí umístění, nepotřebuje CREATE STORAGE CREDENTIAL, ale potřebuje CREATE EXTERNAL LOCATION na přihlašovacích údajích úložiště i metastoru.

  • Aby vám systém během vytváření externího umístění vytvořil přihlašovací údaje k úložišti, musíte být správcem pracovního prostoru.

    Pokud přihlašovací údaje úložiště, které poskytují přístup k kořenovému úložišti DBFS, už existují a máte CREATE EXTERNAL LOCATION přihlašovacích údajů úložiště i metastoru, nemusíte být správcem pracovního prostoru.

Vytvořte externí umístění

Průzkumníka Catalog můžete použít k vytvoření externího umístění pro kořen DBFS.

  1. Na bočním panelu klikněte na Catalog ikonuCatalog.

  2. Klikněte na Externí data > a Vytvořit externí umístění.

  3. Zadejte název externího umístění.

  4. V části URLklikněte na Kopírovat z připojení DBFS a selectKopírovat z kořenového adresáře DBFS.

    Pole adresy URL a dílčí cesty jsou naplněna cestou cloudového úložiště ke kořenovému adresáři DBFS.

    Důležitý

    Při vytváření externího umístění pro kořen DBFS je nutné použít dílčí cestu k kořenovému umístění DBFS, nikoli cestu k celému kontejneru. Podcesta je předem vyplněna user/hive/warehouse, což je výchozí umístění úložiště pro Hive metastore tables. Pokud chcete podrobnější řízení přístupu k datům v kořenovém adresáři DBFS, můžete vytvořit samostatná externí umístění pro dílčí cesty v kořenovém adresáři DBFS.

    Varování

    Váš kořen DBFS může být uložený ve službě Azure Blob Storage místo Azure Data Lake Storage Gen2. K těmto umístěním se přistupuje pomocí ovladače wasb, který neumožňuje ovládací prvky na úrovni adresáře nebo souboru. Proto unity Catalog může vynutit řízení přístupu pouze na úrovni kontejneru, což znamená, že uživatelé s přístupem k tomuto externímu umístění můžou potenciálně přistupovat k jiným datům ve stejném kontejneru, pokud používají clustery s režimem přístupu jednoho uživatele. Pokud tomu chcete zabránit, vynucujte použití clusterů režimu sdíleného přístupu, SQL Warehouse nebo bezserverových výpočetních prostředků.

  5. Select přihlašovací údaje úložiště, které udělují přístup ke kořenovému cloudovému úložišti DBFS. Pokud žádné nejsou definovány, zvolte možnost + Vytvořit nové přihlašovací údaje úložiště.

    K vytvoření přihlašovacích údajů úložiště: select typ přihlašovacích údajů kořene DBFS. Přihlašovací údaje úložiště se vytvoří automaticky při uložení externího umístění.

  6. (Volitelné) Přidejte komentář.

  7. (Volitelné) Klepněte na Rozšířené možnosti a povolte záložní režim.

    Záložní režim je určený pro scénáře migrace starších verzí úloh. Viz Povolit záložní režim na externích umístěních.

  8. Klikněte na Vytvořit.

  9. Přejděte na kartu Oprávnění a grant oprávnění k používání externího umístění.

    1. Klikněte na Grant.
    2. Select uživatele, skupiny nebo instanční objekty v poli objekty zabezpečení a select oprávnění, která chcete grant.
    3. Klikněte na Grant.

  10. (Volitelné) Set pracovních prostorů, které mají přístup k tomuto externímu umístění.

    Ve výchozím nastavení mohou mít uživatelé v jakémkoli pracovním prostoru, který používá tento metastor Unity Catalog, udělen přístup k datům v tomto umístění. Můžete limit přístup ke konkrétním pracovním prostorům. Databricks doporučuje omezit přístup k pracovnímu prostoru, ve které je kořen DBFS.

    Podívejte se na Připojte externí umístění k jednomu nebo více pracovním prostorům.