設定擷取的數據存取
本文說明系統管理員使用者如何設定存取 Azure Data Lake Storage Gen2 (ADLS Gen2) 容器中的數據,讓 Azure Databricks 使用者可以將數據從 ADLS Gen2 載入 Azure Databricks 中的數據表。
本文說明設定源數據安全存取的下列方式:
(建議)建立 Unity 目錄磁碟區。
使用記憶體認證建立 Unity 目錄外部位置。
啟動使用服務主體的計算資源。
產生暫存認證(Blob SAS 令牌)。
開始之前
在設定 ADLS Gen2 中數據的存取權之前,請確定您有下列專案:
Azure 記憶體帳戶中容器中的數據。 若要建立容器,請參閱 Azure 記憶體檔中的建立容器 。
若要使用 Unity 目錄磁碟區存取資料(建議),磁碟
READ VOLUME
區的許可權。 如需詳細資訊,請參閱 什麼是 Unity 目錄磁碟區? 和 Unity 目錄許可權和安全性實體物件。若要使用 Unity 目錄外部位置存取資料,則
READ FILES
為外部位置的許可權。 如需詳細資訊,請參閱建立外部位置以將雲端儲存連線到 Azure Databricks。若要使用計算資源搭配服務主體存取數據,Azure Databricks 工作區管理員許可權。
若要使用暫時認證存取資料:
- Azure Databricks 工作區管理員許可權。
- 在 Azure 帳戶中建立 Blob SAS 令牌的許可權。 這可讓您產生暫時認證。
熟悉 Databricks SQL 用戶介面。
設定雲端記憶體的存取權
使用下列其中一種方法來設定 ADLS Gen2 的存取權:
(建議)建立 Unity 目錄磁碟區。 如需詳細資訊,請參閱 什麼是 Unity 目錄磁碟區?。
使用記憶體認證設定 Unity 目錄外部位置。 如需外部位置的詳細資訊,請參閱 建立外部位置以將雲端記憶體連線至 Azure Databricks。
設定計算資源以使用服務主體。 如需詳細資訊,請參閱 設定服務主體。
產生暫存認證(Blob SAS 令牌),以與其他 Azure Databricks 用戶共用。 如需詳細資訊,請參閱 產生擷取的暫存認證。
清理
如果您不想再保留資源,則可以清除雲端帳戶和 Azure Databricks 中的相關聯資源。
刪除 ADLS Gen2 儲存器帳戶
- 開啟 Azure 帳戶的 Azure 入口網站,通常位於 https://portal.azure.com。
- 流覽至並開啟您的記憶體帳戶。
- 按一下刪除。
- 輸入記憶體帳戶的名稱,然後按兩下 [ 刪除]。
停止 SQL 倉儲
如果您未將 SQL 倉儲用於任何其他工作,您應該停止 SQL 倉儲,以避免額外的成本。
- 在 SQL 角色的提要字段中,按兩下 [SQL 倉儲]。
- 在 SQL 倉儲的名稱旁邊,按兩下 [ 停止]。
- 出現提示時,再次按兩下 [ 停止 ]。
下一步
完成本文中的步驟之後,使用者可以執行 COPY INTO
命令,將數據從 ADLS Gen2 容器載入 Azure Databricks 工作區。
若要使用 Unity 目錄磁碟區或外部位置載入數據,請參閱 使用 COPY INTO 搭配 Unity 目錄磁碟區或外部位置載入數據。
若要使用 SQL 倉儲搭配服務主體載入數據,請參閱 使用 COPY INTO 搭配服務主體載入數據。
若要使用暫存認證載入資料(Blob SAS 令牌),請參閱 使用 COPY INTO 搭配暫存認證載入數據。