設定擷取的數據存取
本文說明系統管理員使用者如何設定存取 Azure Data Lake Storage Gen2 (ADLS Gen2) 容器中的數據,讓 Azure Databricks 用戶可以將數據從 ADLS Gen2 載入 Azure Databricks 中的 table。
本文說明設定源數據安全存取的下列方式:
(建議)建立 Unity Catalog 磁碟區。
使用存儲憑證建立 Unity Catalog 外部位置。
啟動使用服務主體的計算資源。
Generate 暫存 credentials(Blob SAS 令牌)。
開始之前
在設定 ADLS Gen2 中數據的存取權之前,請確定您有下列專案:
Azure 記憶體帳戶中容器中的數據。 若要建立容器,請參閱 Azure 記憶體檔中的建立容器 。
若要使用 Unity Catalog 磁碟區來存取數據(建議),必須在該磁碟區上設置
READ VOLUME
許可權。 如需詳細資訊,請參閱 Unity 是什麼 Catalogvolumes? 以及 Unity Catalog 權限與可保護物件。要使用 Unity Catalog 外部位置存取數據,您需要具備
READ FILES
外部位置的許可權。 如需詳細資訊,請參閱建立外部位置以將雲端儲存連線到 Azure Databricks。若要使用計算資源搭配服務主體存取數據,Azure Databricks 工作區管理員許可權。
若要使用暫時 credentials存取資料:
- Azure Databricks 工作區管理員許可權。
- 在 Azure 帳戶中建立 Blob SAS 令牌的許可權。 這使您能夠 generate 暫時 credentials。
熟悉 Databricks SQL 用戶介面。
設定雲端記憶體的存取權
使用下列其中一種方法來設定 ADLS Gen2 的存取權:
(建議)建立 Unity Catalog 磁碟區。 如需詳細資訊,請參閱 什麼是 Unity Catalogvolumes?。
使用儲存憑證設定 Unity Catalog 外部位置。 如需外部位置的詳細資訊,請參閱 建立外部位置以將雲端記憶體連線至 Azure Databricks。
設定計算資源以使用服務主體。 如需詳細資訊,請參閱 設定服務主體。
Generate 暫存 credentials(Blob SAS 令牌)與其他 Azure Databricks 用戶共用。 如需詳細資訊,請參閱擷取 Generate 暫存 credentials。
清理
如果您不想再保留資源,則可以清除雲端帳戶和 Azure Databricks 中的相關聯資源。
刪除 ADLS Gen2 儲存器帳戶
- 開啟 Azure 帳戶的 Azure 入口網站,通常位於 https://portal.azure.com。
- 流覽至並開啟您的記憶體帳戶。
- 按一下刪除。
- 輸入記憶體帳戶的名稱,然後按兩下 [ 刪除]。
停止 SQL 倉儲
如果您未將 SQL 倉儲用於任何其他工作,您應該停止 SQL 倉儲,以避免額外的成本。
- 在 SQL 角色的提要字段中,按兩下 [SQL 倉儲]。
- 在 SQL 倉儲的名稱旁邊,按兩下 [ 停止]。
- 出現提示時,再次按兩下 [ 停止 ]。
下一步
完成本文中的步驟之後,使用者可以執行 COPY INTO
命令,將數據從 ADLS Gen2 容器載入 Azure Databricks 工作區。
若要使用 Unity Catalog 磁碟區或外部位置載入資料,請參閱 使用 COPY INTO 與 Unity Catalogvolumes 或外部位置載入資料。
若要使用 SQL 倉儲搭配服務主體載入資料,請參閱 使用服務主體 COPY INTO 載入資料。
若要使用暫存 credentials 載入資料(Blob SAS 令牌),請參閱 使用暫存 credentialsCOPY INTO 載入數據。