使用 Azure CLI 開始使用 Azure Data Lake Analytics
這很重要
除非您的訂用帳戶已啟用,否則無法再建立新的 Azure Data Lake Analytics 帳戶。 如果您需要啟用訂用帳戶,請連絡支持人員 並提供您的商務案例。
如果您已經使用 Azure Data Lake Analytics,您必須在 2024 年 2 月 29 日前,為貴組織建立 azure Synapse Analytics 的 移轉計畫。
本文說明如何使用 Azure CLI 命令行介面來建立 Azure Data Lake Analytics 帳戶、提交 USQL 作業和目錄。 作業會讀取索引標籤分隔值 (TSV) 檔案,並將它轉換成逗號分隔值 (CSV) 檔案。
先決條件
開始之前,您需要下列項目:
- Azure 訂用帳戶。 請參閱取得 Azure 免費試用。
- 本文要求您執行 Azure CLI 2.0 版或更新版本。 如果您需要安裝或升級,請參閱安裝 Azure CLI。
登入 Azure
若要登入您的 Azure 訂用帳戶:
az login
系統會要求您流覽至 URL,並輸入驗證碼。 然後遵循指示輸入您的認證。
登入之後,登入命令會列出您的訂用帳戶。
若要使用特定訂用帳戶:
az account set --subscription <subscription id>
建立 Data Lake Analytics 帳戶
您需要 Data Lake Analytics 帳戶,才能執行任何作業。 若要建立 Data Lake Analytics 帳戶,您必須指定下列項目:
- Azure 資源群組。 必須在 Azure 資源群組內建立 Data Lake Analytics 帳戶。 Azure Resource Manager 可讓您將應用程式中的資源當作群組使用。 您可以在單一協調的作業中部署、更新或移除應用程式的所有資源。
若要列出訂用帳戶底下的現有資源群組:
az group list
若要建立新的資源群組:
az group create --name "<Resource Group Name>" --location "<Azure Location>"
- Data Lake Analytics 帳戶名稱。 每個 Data Lake Analytics 帳戶都有名稱。
- 位置。 使用其中一個支援 Data Lake Analytics 的 Azure 數據中心。
- 默認 Data Lake Store 帳戶:每個 Data Lake Analytics 帳戶都有預設的 Data Lake Store 帳戶。
若要列出現有的 Data Lake Store 帳戶:
az dls account list
若要建立新的 Data Lake Store 帳戶:
az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"
使用下列語法建立 Data Lake Analytics 帳戶:
az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"
建立帳戶之後,您可以使用下列命令來列出帳戶並顯示帳戶詳細數據:
az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"
將數據上傳至 Data Lake Store
在本教學課程中,您會處理一些搜尋記錄。 搜尋記錄可以儲存在 Data Lake Store 或 Azure Blob 記憶體中。
Azure 入口網站提供使用者介面,可將一些範例數據檔複製到預設 Data Lake Store 帳戶,其中包含搜尋記錄檔。 請參閱 準備源數據 以將數據上傳至預設 Data Lake Store 帳戶。
若要使用 Azure CLI 上傳檔案,請使用下列命令:
az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"
Data Lake Analytics 也可以存取 Azure Blob 記憶體。 如需將數據上傳至 Azure Blob 記憶體,請參閱 搭配 Azure 記憶體使用 Azure CLI。
提交 Data Lake Analytics 作業
Data Lake Analytics 作業是以 U-SQL 語言撰寫。 若要深入瞭解 U-SQL,請參閱開始使用U-SQL語言 和 U-SQL語言參考。
建立 Data Lake Analytics 作業腳本
使用下列 U-SQL 腳本建立文字檔,並將文字文件儲存到您的工作站:
@a =
SELECT * FROM
(VALUES
("Contoso", 1500.0),
("Woodgrove", 2700.0)
) AS
D( customer, amount );
OUTPUT @a
TO "/data.csv"
USING Outputters.Csv();
此 U-SQL 腳本會使用 Extractors.Tsv()讀取源數據檔,然後使用 Outputters.Csv()建立 csv 檔案。
除非您將來源檔案複製到不同的位置,否則請勿修改這兩個路徑。 如果輸出資料夾不存在,Data Lake Analytics 會建立它。
針對儲存在預設 Data Lake Store 帳戶中的檔案,使用相對路徑會更簡單。 您也可以使用絕對路徑。 例如:
adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv
您必須使用絕對路徑來存取連結記憶體帳戶中的檔案。 儲存在連結 Azure 記憶體帳戶中的檔案語法如下:
wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv
備註
不支援具有公用 Blob 的 Azure Blob 容器。 不支援具有公用容器的 Azure Blob 容器。
提交任務
使用下列語法來提交作業。
az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"
例如:
az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"
列出作業並顯示作業詳細數據
az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"
取消作業
az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"
擷取作業結果
作業完成後,您可以使用下列命令來列出輸出檔案,並下載檔案:
az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"
例如:
az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"
後續步驟
- 若要查看 Data Lake Analytics Azure CLI 參考檔,請參閱 Data Lake Analytics。
- 若要查看 Data Lake Store Azure CLI 參考檔,請參閱 Data Lake Store。
- 若要查看更複雜的查詢,請參閱 使用 Azure Data Lake Analytics分析網站記錄。