共用方式為


使用 Azure CLI 開始使用 Azure Data Lake Analytics

這很重要

除非您的訂用帳戶已啟用,否則無法再建立新的 Azure Data Lake Analytics 帳戶。 如果您需要啟用訂用帳戶,請連絡支持人員 並提供您的商務案例。

如果您已經使用 Azure Data Lake Analytics,您必須在 2024 年 2 月 29 日前,為貴組織建立 azure Synapse Analytics 移轉計畫。

本文說明如何使用 Azure CLI 命令行介面來建立 Azure Data Lake Analytics 帳戶、提交 USQL 作業和目錄。 作業會讀取索引標籤分隔值 (TSV) 檔案,並將它轉換成逗號分隔值 (CSV) 檔案。

先決條件

開始之前,您需要下列項目:

登入 Azure

若要登入您的 Azure 訂用帳戶:

az login

系統會要求您流覽至 URL,並輸入驗證碼。 然後遵循指示輸入您的認證。

登入之後,登入命令會列出您的訂用帳戶。

若要使用特定訂用帳戶:

az account set --subscription <subscription id>

建立 Data Lake Analytics 帳戶

您需要 Data Lake Analytics 帳戶,才能執行任何作業。 若要建立 Data Lake Analytics 帳戶,您必須指定下列項目:

  • Azure 資源群組。 必須在 Azure 資源群組內建立 Data Lake Analytics 帳戶。 Azure Resource Manager 可讓您將應用程式中的資源當作群組使用。 您可以在單一協調的作業中部署、更新或移除應用程式的所有資源。

若要列出訂用帳戶底下的現有資源群組:

az group list

若要建立新的資源群組:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • Data Lake Analytics 帳戶名稱。 每個 Data Lake Analytics 帳戶都有名稱。
  • 位置。​​ 使用其中一個支援 Data Lake Analytics 的 Azure 數據中心。
  • 默認 Data Lake Store 帳戶:每個 Data Lake Analytics 帳戶都有預設的 Data Lake Store 帳戶。

若要列出現有的 Data Lake Store 帳戶:

az dls account list

若要建立新的 Data Lake Store 帳戶:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

使用下列語法建立 Data Lake Analytics 帳戶:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

建立帳戶之後,您可以使用下列命令來列出帳戶並顯示帳戶詳細數據:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

將數據上傳至 Data Lake Store

在本教學課程中,您會處理一些搜尋記錄。 搜尋記錄可以儲存在 Data Lake Store 或 Azure Blob 記憶體中。

Azure 入口網站提供使用者介面,可將一些範例數據檔複製到預設 Data Lake Store 帳戶,其中包含搜尋記錄檔。 請參閱 準備源數據 以將數據上傳至預設 Data Lake Store 帳戶。

若要使用 Azure CLI 上傳檔案,請使用下列命令:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics 也可以存取 Azure Blob 記憶體。 如需將數據上傳至 Azure Blob 記憶體,請參閱 搭配 Azure 記憶體使用 Azure CLI

提交 Data Lake Analytics 作業

Data Lake Analytics 作業是以 U-SQL 語言撰寫。 若要深入瞭解 U-SQL,請參閱開始使用U-SQL語言U-SQL語言參考

建立 Data Lake Analytics 作業腳本

使用下列 U-SQL 腳本建立文字檔,並將文字文件儲存到您的工作站:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

此 U-SQL 腳本會使用 Extractors.Tsv()讀取源數據檔,然後使用 Outputters.Csv()建立 csv 檔案。

除非您將來源檔案複製到不同的位置,否則請勿修改這兩個路徑。 如果輸出資料夾不存在,Data Lake Analytics 會建立它。

針對儲存在預設 Data Lake Store 帳戶中的檔案,使用相對路徑會更簡單。 您也可以使用絕對路徑。 例如:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

您必須使用絕對路徑來存取連結記憶體帳戶中的檔案。 儲存在連結 Azure 記憶體帳戶中的檔案語法如下:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

備註

不支援具有公用 Blob 的 Azure Blob 容器。 不支援具有公用容器的 Azure Blob 容器。

提交任務

使用下列語法來提交作業。

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

例如:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

列出作業並顯示作業詳細數據

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

取消作業

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

擷取作業結果

作業完成後,您可以使用下列命令來列出輸出檔案,並下載檔案:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

例如:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

後續步驟