使用 Azure CLI 管理 Azure Data Lake Analytics
重要
Azure Data Lake Analytics 已于 2024 年 2 月 29 日停用。 通过此公告了解更多信息。
对于数据分析,组织可以使用 Azure Synapse Analytics 或 Microsoft Fabric。
了解如何使用 Azure CLI 管理 Azure Data Lake Analytics 帐户、数据源、用户和作业。 要查看使用其他工具的管理主题,请选择上述选项卡选择。
先决条件
开始学习本教程之前,必须有以下资源:
Azure 订阅。 请参阅获取 Azure 免费试用版。
Azure CLI。 请参阅 安装和配置 Azure CLI。
- 下载并安装预发行的 Azure CLI 工具,以完成此演示。
使用
az login
命令进行身份验证,并选择要使用的订阅。 有关使用公司或学校帐户进行身份验证的详细信息,请参阅 从 Azure CLI 连接到 Azure 订阅。az login az account set --subscription <subscription id>
现在可以访问 Data Lake Analytics 和 Data Lake Store 命令。 运行以下命令以列出 Data Lake Store 和 Data Lake Analytics 命令:
az dls -h az dla -h
管理帐户
运行任何 Data Lake Analytics 作业之前,必须具有 Data Lake Analytics 帐户。 与 Azure HDInsight 不同,Analytics 帐户未运行作业时无需付费。 只需在其运行作业时付费。 有关详细信息,请参阅 Azure Data Lake Analytics 概述。
创建帐户
运行以下命令创建 Data Lake 帐户。
az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"
更新帐户
以下命令会更新现有 Data Lake Analytics 帐户的属性
az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7
列出帐户
列出特定资源组中的 Data Lake Analytics 帐户
az dla account list "<Resource group name>"
获取帐户的详细信息
az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
删除帐户
az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
管理数据源
Data Lake Analytics 目前支持以下两个数据源:
创建 Analytics 帐户时,必须指定一个 Azure Data Lake 存储帐户作为默认存储帐户。 默认 Data Lake 存储帐户用于存储作业元数据和作业审核日志。 创建 Analytics 帐户后,可添加其他 Data Lake 存储帐户和/或 Azure 存储帐户。
查找默认 Data Lake Store 帐户
可以通过运行 az dla account show
命令来查看所用的默认 Data Lake Store 帐户。 默认的帐户名称将在 defaultDataLakeStoreAccount 属性下列出。
az dla account show --account "<Data Lake Analytics account name>"
添加其他 Blob 存储帐户
az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"
注意
仅支持 Blob 存储短名称。 请勿使用 FQDN,例如“myblob.blob.core.windows.net”。
添加其他 Data Lake Store 帐户
以下命令使用其他 Data Lake Store 帐户更新了指定的 Data Lake Analytics 帐户:
az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"
更新现有数据源
更新现有 Blob 存储帐户密钥:
az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
列出数据源
列出 Data Lake Store 帐户:
az dla account data-lake-store list --account "<Data Lake Analytics account name>"
列出 Blob 存储帐户:
az dla account blob-storage list --account "<Data Lake Analytics account name>"
删除数据源
删除 Data Lake Store 帐户:
az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"
删除 Blob 存储帐户:
az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
管理作业
必须拥有 Data Lake Analytics 帐户才可创建作业。 有关详细信息,请参阅管理 Data Lake Analytics 帐户。
列出作业
az dla job list --account "<Data Lake Analytics account name>"
获取作业详细信息
az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
提交作业
注意
作业的默认优先级为 1000,默认并行度为 1。
az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"
取消作业
使用 list 命令查找作业 ID,并使用 cancel 来取消相应作业。
az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
管道和重复周期
获取关于管道和重复周期的相关信息
使用 az dla job pipeline
命令查看先前所提交作业的管道信息。
az dla job pipeline list --account "<Data Lake Analytics Account Name>"
az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"
使用 az dla job recurrence
命令查看先前所提交作业的重复周期信息。
az dla job recurrence list --account "<Data Lake Analytics Account Name>"
az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"