Gerenciar o Azure Data Lake Analytics usando a CLI do Azure

Artigo
12/20/2023

Importante

O Azure Data Lake Analytics se aposentou em 29 de fevereiro de 2024. Saiba mais nesse comunicado.

Para análise de dados, sua organização pode usar o Azure Synapse Analytics ou o Microsoft Fabric.

Saiba como gerenciar contas, fontes de dados, usuários e trabalhos do Azure Data Lake Analytics usando a CLI do Azure. Para ver os tópicos de gerenciamento usando outras ferramentas, selecione a guia acima.

Pré-requisitos

Antes de começar este tutorial, você deve ter os seguintes recursos:

Uma assinatura do Azure. Consulte Obter a avaliação gratuita do Azure.
CLI do Azure. Consulte Instalar e configurar a CLI do Azure.
- Baixe e instale as ferramentas de pré-lançamento da CLI do Azure para concluir esta demonstração.
Autentique usando o comando az login e selecione a assinatura que você deseja usar. Para obter mais informações sobre a autenticação usando uma conta de trabalho ou escolar, veja Conectar-se a uma assinatura do Azure da CLI do Azure.
```
az login
az account set --subscription <subscription id>
```
Agora você pode acessar os comandos do Data Lake Analytics e Data Lake Store. Execute o seguinte comando para listar os comandos do Data Lake Store e Data Lake Analytics:
```
az dls -h
az dla -h
```

Gerenciar contas

Antes de executar qualquer trabalho da Análise Data Lake, você deve ter uma conta da Análise Data Lake. Ao contrário do Azure HDInsight, você não paga por uma conta do Analytics quando ela não está executando um trabalho. Você só paga pelo tempo em que ela se encontra executando trabalhos. Para saber mais, consulte Visão geral sobre a Análise Azure Data Lake.

Criar contas

Execute o comando a seguir para criar uma conta Data Lake,

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

Atualizar contas

O comando a seguir atualiza as propriedades de uma conta existente da Análise Data Lake

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

Listar contas

Listar contas da Análise Data Lake em um grupo de recursos específico

az dla account list "<Resource group name>"

Obtenha detalhes de uma conta

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Excluir uma conta

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Gerenciar fontes de dados

No momento, o Data Lake Analytics dá suporte às duas fontes de dados a seguir:

Quando você cria uma conta da Análise, é necessário designar uma conta do Armazenamento do Azure Data Lake como a conta de armazenamento padrão. A conta de armazenamento padrão do Data Lake é usada para armazenar metadados de trabalho e logs de auditoria de trabalho. Depois de criar uma conta do Analytics, você pode adicionar outras contas do Data Lake Storage e/ou uma conta de Armazenamento do Microsoft Azure.

Encontrar a conta padrão do Repositório Data Lake

Você pode exibir a conta do Data Lake Store padrão usada ao executar o comando az dla account show. Nome de conta padrão é listado sob a propriedade defaultDataLakeStoreAccount.

az dla account show --account "<Data Lake Analytics account name>"

Adicionar outras contas de Armazenamento de Blobs

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

Observação

Há suporte apenas para nomes curtos do Armazenamento de Blobs. Não use o FQDN, por exemplo "myblob.blob.core.windows.net".

Adicionar outras contas do Data Lake Store

O comando a seguir atualiza a conta do Data Lake Analytics especificada com outra conta do Data Lake Store:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

Atualizar a fonte de dados existente

Para atualizar uma chave de conta do Armazenamento de Blobs existente:

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Listar fontes de dados

Para listar as contas do Data Lake Store:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

Para listar as contas do Armazenamento de Blobs:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

Captura de tela que mostra a CLI do Azure com as informações

Excluir fontes de dados

Para excluir uma conta do Repositório do Data Lake:

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

Para excluir uma conta do Armazenamento de Blobs:

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Gerenciar trabalhos

Você deve ter uma conta da Análise Data Lake antes de criar um trabalho. Para saber mais, consulte Gerenciar contas da Análise Data Lake.

Listar trabalhos

az dla job list --account "<Data Lake Analytics account name>"

Fonte de dados de lista da Análise Data Lake

Exibir detalhes do trabalho

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Enviar trabalhos

Observação

A prioridade padrão de um trabalho é de 1.000 e o nível padrão de paralelismo de um trabalho é 1.

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

Cancelar trabalhos

Use o comando “list” para localizar a ID do trabalho e use “cancel” para cancelar o trabalho.

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Pipelines e recorrências

Obter informações sobre pipelines e recorrências

Utilize os comandos az dla job pipeline para consultar as informações de pipeline para trabalhos enviados anteriormente.

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

Utilize os comandos az dla job recurrence para consultar as informações de recorrência para trabalhos enviados anteriormente.

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

Compartilhar via