Gerenciar o Azure Data Lake Analytics usando a CLI do Azure

Artigo
12/20/2023

Importante

O Azure Data Lake Analytics foi desativado em 29 de fevereiro de 2024. Saiba mais com este anúncio.

Para análise de dados, sua organização pode usar o Azure Synapse Analytics ou o Microsoft Fabric.

Saiba como gerenciar contas, fontes de dados, usuários e trabalhos da Análise Azure Data Lake usando a CLI do Azure. Para ver os tópicos de gerenciamento usando outras ferramentas, selecione a guia selecionada acima.

Pré-requisitos

Antes de começar este tutorial, você deve ter os seguintes recursos:

Uma subscrição do Azure. Veja Obter versão de avaliação gratuita do Azure.
CLI do Azure. Consulte instalar e configurar a CLI do Azure.
- Baixe e instale as ferramentas de pré-lançamento da CLI do Azure para concluir esta demonstração.
Autentique-se usando o az login comando e selecione a assinatura que você deseja usar. Para mais informações sobre a autenticação através de uma conta escolar ou profissional, consulte Ligar a uma subscrição do Azure a partir da CLI do Azure.
```
az login
az account set --subscription <subscription id>
```
Agora você pode acessar os comandos Data Lake Analytics e Data Lake Store. Execute o seguinte comando para listar os comandos Repositório Data Lake e Análise Data Lake:
```
az dls -h
az dla -h
```

Gerir contas

Antes de executar qualquer trabalho da Análise Data Lake, você deve ter uma conta da Análise Data Lake. Ao contrário do Azure HDInsight, você não paga por uma conta do Google Analytics quando ela não está executando um trabalho. Você só paga pelo tempo em que está executando um trabalho. Para obter mais informações, consulte Visão geral da Análise Azure Data Lake.

Criar contas

Execute o seguinte comando para criar uma conta Data Lake,

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

Atualizar contas

O comando a seguir atualiza as propriedades de uma conta existente do Data Lake Analytics

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

Contas de lista

Listar contas da Análise Data Lake dentro de um grupo de recursos específico

az dla account list "<Resource group name>"

Obter detalhes de uma conta

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Eliminar uma conta

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Gerir origens de dados

Atualmente, o Data Lake Analytics oferece suporte às duas fontes de dados a seguir:

Ao criar uma conta do Google Analytics, você deve designar uma conta do Armazenamento do Azure Data Lake como a conta de armazenamento padrão. A conta de armazenamento Data Lake padrão é usada para armazenar metadados e logs de auditoria de trabalho. Depois de criar uma conta do Google Analytics, você pode adicionar outras contas do Armazenamento Data Lake e/ou conta do Armazenamento do Azure.

Localizar a conta padrão do Repositório Data Lake

Você pode exibir a conta padrão do Repositório Data Lake usada executando o az dla account show comando. O nome da conta padrão está listado na propriedade defaultDataLakeStoreAccount.

az dla account show --account "<Data Lake Analytics account name>"

Adicionar outras contas de armazenamento de Blob

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

Nota

Apenas nomes curtos de armazenamento de Blob são suportados. Não use FQDN, por exemplo "myblob.blob.core.windows.net".

Adicionar outras contas do Repositório Data Lake

O comando a seguir atualiza a conta especificada do Data Lake Analytics com outra conta do Repositório Data Lake:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

Atualizar fonte de dados existente

Para atualizar uma chave de conta de armazenamento de Blob existente:

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Listar fontes de dados

Para listar as contas do Repositório Data Lake:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

Para listar a conta de armazenamento de Blob:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

Captura de tela que mostra o Azure C L I com as informações

Excluir fontes de dados

Para excluir uma conta do Repositório Data Lake:

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

Para excluir uma conta de armazenamento de Blob:

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Gerir tarefas

Você deve ter uma conta do Data Lake Analytics antes de criar um trabalho. Para obter mais informações, consulte Gerenciar contas do Data Lake Analytics.

Listar vagas

az dla job list --account "<Data Lake Analytics account name>"

Fonte de dados da lista Data Lake Analytics

Obter detalhes da vaga

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Enviar trabalhos

Nota

A prioridade padrão de um trabalho é 1000 e o grau padrão de paralelismo para um trabalho é 1.

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

Cancelar trabalhos

Use o comando list para localizar a ID do trabalho e, em seguida, use cancel para cancelar o trabalho.

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Pipelines e recorrências

Obter informações sobre pipelines e recorrências

Utilize os comandos az dla job pipeline para ver as informações de pipeline de tarefas previamente submetidas.

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

Utilize os comandos az dla job recurrence para ver as informações de recorrência para tarefas previamente submetidas.

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

Partilhar via