Partilhar via

Introdução ao Azure Data Lake Analytics com a CLI do Azure

  • Artigo

Importante

As novas contas do Azure Data Lake Analytics já não podem ser criadas, a menos que a subscrição tenha sido ativada. Se precisar que a sua subscrição esteja ativada , contacte o suporte e forneça o seu cenário empresarial.

Se já estiver a utilizar o Azure Data Lake Analytics, terá de criar um plano de migração para Azure Synapse Analytics para a sua organização até 29 de fevereiro de 2024.

Este artigo descreve como utilizar a interface de linha de comandos da CLI do Azure para criar contas de Data Lake Analytics do Azure, submeter tarefas e catálogos USQL. A tarefa que lê um ficheiro de valores separados por tabulações (TSV) e converte-o num ficheiro de valores separados por vírgulas (CSV).

Pré-requisitos

Antes de começar, irá precisar dos seguintes itens:

Iniciar sessão no Azure

Para iniciar sessão na sua subscrição do Azure:

az login

É-lhe pedido que navegue para um URL e introduza um código de autenticação. E, em seguida, siga as instruções para introduzir as suas credenciais.

Depois de iniciar sessão, o comando de início de sessão lista as suas subscrições.

Para utilizar uma subscrição específica:

az account set --subscription <subscription id>

Criar conta de Data Lake Analytics

Tem de ter uma conta de Data Lake Analytics antes de poder executar quaisquer tarefas. Para criar uma conta de Data Lake Analytics, tem de especificar os seguintes itens:

  • Grupo de Recursos do Azure. Uma conta do Data Lake Analytics tem de ser criada dentro de um grupo de recursos do Azure. O Azure Resource Manager permite trabalhar com os recursos na aplicação como um grupo. Pode implementar, atualizar ou eliminar todos os recursos da aplicação numa operação única e coordenada.

Para listar os grupos de recursos existentes na sua subscrição:

az group list

Para criar um novo grupo de recursos:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • Data Lake Analytics nome da conta. Cada conta do Data Lake Analytics tem um nome.
  • Localização. Utilize um dos centros de dados do Azure que suportem a Data Lake Analytics.
  • Conta do Data Lake Store predefinida: cada conta do Data Lake Analytics tem uma conta do Data Lake Store predefinida.

Para listar a conta existente do Data Lake Store:

az dls account list

Para criar uma nova conta do Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Utilize a seguinte sintaxe para criar uma conta do Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Depois de criar uma conta, pode utilizar os comandos seguintes para listar as contas e mostrar detalhes da conta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Carregar dados para o Data Lake Store

Neste tutorial, vai processar alguns registos de pesquisa. O registo de pesquisa pode ser armazenado no Data Lake Store ou no Armazenamento de Blobs do Azure.

O portal do Azure fornece uma interface de utilizador para copiar alguns ficheiros de dados de exemplo para a conta predefinida do Data Lake Store, que incluem um ficheiro de registo de pesquisa. Consulte Preparar dados de origem para carregar os dados para a conta de Data Lake Store predefinida.

Para carregar ficheiros com a CLI do Azure, utilize os seguintes comandos:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

A Data Lake Analytics também pode aceder ao armazenamento de Blobs do Azure. Para carregar dados para o armazenamento de Blobs do Azure, consulte Utilizar a CLI do Azure com o Armazenamento do Azure.

Submeter tarefas de Data Lake Analytics

As tarefas de Data Lake Analytics são escritas em linguagem U-SQL. Para saber mais sobre U-SQL, consulte Introdução à linguagem U SQL e Referência de linguagem U-SQL.

Para criar um script de tarefa de Data Lake Analytics

Crie um ficheiro de texto com o seguinte script de U-SQL e guarde o ficheiro de texto na estação de trabalho:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Este script U-SQL lê o ficheiro de dados de origem, utilizando Extractors.Tsv(), e, em seguida, cria um ficheiro csv, utilizando Outputters.Csv().

Não modifique os dois caminhos, exceto se copiar o ficheiro de origem para uma localização diferente. O Data Lake Analytics cria a pasta de saída se não existir.

É mais simples utilizar caminhos relativos para ficheiros armazenados em contas do Data Lake Store predefinidas. Também pode utilizar caminhos absolutos. Por exemplo:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Tem de utilizar caminhos absolutos para aceder a ficheiros em contas de Armazenamento ligadas. A sintaxe para ficheiros armazenados numa Conta de Armazenamento do Azure ligada é:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Nota

O contentor de Blobs do Azure com blobs públicos não é suportado. O contentor de Blobs do Azure com contentores públicos não é suportado.

Para submeter tarefas

Utilize a sintaxe seguinte para submeter uma tarefa.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Por exemplo:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Para listar tarefas e mostrar detalhes da tarefa

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Para cancelar as tarefas

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Obter resultados de tarefa

Depois de uma tarefa ser concluída, pode utilizar os seguintes comandos para listar os ficheiros de saída e transferir os ficheiros:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

Por exemplo:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

Passos seguintes