Executar tarefas do MapReduce com o Apache Hadoop no HDInsight com REST

Artigo
05/09/2024

Saiba como utilizar a API REST WebHCat do Apache Hive para executar tarefas do MapReduce num cluster do Apache Hadoop no HDInsight. O Curl é utilizado para demonstrar como pode interagir com o HDInsight com pedidos HTTP não processados para executar tarefas do MapReduce.

Nota

Se já estiver familiarizado com a utilização de servidores Hadoop baseados em Linux, mas não estiver familiarizado com o HDInsight, consulte o documento O que precisa de saber sobre o Apache Hadoop baseado em Linux no HDInsight .

Pré-requisitos

Um cluster do Apache Hadoop no HDInsight. Veja Criar clusters do Apache Hadoop com o portal do Azure.

Uma das seguintes opções:

Windows PowerShell ou,
Curl com jq

Executar uma tarefa do MapReduce

Nota

Quando utiliza o Curl ou qualquer outra comunicação REST com o WebHCat, tem de autenticar os pedidos ao fornecer o nome de utilizador e a palavra-passe do administrador do cluster do HDInsight. Tem de utilizar o nome do cluster como parte do URI que é utilizado para enviar os pedidos para o servidor.

A API REST é protegida através da autenticação de acesso básica. Deve sempre fazer pedidos com HTTPS para garantir que as suas credenciais são enviadas de forma segura para o servidor.

Curl

Para facilitar a utilização, defina as variáveis abaixo. Este exemplo baseia-se num ambiente do Windows, reveja conforme necessário para o seu ambiente.
```
set CLUSTERNAME=
set PASSWORD=
```
Numa linha de comandos, utilize o seguinte comando para verificar que se consegue ligar ao cluster do HDInsight:
```
curl -u admin:%PASSWORD% -G https://%CLUSTERNAME%.azurehdinsight.net/templeton/v1/status
```
Os parâmetros utilizados neste comando são os seguintes:
- -u: Indica o nome de utilizador e a palavra-passe utilizados para autenticar o pedido
- -G: Indica que esta operação é um pedido GET
O início do URI, https://CLUSTERNAME.azurehdinsight.net/templeton/v1, é o mesmo para todos os pedidos.

Recebe uma resposta semelhante à seguinte JSON:
```
{"version":"v1","status":"ok"}
```
Para submeter uma tarefa do MapReduce, utilize o seguinte comando. Modifique o caminho para jq conforme necessário.
```
curl -u admin:%PASSWORD% -d user.name=admin ^
-d jar=/example/jars/hadoop-mapreduce-examples.jar ^
-d class=wordcount -d arg=/example/data/gutenberg/davinci.txt -d arg=/example/data/output ^
https://%CLUSTERNAME%.azurehdinsight.net/templeton/v1/mapreduce/jar | ^
C:\HDI\jq-win64.exe .id
```
O fim do URI (/mapreduce/jar) indica ao WebHCat que este pedido inicia uma tarefa do MapReduce a partir de uma classe num ficheiro jar. Os parâmetros utilizados neste comando são os seguintes:
- -d: -G não é utilizado, pelo que o pedido é predefinido para o método POST. -d especifica os valores de dados que são enviados com o pedido.
  - user.name: o utilizador que está a executar o comando
  - jar: A localização do ficheiro jar que contém a classe a ser executada
  - classe: A classe que contém a lógica MapReduce
  - arg: os argumentos a serem transmitidos para a tarefa MapReduce. Neste caso, o ficheiro de texto de entrada e o diretório que são utilizados para a saída
Este comando deve devolver um ID de tarefa que pode ser utilizado para verificar o estado da tarefa: job_1415651640909_0026.

Para verificar o estado da tarefa, utilize o seguinte comando. Substitua o valor para pelo JOBID valor real devolvido no passo anterior. Reveja a localização do jq conforme necessário.

set JOBID=job_1415651640909_0026

curl -G -u admin:%PASSWORD% -d user.name=admin https://%CLUSTERNAME%.azurehdinsight.net/templeton/v1/jobs/%JOBID% | ^
C:\HDI\jq-win64.exe .status.state

PowerShell

Para facilitar a utilização, defina as variáveis abaixo. Substitua CLUSTERNAME pelo nome real do cluster. Execute o comando e introduza a palavra-passe de início de sessão do cluster quando lhe for pedido.
```
$clusterName="CLUSTERNAME"
$creds = Get-Credential -UserName admin -Message "Enter the cluster login password"
```

Utilize o seguinte comando para verificar se consegue ligar ao cluster do HDInsight:

$resp = Invoke-WebRequest -Uri "https://$clustername.azurehdinsight.net/templeton/v1/status" `
    -Credential $creds `
    -UseBasicParsing
$resp.Content

Recebe uma resposta semelhante à seguinte JSON:

{"version":"v1","status":"ok"}

Para submeter uma tarefa do MapReduce, utilize o seguinte comando:
```
$reqParams = @{}
$reqParams."user.name" = "admin"
$reqParams.jar = "/example/jars/hadoop-mapreduce-examples.jar"
$reqParams.class = "wordcount"
$reqParams.arg = @()
$reqParams.arg += "/example/data/gutenberg/davinci.txt"
$reqparams.arg += "/example/data/output"
$resp = Invoke-WebRequest -Uri "https://$clusterName.azurehdinsight.net/templeton/v1/mapreduce/jar" `
   -Credential $creds `
   -Body $reqParams `
   -Method POST `
   -UseBasicParsing
$jobID = (ConvertFrom-Json $resp.Content).id
$jobID
```
O fim do URI (/mapreduce/jar) indica ao WebHCat que este pedido inicia uma tarefa do MapReduce a partir de uma classe num ficheiro jar. Os parâmetros utilizados neste comando são os seguintes:
- user.name: o utilizador que está a executar o comando
- jar: A localização do ficheiro jar que contém a classe a ser executada
- classe: A classe que contém a lógica MapReduce
- arg: os argumentos a serem transmitidos para a tarefa MapReduce. Neste caso, o ficheiro de texto de entrada e o diretório que são utilizados para a saída
Este comando deve devolver um ID de tarefa que pode ser utilizado para verificar o estado da tarefa: job_1415651640909_0026.

Para verificar o estado da tarefa, utilize o seguinte comando:

$reqParams=@{"user.name"="admin"}
$resp = Invoke-WebRequest -Uri "https://$clusterName.azurehdinsight.net/templeton/v1/jobs/$jobID" `
   -Credential $creds `
   -Body $reqParams `
   -UseBasicParsing

# ConvertFrom-JSON can't handle duplicate names with different case
# So change one to prevent the error
$fixDup=$resp.Content.Replace("jobID","job_ID")
(ConvertFrom-Json $fixDup).status.state

Ambos os métodos

Se a tarefa estiver concluída, o estado devolvido é SUCCEEDED.
Quando o estado da tarefa for alterado para SUCCEEDED, pode obter os resultados da tarefa a partir do Armazenamento de Blobs do Azure. O statusdir parâmetro transmitido com a consulta contém a localização do ficheiro de saída. Neste exemplo, a localização é /example/curl. Este endereço armazena a saída da tarefa no armazenamento predefinido dos clusters em /example/curl.

Pode listar e transferir estes ficheiros com a CLI do Azure. Para obter mais informações sobre como utilizar a CLI do Azure para trabalhar com o armazenamento de Blobs do Azure, veja Início Rápido: Criar, transferir e listar blobs com a CLI do Azure.

Passos seguintes

Para obter informações sobre outras formas de trabalhar com o Hadoop no HDInsight:

Para obter mais informações sobre a interface REST que é utilizada neste artigo, consulte a Referência de WebHCat.

Partilhar via