Executar os exemplos do MapReduce incluídos no HDInsight

Artigo
09/06/2024

Cluster do Linux

Saiba como executar os exemplos do MapReduce incluídos com o Apache Hadoop no HDInsight.

Pré-requisitos

Um cluster do Apache Hadoop no HDInsight. Consulte Introdução ao HDInsight no Linux.
Um cliente SSH. Para obter mais informações, veja Ligar ao HDInsight (Apache Hadoop) através de SSH.

Os exemplos do MapReduce

Os exemplos estão localizados no cluster do HDInsight em /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar. O código fonte para estes exemplos está incluído no cluster do HDInsight em /usr/hdp/current/hadoop-client/src/hadoop-mapreduce-project/hadoop-mapreduce-examples.

Os exemplos seguintes estão contidos neste arquivo:

Sample	Descrição
aggregatewordcount	Conta as palavras nos ficheiros de entrada.
aggregatewordhist	Calcula o histograma das palavras nos ficheiros de entrada.
`bbp`	Utiliza Bailey-Borwein-Plouffe para calcular dígitos exatos de Pi.
dbcount	Conta os registos de pageview armazenados numa base de dados.
distbbp	Utiliza uma fórmula do tipo BBP para calcular os bits exatos de Pi.
grep	Conta as correspondências de um regex na entrada.
aderir	Efetua uma associação através de conjuntos de dados ordenados e igualmente particionados.
multifilewc	Conta palavras de vários ficheiros.
pentomino	Programa de colocação de mosaicos para encontrar soluções para problemas de pentomino.
pi	Calcula Pi com um método quasi-Monte Carlo.
randomtextwriter	Escreve 10 GB de dados textuais aleatórios por nó.
`randomwriter`	Escreve 10 GB de dados aleatórios por nó.
`secondarysort`	Define uma ordenação secundária para a fase de redução.
ordenar	Ordena os dados escritos pelo escritor aleatório.
sudoku	Um solver sudoku.
teragen	Gerar dados para o terasort.
terasort	Execute o terasort.
teravalidate	A verificar os resultados de terasort.
wordcount	Conta as palavras nos ficheiros de entrada.
`wordmean`	Conta o comprimento médio das palavras nos ficheiros de entrada.
`wordmedian`	Conta o comprimento mediano das palavras nos ficheiros de entrada.
wordstandarddeviation	Conta o desvio padrão do comprimento das palavras nos ficheiros de entrada.

Executar o exemplo de contagem de palavras

Ligue-se ao HDInsight através de SSH. Substitua CLUSTER pelo nome do cluster e, em seguida, introduza o seguinte comando:
```
ssh sshuser@CLUSTER-ssh.azurehdinsight.net
```
Na sessão SSH, utilize o seguinte comando para listar os exemplos:
```
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar
```
Este comando gera a lista de exemplo da secção anterior deste documento.
Utilize o seguinte comando para obter ajuda sobre um exemplo específico. Neste caso, o exemplo de contagem de palavras :
```
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount
```
Recebe a seguinte mensagem:
```
Usage: wordcount <in> [<in>...] <out>
```
Esta mensagem indica que pode fornecer vários caminhos de entrada para os documentos de origem. O caminho final é onde o resultado (contagem de palavras nos documentos de origem) é armazenado.
Utilize o seguinte para contar todas as palavras nos Blocos de Notas de Leonardo da Vinci, que são fornecidos como dados de exemplo com o seu cluster:
```
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /example/data/davinciwordcount
```
A entrada para esta tarefa é lida a partir de /example/data/gutenberg/davinci.txt. O resultado deste exemplo é armazenado em /example/data/davinciwordcount. Ambos os caminhos estão localizados no armazenamento predefinido do cluster e não no sistema de ficheiros local.

Nota

Conforme indicado na ajuda do exemplo de contagem de palavras, também pode especificar vários ficheiros de entrada. Por exemplo, hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /example/data/gutenberg/ulysses.txt /example/data/twowordcount contaria palavras em davinci.txt e ulysses.txt.
Depois de concluída a tarefa, utilize o seguinte comando para ver o resultado:
```
hdfs dfs -cat /example/data/davinciwordcount/*
```
Este comando concatena todos os ficheiros de saída produzidos pela tarefa. Apresenta a saída para a consola. O resultado é semelhante ao seguinte texto:
```
zum     1
zur     1
zwanzig 1
zweite  1
```
Cada linha representa uma palavra e quantas vezes ocorreu nos dados de entrada.

O exemplo de Sudoku

Sudoku é um puzzle lógico composto por nove grelhas 3x3. Algumas células na grelha têm números, enquanto outras estão em branco e o objetivo é resolver as células em branco. A ligação anterior tem mais informações sobre o puzzle, mas o objetivo deste exemplo é resolver as células em branco. Por isso, a nossa entrada deve ser um ficheiro que esteja no seguinte formato:

Nove linhas de nove colunas
Cada coluna pode conter um número ou ? (o que indica uma célula em branco)
As células são separadas por um espaço

Há uma certa maneira de construir puzzles sudoku; não pode repetir um número numa coluna ou linha. Existe um exemplo do cluster do HDInsight que foi construído corretamente. Está localizado em /usr/hdp/*/hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/dancing/puzzle1.dta e contém o seguinte texto:

8 5 ? 3 9 ? ? ? ?
? ? 2 ? ? ? ? ? ?
? ? 6 ? 1 ? ? ? 2
? ? 4 ? ? 3 ? 5 9
? ? 8 9 ? 1 4 ? ?
3 2 ? 4 ? ? 8 ? ?
9 ? ? ? 8 ? 5 ? ?
? ? ? ? ? ? 2 ? ?
? ? ? ? 4 5 ? 7 8

Para executar este problema de exemplo através do exemplo de Sudoku, utilize o seguinte comando:

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar sudoku /usr/hdp/*/hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/dancing/puzzle1.dta

Os resultados são semelhantes ao seguinte texto:

8 5 1 3 9 2 6 4 7
4 3 2 6 7 8 1 9 5
7 9 6 5 1 4 3 8 2
6 1 4 8 2 3 7 5 9
5 7 8 9 6 1 4 2 3
3 2 9 4 5 7 8 1 6
9 4 7 2 8 6 5 3 1
1 8 5 7 3 9 2 6 4
2 6 3 1 4 5 9 7 8

Exemplo de Pi (π)

A amostra pi utiliza um método estatístico (quasi-Monte Carlo) para estimar o valor de pi. Os pontos são colocados aleatoriamente num quadrado de unidade. O quadrado também contém um círculo. A probabilidade de os pontos ficarem dentro do círculo é igual à área do círculo, pi/4. O valor de pi pode ser estimado a partir do valor de 4R. R é a proporção do número de pontos dentro do círculo para o número total de pontos que estão dentro do quadrado. Quanto maior for a amostra de pontos utilizados, melhor será a estimativa.

Utilize o seguinte comando para executar este exemplo. Este comando utiliza 16 mapas com 10 000 000 amostras cada para estimar o valor de pi:

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar pi 16 10000000

O valor devolvido por este comando é semelhante a 3.141591550000000000000000. Para referências, as primeiras 10 casas decimais de pi são 3.1415926535.

Exemplo de GraySort de 10 GB

GraySort é uma ordenação de referência. A métrica é a taxa de ordenação (TB/minuto) que é obtida ao ordenar grandes quantidades de dados, normalmente um mínimo de 100 TB.

Este exemplo utiliza uns modestos 10 GB de dados para que possam ser executados relativamente rapidamente. Utiliza as aplicações MapReduce desenvolvidas por Owen O'Malley e Arun Murthy. Estas aplicações ganharam a referência anual de ordenação de terabytes para fins gerais ("Daytona") em 2009, com uma taxa de 0,578 TB/min (100 TB em 173 minutos). Para obter mais informações sobre esta e outras referências de ordenação, veja o site Sort Benchmark .

Este exemplo utiliza três conjuntos de programas MapReduce:

TeraGen: um programa MapReduce que gera linhas de dados para ordenar
TeraSort: amostra os dados de entrada e utiliza o MapReduce para ordenar os dados numa ordem total

TeraSort é uma ordenação mapReduce padrão, exceto um particionador personalizado. O particionador utiliza uma lista ordenada de chaves de exemplo N-1 que definem o intervalo de chaves para cada redução. Em particular, todas as chaves, tais como o exemplo[i-1] <= exemplo de chave < [i] são enviadas para reduzir i. Este particionador garante que as saídas de redução i são todas inferiores à saída da redução i+1.
TeraValidate: um programa MapReduce que valida que o resultado está ordenado globalmente

Cria um mapa por ficheiro no diretório de saída e cada mapa garante que cada chave é menor ou igual à anterior. A função de mapa gera registos da primeira e última chaves de cada ficheiro. A função reduce garante que a primeira chave do ficheiro i é maior do que a última chave do ficheiro i-1. Quaisquer problemas são comunicados como uma saída da fase de redução, com as chaves que estão fora de ordem.

Utilize os seguintes passos para gerar dados, ordenar e, em seguida, validar a saída:

Gerar 10 GB de dados, que é armazenado no armazenamento predefinido do cluster do HDInsight em /example/data/10GB-sort-input:
```
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar teragen -Dmapred.map.tasks=50 100000000 /example/data/10GB-sort-input
```
O -Dmapred.map.tasks indica ao Hadoop quantas tarefas de mapa utilizar para esta tarefa. Os dois parâmetros finais instruem a tarefa a criar 10 GB de dados e a armazená-la em /example/data/10GB-sort-input.
Utilize o seguinte comando para ordenar os dados:
```
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar terasort -Dmapred.map.tasks=50 -Dmapred.reduce.tasks=25 /example/data/10GB-sort-input /example/data/10GB-sort-output
```
O -Dmapred.reduce.tasks indica ao Hadoop quantas tarefas de redução utilizar para a tarefa. Os dois parâmetros finais são apenas as localizações de entrada e saída dos dados.

Utilize o seguinte para validar os dados gerados pela ordenação:

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar teravalidate -Dmapred.map.tasks=50 -Dmapred.reduce.tasks=25 /example/data/10GB-sort-output /example/data/10GB-sort-validate

Passos seguintes

Neste artigo, aprendeu a executar os exemplos incluídos nos clusters do HDInsight baseados em Linux. Para obter tutoriais sobre como utilizar o Pig, Hive e MapReduce com o HDInsight, veja os seguintes tópicos:

Partilhar via