Partilhar via

Tutorial: Criar um aplicativo Apache Spark com IntelliJ usando um espaço de trabalho Synapse

  • Artigo

Este tutorial mostra como usar o plug-in do Kit de Ferramentas do Azure para IntelliJ para desenvolver aplicativos Apache Spark, que são escritos em Scala, e enviá-los para um pool Apache Spark sem servidor diretamente do ambiente de desenvolvimento integrado (IDE) IntelliJ. Você pode usar o plug-in de algumas maneiras:

  • Desenvolva e envie um aplicativo Scala Spark em um pool Spark.
  • Acesse seus recursos de pools do Spark.
  • Desenvolva e execute um aplicativo Scala Spark localmente.

Neste tutorial, irá aprender a:

  • Usar o plug-in do Kit de Ferramentas do Azure para IntelliJ
  • Desenvolver aplicações Apache Spark
  • Submeter candidatura a Spark pools

Pré-requisitos

  • Versão da comunidade IntelliJ IDEA.

  • Plug-in do kit de ferramentas do Azure 3.27.0-2019.2 – Instalar a partir do repositório de plug-ins do IntelliJ

  • JDK (Versão 1.8).

  • Scala Plugin – Instale a partir do repositório de plug-ins IntelliJ.

  • O pré-requisito a seguir é apenas para usuários do Windows:

    Enquanto estiver executando o aplicativo Spark Scala local em um computador Windows, você pode obter uma exceção, conforme explicado no SPARK-2356. A exceção ocorre porque WinUtils.exe está faltando no Windows. Para resolver esse erro, baixe o executável WinUtils para um local como C:\WinUtils\bin. Em seguida, adicione a variável de ambiente HADOOP_HOME e defina o valor da variável como C:\WinUtils.

Criar um aplicativo Spark Scala para um pool do Spark

  1. Inicie o IntelliJ IDEA e selecione Criar novo projeto para abrir a janela Novo projeto .

  2. Selecione Apache Spark/HDInsight no painel esquerdo.

  3. Selecione Spark Project with Samples(Scala) na janela principal.

  4. Na lista suspensa Ferramenta de compilação, selecione um dos seguintes tipos:

    • Suporte ao assistente de criação de projetos Maven for Scala.
    • SBT para gerenciar as dependências e construir para o projeto Scala.

    Caixa de diálogo IntelliJ IDEA New Project

  5. Selecione Seguinte.

  6. Na janela Novo projeto, forneça as seguintes informações:

    Property Description
    Nome do projeto Introduza um nome. Este tutorial utiliza myApp.
    Localização do projeto Insira o local desejado para salvar seu projeto.
    SDK do projeto Pode estar em branco na sua primeira utilização do IDEA. Selecione Novo... e navegue até o JDK.
    Versão do Spark O assistente de criação integra a versão adequada para o SDK do Spark e o SDK do Scala. Aqui você pode escolher a versão Spark que você precisa.

    Selecionando o Apache Spark SDK

  7. Selecione Concluir. Pode demorar alguns minutos até que o projeto fique disponível.

  8. O projeto Spark cria automaticamente um artefato para você. Para exibir o artefato, faça o seguinte funcionamento:

    a. Na barra de menus, navegue até File>Project Structure....

    b. Na janela Estrutura do projeto, selecione Artefatos.

    c. Selecione Cancelar depois de visualizar o artefato.

    Informações do artefato na caixa de diálogo

  9. Encontre LogQuery de myApp>src>main>scala>sample>LogQuery. Este tutorial usa o LogQuery para ser executado.

    Comandos para criar uma classe Scala a partir do Project

Conecte-se às suas piscinas Spark

Entre na assinatura do Azure para se conectar aos seus pools do Spark.

Inicie sessão na sua subscrição do Azure

  1. Na barra de menus, navegue até Exibir Ferramenta do>Windows>Azure Explorer.

    O IntelliJ IDEA mostra o Azure Explorer

  2. No Azure Explorer, clique com o botão direito do mouse no nó do Azure e selecione Entrar.

    IntelliJ IDEA explorer clique com o botão direito do rato em Azure

  3. Na caixa de diálogo Entrar do Azure, escolha Logon do Dispositivo e selecione Entrar.

    Entrada no IntelliJ IDEA Azure

  4. Na caixa de diálogo Logon de Dispositivo do Azure, selecione Copiar e Abrir.

    Login do dispositivo IntelliJ IDEA Azure

  5. Na interface do navegador, cole o código e selecione Avançar.

    Microsoft insere caixa de diálogo de código para HDI

  6. Insira suas credenciais do Azure e feche o navegador.

    Microsoft insere caixa de diálogo de email para HDI

  7. Depois de iniciar sessão, a caixa de diálogo Selecionar Subscrições lista todas as subscrições do Azure associadas às credenciais. Selecione a sua subscrição e, em seguida, selecione Selecionar.

    A caixa de diálogo Selecionar Subscrições

  8. No Azure Explorer, expanda Apache Spark no Synapse para exibir os espaços de trabalho que estão em suas assinaturas.

    Vista principal do IntelliJ IDEA Azure Explorer

  9. Para visualizar os pools do Spark, você pode expandir ainda mais um espaço de trabalho.

    Contas de armazenamento do Azure Explorer

Executar remotamente um aplicativo Spark Scala em um pool do Spark

Depois de criar um aplicativo Scala, você pode executá-lo remotamente.

  1. Abra a janela Executar/Depurar Configurações selecionando o ícone.

    O comando Enviar Aplicativo Spark para o HDInsight 1

  2. Na janela de diálogo Executar/Depurar Configurações, selecione +e, em seguida, selecione Apache Spark no Synapse.

    O comando Enviar Aplicativo Spark para o HDInsight 2

  3. Na janela Executar/Depurar Configurações, forneça os seguintes valores e selecione OK:

    Property valor
    Conjuntos do Apache Spark Selecione os pools do Spark nos quais você deseja executar seu aplicativo.
    Selecione um artefato para enviar Deixe a configuração padrão.
    Nome da classe principal O valor padrão é a classe principal do arquivo selecionado. Você pode alterar a classe selecionando as reticências(...) e escolhendo outra classe.
    Configurações de trabalho Você pode alterar a chave e os valores padrão. Para obter mais informações, consulte Apache Livy REST API.
    Argumentos de linha de comando Você pode inserir argumentos separados por espaço para a classe principal, se necessário.
    Frascos referenciados e arquivos referenciados Você pode inserir os caminhos para os Jars e arquivos referenciados, se houver. Você também pode procurar arquivos no sistema de arquivos virtual do Azure, que atualmente oferece suporte apenas ao cluster ADLS Gen2. Para obter mais informações: Configuração do Apache Spark e Como carregar recursos para cluster.
    Armazenamento de upload de trabalho Expanda para revelar opções adicionais.
    Tipo de armazenamento Selecione Usar Blob do Azure para carregar ou Usar conta de armazenamento padrão do cluster para carregar na lista suspensa.
    Conta de Armazenamento Introduza a sua conta de armazenamento.
    Chave de Armazenamento Introduza a sua chave de armazenamento.
    Contentor de Armazenamento Selecione seu contêiner de armazenamento na lista suspensa depois que a Conta de Armazenamento e a Chave de Armazenamento forem inseridas.

    A caixa de diálogo Envio do Spark 1

  4. Selecione o ícone SparkJobRun para enviar seu projeto para o pool de faíscas selecionado. A guia Trabalho de faísca remota no cluster exibe o progresso da execução do trabalho na parte inferior. Você pode parar o aplicativo selecionando o botão vermelho.

    Janela de envio do Apache Spark

    A caixa de diálogo Envio do Spark 2

Local Executar/Depurar aplicativos Apache Spark

Você pode seguir as instruções abaixo para configurar sua execução local e depuração local para seu trabalho do Apache Spark.

Cenário 1: Executar localmente

  1. Abra a caixa de diálogo Executar/Depurar configurações , selecione o sinal de adição (+). Em seguida, selecione a opção Apache Spark on Synapse . Insira as informações para Nome, Nome da classe principal para salvar.

    Intellij Executar configurações de depuração local executar 1

    • As variáveis de ambiente e WinUtils.exe Localização são apenas para usuários do Windows.
    • Variáveis de ambiente: A variável de ambiente do sistema pode ser detetada automaticamente se você a tiver definido antes e não for necessário adicioná-la manualmente.
    • WinUtils.exe Local: Você pode especificar o local do WinUtils selecionando o ícone de pasta à direita.

  2. Em seguida, selecione o botão de reprodução local.

    Intellij Executar configurações de depuração local executar 2

  3. Uma vez concluída a execução local, se o script incluir saída, você poderá verificar o arquivo de saída a partir do padrão de dados>.

    Resultado da execução local do Projeto Intellij 1

Cenário 2: Fazer depuração local

  1. Abra o script LogQuery , defina pontos de interrupção.

  2. Selecione o ícone de depuração local para fazer a depuração local.

    Resultado da execução local do Projeto Intellij 2

Acessar e gerenciar o Synapse Workspace

Você pode executar diferentes operações no Azure Explorer dentro do Kit de Ferramentas do Azure para IntelliJ. Na barra de menus, navegue até Exibir Ferramenta do>Windows>Azure Explorer.

Iniciar a área de trabalho

  1. No Azure Explorer, navegue até Apache Spark no Synapse e expanda-o.

    Vista principal do IntelliJ IDEA Azure Explorer

  2. Clique com o botão direito do mouse em um espaço de trabalho e selecione Iniciar espaço de trabalho, o site será aberto.

    Spark Job View Detalhes da candidatura 1

    Spark Job View Detalhes da candidatura 2

Consola de faíscas

Você pode executar o Spark Local Console (Scala) ou o Spark Livy Interactive Session Console (Scala).

Console local do Spark (Scala)

Certifique-se de que satisfez o pré-requisito WINUTILS.EXE.

  1. Na barra de menus, navegue até Executar>editar configurações....

  2. Na janela Executar/Depurar Configurações, no painel esquerdo, navegue até Apache Spark on Synapse>[Spark on Synapse] myApp.

  3. Na janela principal, selecione a guia Executar localmente.

  4. Forneça os seguintes valores e selecione OK:

    Property valor
    Variáveis de ambiente Verifique se o valor para HADOOP_HOME está correto.
    WINUTILS.exe localização Verifique se o caminho está correto.

    Configuração do conjunto de consoles local

  5. No Project, navegue até myApp>src>main>scala>myApp.

  6. Na barra de menus, navegue até Tools>Spark console>Run Spark Local Console(Scala).

  7. Em seguida, duas caixas de diálogo podem ser exibidas para perguntar se você deseja corrigir automaticamente as dependências. Em caso afirmativo, selecione Correção automática.

    Caixa de diálogo IntelliJ IDEA Spark Auto Fix1

    Caixa de diálogo IntelliJ IDEA Spark Auto Fix2

  8. O console deve ser semelhante à imagem abaixo. Na janela da consola, escreva sc.appNamee, em seguida, prima ctrl+Enter. O resultado será mostrado. Você pode parar o console local selecionando o botão vermelho.

    Resultado do console local IntelliJ IDEA

Console de sessão interativo Spark Livy (Scala)

Só é suportado no IntelliJ 2018.2 e 2018.3.

  1. Na barra de menus, navegue até Executar>editar configurações....

  2. Na janela Executar/Depurar configurações, no painel esquerdo, navegue até Apache Spark on synapse>[Spark on synapse] myApp.

  3. Na janela principal, selecione a guia Executar remotamente no cluster .

  4. Forneça os seguintes valores e selecione OK:

    Property valor
    Nome da classe principal Selecione o nome da classe principal.
    Conjuntos do Apache Spark Selecione os pools do Spark nos quais você deseja executar seu aplicativo.

    Configuração do conjunto de console interativo

  5. No Project, navegue até myApp>src>main>scala>myApp.

  6. Na barra de menus, navegue até Tools>Spark console>Run Spark Livy Interactive Session Console(Scala).

  7. O console deve ser semelhante à imagem abaixo. Na janela da consola, escreva sc.appNamee, em seguida, prima ctrl+Enter. O resultado será mostrado. Você pode parar o console local selecionando o botão vermelho.

    Resultado do IntelliJ IDEA Interactive Console

Enviar seleção para o console do Spark

Você pode querer ver o resultado do script enviando algum código para o console local ou Livy Interactive Session Console (Scala). Para fazer isso, você pode realçar algum código no arquivo Scala e, em seguida, clique com o botão direito do mouse em Enviar seleção para o console do Spark. O código selecionado será enviado para o console e será feito. O resultado será exibido após o código no console. O console verificará os erros existentes.

Enviar seleção para o console do Spark

Próximos passos