Partilhar via

Guia de início rápido: implantar um cluster gerenciado do Apache Spark com o Azure Databricks

  • Artigo

A Instância Gerenciada do Azure para Apache Cassandra fornece operações automatizadas de implantação e dimensionamento para datacenters Apache Cassandra de código aberto gerenciados. Esse recurso acelera cenários híbridos e reduz a manutenção contínua.

Este guia de início rápido demonstra como usar o portal do Azure para criar um cluster Apache Spark totalmente gerenciado dentro da Rede Virtual do Azure da sua Instância Gerenciada do Azure para cluster Apache Cassandra. Você cria o cluster do Spark no Azure Databricks. Mais tarde, você pode criar ou anexar blocos de anotações ao cluster, ler dados de diferentes fontes de dados e analisar insights.

Também pode saber mais com instruções detalhadas sobre como Implementar o Azure Databricks na sua Rede Virtual do Azure (Injeção de Rede Virtual).

Pré-requisitos

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Criar um cluster do Azure Databricks

Siga estas etapas para criar um cluster do Azure Databricks em uma Rede Virtual que tenha a Instância Gerenciada do Azure para Apache Cassandra:

  1. Inicie sessão no portal do Azure.

  2. No painel de navegação esquerdo, localize Grupos de recursos. Navegue até o grupo de recursos que contém a Rede Virtual onde sua instância gerenciada está implantada.

  3. Abra o recurso Rede Virtual e anote o espaço Endereço:

    A captura de tela mostra onde obter o espaço de endereço da sua Rede Virtual.

  4. No grupo de recursos, selecione Adicionar e procure o Azure Databricks no campo de pesquisa:

    A captura de tela mostra uma pesquisa por Azure Databricks.

  5. Selecione Criar para criar uma conta do Azure Databricks:

    A captura de tela mostra a oferta do Azure Databricks com o botão Criar selecionado.

  6. Introduza os seguintes valores:

    • Nome do espaço de trabalho Forneça um nome para o espaço de trabalho do Databricks.
    • Região Certifique-se de selecionar a mesma região da sua Rede Virtual.
    • Nível de preço Escolha entre Standard, Premium ou Trial. Para obter mais informações sobre estes escalões, veja Página de preços do Databricks.

    A captura de tela mostra uma caixa de diálogo onde você pode inserir o nome do espaço de trabalho, a região e a camada de preços para a conta do Databricks.

  7. Em seguida, selecione a guia Rede e insira os seguintes detalhes:

    • Implantar o espaço de trabalho do Azure Databricks em sua Rede Virtual (VNet) Selecione Sim.
    • Rede Virtual Na lista suspensa, escolha a Rede Virtual onde sua instância gerenciada existe.
    • Nome da sub-rede pública Insira um nome para a sub-rede pública.
    • Intervalo CIDR da sub-rede pública Insira um intervalo de IP para a sub-rede pública.
    • Nome da sub-rede privada Introduza um nome para a sub-rede privada.
    • Intervalo CIDR da sub-rede privada Insira um intervalo de IP para a sub-rede privada.

    Para evitar colisões de alcance, certifique-se de selecionar intervalos mais altos. Se necessário, use uma calculadora visual de sub-rede para dividir os intervalos:

    A captura de tela mostra a Calculadora de Sub-rede Visual com dois endereços de rede idênticos realçados.

    A captura de tela a seguir mostra detalhes de exemplo no painel de rede:

    A captura de tela mostra nomes de sub-redes públicas e privadas especificados.

  8. Selecione Rever e criar e, em seguida, Criar para implementar a área de trabalho.

  9. Inicie o espaço de trabalho depois de criado.

  10. Você será redirecionado para o portal do Azure Databricks. No portal, selecione Novo Cluster.

  11. No painel Novo cluster, aceite valores padrão para todos os campos diferentes dos seguintes campos:

    • Nome do cluster Insira um nome para o cluster.
    • Versão do tempo de execução do Databricks Recomendamos selecionar o tempo de execução do Databricks versão 7.5 ou superior, para suporte ao Spark 3.x.

    A captura de tela mostra a caixa de diálogo Novo Cluster com uma Versão de Tempo de Execução do Databricks selecionada.

  12. Expanda Opções avançadas e adicione a seguinte configuração. Certifique-se de substituir os IPs e credenciais do nó:

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
spark.cassandra.auth.password cassandra
spark.cassandra.connection.port 9042
spark.cassandra.auth.username cassandra
spark.cassandra.connection.ssl.enabled true

  13. Adicione a biblioteca Apache Spark Cassandra Connector ao cluster para se conectar aos pontos de extremidade Cassandra nativos e do Azure Cosmos DB. No cluster, selecione Bibliotecas>Instalar Novo>Maven e adicione com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 as coordenadas do Maven.

Captura de tela que mostra a busca por pacotes Maven no Databricks.

Clean up resources (Limpar recursos)

Se você não quiser continuar a usar esse cluster de instância gerenciada, exclua-o com as seguintes etapas:

  1. No menu à esquerda do portal do Azure, selecione Grupos de recursos.
  2. Na lista, selecione o grupo de recursos que você criou para este início rápido.
  3. No painel Visão geral do grupo de recursos, selecione Excluir grupo de recursos.
  4. Na janela seguinte, introduza o nome do grupo de recursos a eliminar e, em seguida, selecione Eliminar.

Próximos passos

Neste guia de início rápido, você aprendeu como criar um cluster Apache Spark totalmente gerenciado dentro da Rede Virtual da sua Instância Gerenciada do Azure para cluster Apache Cassandra. Em seguida, você pode aprender a gerenciar o cluster e os recursos do datacenter:

Gerenciar recursos da Instância Gerenciada do Azure para Apache Cassandra usando a CLI do Azure