Gerenciar a configuração do Apache Spark
Neste artigo, você aprenderá a criar uma configuração do Apache Spark para seu estúdio de sinapse. A configuração do Apache Spark criada pode ser gerenciada de maneira padronizada e, quando você cria o Notebook ou a definição de trabalho do Apache Spark, pode selecionar a configuração do Apache Spark que deseja usar com seu pool do Apache Spark. Quando você seleciona, os detalhes da configuração são exibidos.
Criar uma configuração do Apache Spark
Você pode criar configurações personalizadas a partir de diferentes pontos de entrada, como a partir da página de configuração do Apache Spark de um pool de faíscas existente.
Criar configurações personalizadas em configurações do Apache Spark
Siga as etapas abaixo para criar uma configuração do Apache Spark no Synapse Studio.
Selecione Gerenciar>configurações do Apache Spark.
Selecione o botão Novo para criar uma nova configuração do Apache Spark ou selecione Importar um arquivo .json local para seu espaço de trabalho.
A nova página de configuração do Apache Spark será aberta depois de selecionar o botão Novo .
Em Nome, você pode inserir seu nome preferido e válido.
Para Descrição, você pode inserir alguma descrição nele.
Para Anotações, você pode adicionar anotações clicando no botão Novo e também pode excluir anotações existentes selecionando e clicando no botão Excluir .
Para Propriedades de configuração, personalize a configuração clicando no botão Adicionar para adicionar propriedades. Se você não adicionar uma propriedade, o Azure Synapse usará o valor padrão quando aplicável.
Selecione o botão Continuar .
Selecione o botão Criar quando a validação for bem-sucedida.
Publique tudo.
Nota
O recurso de configuração Upload Apache Spark foi removido.
Os pools que usam uma configuração carregada precisam ser atualizados. Atualize a configuração do pool selecionando uma configuração existente ou criando uma nova configuração no menu de configuração do Apache Spark para o pool. Se nenhuma nova configuração for selecionada, os trabalhos para esses pools serão executados usando a configuração padrão nas configurações do sistema Spark.
Criar uma configuração do Apache Spark no pool do Apache Spark já existente
Siga as etapas abaixo para criar uma configuração do Apache Spark em um pool existente do Apache Spark.
Selecione um pool existente do Apache Spark e selecione a ação "..." botão.
Selecione a configuração do Apache Spark na lista de conteúdo.
Para a configuração do Apache Spark, você pode selecionar uma configuração já criada na lista suspensa ou selecionar +Novo para criar uma nova configuração.
Se você selecionar +Novo, a página Configuração do Apache Spark será aberta e você poderá criar uma nova configuração seguindo as etapas em Criar configurações personalizadas nas configurações do Apache Spark.
Se você selecionar uma configuração existente, os detalhes da configuração serão exibidos na parte inferior da página, você também pode selecionar o botão Editar para editar a configuração existente.
Selecione Exibir configurações para abrir a página Selecionar uma configuração . Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar neste pool do Apache Spark.
Selecione o botão Aplicar para salvar sua ação.
Criar uma configuração do Apache Spark na sessão de configuração do Notebook
Se você precisar usar uma configuração personalizada do Apache Spark ao criar um Notebook, poderá criá-la e configurá-la na sessão de configuração seguindo as etapas abaixo.
Crie um novo/Abra um Bloco de Anotações existente.
Abra as Propriedades deste bloco de anotações.
Selecione Configurar sessão para abrir a página Configurar sessão.
Role para baixo na página configurar sessão, para configuração do Apache Spark, expanda o menu suspenso, você pode selecionar o botão Novo para criar uma nova configuração. Ou selecione uma configuração existente, se você selecionar uma configuração existente, selecione o ícone Editar para ir para a página Editar configuração do Apache Spark para editar a configuração.
Selecione Exibir configurações para abrir a página Selecionar uma configuração . Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.
Criar uma configuração do Apache Spark nas definições de trabalho do Apache Spark
Ao criar uma definição de trabalho de faísca, você precisa usar a configuração do Apache Spark, que pode ser criada seguindo as etapas abaixo:
Crie uma nova/Abra uma definição de trabalho existente do Apache Spark.
Para a configuração do Apache Spark, você pode selecionar o botão Novo para criar uma nova configuração. Ou selecione uma configuração existente no menu suspenso, se você selecionar uma configuração existente, selecione o ícone Editar para ir para a página Editar configuração do Apache Spark para editar a configuração.
Selecione Exibir configurações para abrir a página Selecionar uma configuração . Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.
Nota
Se a configuração do Apache Spark na definição de trabalho do Notebook e do Apache Spark não fizer nada de especial, a configuração padrão será usada ao executar o trabalho.
Importar e exportar uma configuração do Apache Spark
Você pode importar .txt/.conf/.json config em três formatos e, em seguida, convertê-lo em artefato e publicá-lo. E também pode exportar para um destes três formatos.
Importe a configuração .txt/.conf/.json do local.
Exporte a configuração .txt/.conf/.json para local.
Para .txt arquivo de configuração e arquivo de configuração .conf, você pode consultar os seguintes exemplos:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
Para .json arquivo de configuração, você pode consultar os seguintes exemplos:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Nota
O Synapse Studio continuará a suportar arquivos de configuração baseados em terraform ou bíceps.