Gerenciar a configuração do Apache Spark
Nesse artigo, você aprenderá como criar uma configuração do Apache Spark para seu Synapse Studio. A configuração Apache Spark criada pode ser gerenciada de forma padronizada, e quando você cria um Notebook ou definição de trabalho Apache Spark, é possível selecionar a configuração Apache Spark que deseja usar com seu pool Apache Spark. Ao selecioná-lo, os detalhes da configuração são exibidos.
Criar uma configuração do Apache Spark
Você pode criar configurações personalizadas a partir de diferentes pontos de entrada, como na página de configurações do Apache Spark de um pool do Spark existente.
Criar configurações personalizadas nas configurações do Apache Spark
Siga as etapas abaixo para criar uma Configuração do Apache Spark no Synapse Studio.
Selecione Gerenciar>configurações do Apache Spark.
Selecione o botão Novo para criar uma nova configuração do Apache Spark ou selecione Importar um arquivo .json local para seu espaço de trabalho.
A nova página de configuração do Apache Spark será aberta após você selecionar o botão Novo.
Para Nome, digite seu nome preferencial e válido.
Para Descrição, digite alguma descrição nele.
Para Anotações, adicione anotações clicando no botão Novo e também é possível excluir anotações existentes selecionando e clicando no botão Excluir.
Para Propriedades de configuração, personalize a configuração clicando no botão Adicionar para adicionar propriedades. Se você não adicionar uma propriedade, o Azure Synapse usará o valor padrão quando aplicável.
Selecione o botão Continuar.
Selecione o botão Criar quando a validação tiver êxito.
Publicar tudo.
Observação
Carregar configuração do Apache Spark o recurso foi removido.
Pools que usam uma configuração carregada precisam ser atualizados. Atualize a configuração do seu pool selecionando uma configuração existente ou criando uma nova configuração no menu Configuração do Apache Spark para o pool. Se nenhuma nova configuração for selecionada, os trabalhos para esses pools serão executados usando a configuração padrão nas configurações do sistema Spark.
Criar uma configuração do Apache Spark no pool do Apache Spark já existente
Siga as etapas abaixo para criar uma configuração do Apache Spark em um pool do Apache Spark existente.
Selecione um Pool Apache Spark existente e selecione o botão de ação "...".
Selecione Configuração do Apache Spark na lista de conteúdo.
Para a configuração do Apache Spark, você pode selecionar uma configuração já criada na lista suspensa ou selecionar +Novo para criar uma nova configuração.
Se você selecionar +Novo, a página de configuração do Apache Spark será aberta e você poderá criar uma nova configuração seguindo as etapas em Criar configurações personalizadas nas configurações do Apache Spark.
Se você selecionar uma configuração existente, os detalhes da configuração serão exibidos na parte inferior da página. Você também pode selecionar o botão Editar para editar a configuração existente.
Selecione Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar a configuração que deseja usar neste pool do Apache Spark.
Selecione o botão Aplicar para salvar sua ação.
Criar uma configuração do Apache Spark na sessão de configuração do Notebook
Se precisar usar uma Configuração personalizada do Apache Spark ao criar um Notebook, poderá criá-la e configurá-la na sessão de configuração seguindo as etapas abaixo.
Crie um novo/Abra um Notebook existente.
Abra as Propriedades deste bloco de anotações.
Selecione Configurar sessão para abrir a página Configurar sessão.
Role para baixo na página de configuração da sessão, para a configuração do Apache Spark, expanda o menu suspenso, você pode selecionar o botão Novo para criar uma nova configuração. Ou selecione uma configuração existente. Se você selecionar uma configuração existente, selecione o ícone Editar para ir para a página Editar configuração do Apache Spark para editar a configuração.
Selecione Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.
Criar uma configuração do Apache Spark nas definições de trabalho do Apache Spark
Ao criar uma definição de tarefa do Spark, você precisa usar a configuração do Apache Spark, que pode ser criada seguindo as etapas abaixo:
Crie uma nova/abra uma definição de tarefa existente do Apache Spark.
Para configuração do Apache Spark, você pode selecionar o botão Novo para criar uma nova configuração. Ou selecione uma configuração existente no menu suspenso. Se você selecionar uma configuração existente, selecione o ícone Editar para ir para a página Editar configuração do Apache Spark para editar a configuração.
Selecione Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.
Observação
Se a configuração do Apache Spark na definição de trabalho do Notebook e do Apache Spark não fizer nada de especial, a configuração padrão será usada ao executar o trabalho.
Importar e exportar uma configuração do Apache Spark
Você pode importar uma configuração em .txt/.conf/.json em três formatos, convertê-la em artefato e publicá-la. E também pode exportar para um desses três formatos.
Importe uma configuração .txt/.conf/.json do local.
Exporte uma configuração .txt/.conf/.json para o local.
Para arquivos de configuração .txt e .conf, você pode consultar os seguintes exemplos:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
Para arquivos de configuração .json, você pode consultar os seguintes exemplos:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Observação
O Synapse Studio continuará a dar suporte aos arquivos de configuração baseados no terraform ou no bicep.