Migrar configurações do Spark do Azure Synapse Analytics para o Fabric
O Apache Spark fornece várias configurações que podem ser personalizadas para melhorar a experiência em vários cenários. No Azure Synapse Spark and Fabric Data Engineering, você tem a flexibilidade de incorporar essas configurações ou propriedades para personalizar sua experiência. No Fabric, você pode adicionar configurações do Spark a um ambiente e usar propriedades embutidas do Spark diretamente em seus trabalhos do Spark. Para mover as configurações do pool do Azure Synapse Spark para a Malha, use um ambiente.
Para obter considerações sobre a configuração do Spark, consulte as diferenças entre o Azure Synapse Spark e o Fabric.
Pré-requisitos
- Se você ainda não tiver um, crie um espaço de trabalho de malha em seu locatário.
- Se você ainda não tiver um, crie um Ambiente em seu espaço de trabalho.
Opção 1: Adicionando configurações do Spark ao ambiente personalizado
Dentro de um ambiente, você pode definir as propriedades do Spark e essas configurações são aplicadas ao pool de ambientes selecionado.
- Abra o Synapse Studio: entre no Azure. Navegue até o espaço de trabalho do Azure Synapse e abra o Synapse Studio.
-
Localize as configurações do Spark:
- Vá para a área Gerenciar e selecione em pools do Apache Spark.
- Encontre o pool do Apache Spark, selecione a configuração do Apache Spark e localize o nome da configuração do Spark para o pool.
- Obter configurações do Spark: Você pode obter essas propriedades selecionando Exibir configurações ou exportando a configuração (formato .txt/.conf/.json) das configurações do Apache Spark Configurações + bibliotecas>.
- Depois de ter as configurações do Spark, adicione propriedades personalizadas do Spark ao seu Ambiente na Malha:
- Dentro do Ambiente, vá para >Spark.
- Adicione configurações do Spark. Você pode adicionar cada um manualmente ou importar do .yml.
- Clique em Salvar e publicar alterações.
Saiba mais sobre como adicionar configurações do Spark a um ambiente.