Configurações de computação do Spark em ambientes do Fabric
As experiências de Engenharia de Dados e Ciência de Dados do Microsoft Fabric operam em uma plataforma de computação do Spark totalmente gerenciada. Essa plataforma foi projetada para fornecer velocidade e eficiência incomparáveis. Ele inclui pools de início e pools personalizados.
Um ambiente do Fabric contém uma coleção de configurações, incluindo propriedades de computação do Spark que permitem que os usuários configurem a sessão do Spark depois de serem anexados a notebooks e trabalhos do Spark. Com um ambiente, você tem uma maneira flexível de personalizar as configurações de computação para executar seus trabalhos do Spark. Em um ambiente, a seção de computação permite que você configure as propriedades de nível de sessão do Spark para personalizar a memória e os núcleos dos executores com base nos requisitos de carga de trabalho.
Os administradores do workspace podem habilitar ou desabilitar personalizações de computação com a opção Personalizar configurações de computação para itens na guia Pool da seção Engenharia/Ciência de Dados na tela de configurações do Workspace.
Os administradores do workspace podem delegar os membros e colaboradores para alterar as configurações de computação de nível de sessão padrão no ambiente do S Fabric, habilitando essa configuração.
Se o administrador do workspace desabilitar essa opção nas configurações do workspace, a seção de computação do ambiente será desabilitada e as configurações de computação do pool padrão para o workspace serão usadas para executar trabalhos do Spark.
Personalizar propriedades de computação em nível de sessão em um ambiente
Como usuário, você pode selecionar um pool para o ambiente na lista de pools disponíveis no workspace do Fabric. O administrador do workspace do Fabric cria o pool inicial padrão e os pools personalizados.
Depois de selecionar um pool na seção Computação, você poderá ajustar os núcleos e a memória para os executores dentro dos limites dos tamanhos e limites do pool selecionado.
Por exemplo: você seleciona um pool personalizado com tamanho de nó grande, que é 16 vCores do Spark, como o pool de ambientes. Em seguida, você pode escolher que o núcleo de driver/executor seja 4, 8 ou 16, de acordo com seus requisitos de nível de trabalho. Para a memória alocada para driver e executores, você pode escolher 28 g, 56 g ou 112 g, todos dentro dos limites de um limite de memória de nó grande.
Para obter mais informações sobre os tamanhos de computação do Spark e seus núcleos ou opções de memória, confira O que é a computação do Spark no Microsoft Fabric?.