Migrar bibliotecas de espaço de trabalho e propriedades do Spark para um ambiente padrão
Os ambientes Microsoft Fabric fornecem configurações flexíveis para executar seus trabalhos do Spark. Em um ambiente, você pode selecionar diferentes tempos de execução do Spark, configurar seus recursos de computação e instalar bibliotecas de repositórios públicos ou carregar bibliotecas locais personalizadas. Você pode facilmente anexar ambientes aos seus blocos de anotações e definições de trabalho do Spark.
As configurações do espaço de trabalho de Engenharia de Dados e Ciência de Dados são atualizadas para incluir ambientes de malha. Como parte dessa atualização, o Fabric não suporta mais a adição de novas bibliotecas e propriedades do Spark nas configurações do espaço de trabalho. Em vez disso, você pode criar um ambiente de malha, configurar a biblioteca e a propriedade nele e anexá-lo como o ambiente padrão do espaço de trabalho. Depois de criar um ambiente e defini-lo como padrão, você pode migrar as bibliotecas existentes e as propriedades do Spark para esse ambiente padrão.
Neste tutorial, saiba como migrar as bibliotecas de espaço de trabalho existentes e as propriedades do Spark para um ambiente.
Importante
- As configurações do espaço de trabalho são restritas aos administradores.
- As configurações de espaço de trabalho existentes permanecem efetivas para seus blocos de anotações ou definições de trabalho do Spark se nenhum ambiente estiver conectado a eles. No entanto, não é possível fazer mais alterações nessas configurações. RECOMENDAMOS VIVAMENTE que migre as suas definições existentes para um ambiente.
- O processo de migração inclui uma etapa que remove permanentemente todas as configurações existentes. Por favor, siga cuidadosamente estas instruções. Não há nenhuma maneira de trazer de volta arquivos se eles forem excluídos acidentalmente.
Preparar os arquivos para migração
Em Configurações do espaço de trabalho, revise as configurações existentes.
Anote a versão atual do Runtime .
Baixe as configurações existentes selecionando Baixar todos os arquivos.
O conteúdo é baixado como arquivos diferentes. Sparkproperties.yml contém todos os pares de valores de chave das propriedades do Spark. O arquivo Publiclibrary.yml contém todas as definições de biblioteca pública. Todos os pacotes personalizados carregados por você ou sua organização são baixados como arquivos um a um.
Depois que os arquivos forem baixados, você poderá migrar.
Criar e configurar um ambiente
Crie um ambiente na lista de espaços de trabalho/hub de criação. Depois de criar um novo ambiente, a página Ambiente é exibida.
Na guia Página Inicial do ambiente, verifique se a versão do Runtime é a mesma do Runtime do espaço de trabalho existente.
Ignore esta etapa se você não tiver bibliotecas públicas nas configurações do espaço de trabalho. Navegue até a seção Bibliotecas Públicas e selecione Adicionar de .yml na faixa de opções. Carregue Publiclibrary.yml, que você baixou das configurações de espaço de trabalho existentes.
Ignore esta etapa se você não tiver bibliotecas personalizadas nas configurações do espaço de trabalho. Navegue até a seção Bibliotecas personalizadas e selecione Carregar na faixa de opções. Carregue os arquivos de biblioteca personalizados, que você baixou das configurações de espaço de trabalho existentes.
Ignore esta etapa se você não tiver nenhuma propriedade do Spark nas configurações do espaço de trabalho. Navegue até a seção Propriedades do Spark e selecione Carregar na faixa de opções. Carregue o arquivo Sparkproperties.yml , que você baixou das configurações de espaço de trabalho existentes.
Selecione Publicar e revise cuidadosamente as alterações novamente. Se tudo estiver correto, publique as alterações. A publicação leva vários minutos para ser concluída.
Após a conclusão da publicação, você configurou com êxito seu ambiente.
Habilitar e selecionar um ambiente padrão nas configurações do espaço de trabalho
Importante
Todas as configurações existentes serão descartadas quando você selecionar Ativar ambiente. Certifique-se de ter baixado todas as configurações existentes e instalado com êxito em um ambiente antes de continuar.
Navegue até Configurações do espaço de trabalho ->Engenharia de Dados/Ciência ->Ambiente e selecione Habilitar ambiente. Essa ação remove as configurações existentes e inicia sua experiência de ambiente no nível do espaço de trabalho.
A tela a seguir aparece quando você exclui com êxito as configurações existentes.
Mova o botão Personalizar ambiente para a posição Ativado . Essa opção permite anexar um ambiente como um espaço de trabalho padrão.
Selecione o ambiente que você configurou nas etapas anteriores como o padrão do espaço de trabalho e selecione Salvar.
Confirme se o novo ambiente agora aparece em Ambiente padrão para espaço de trabalho na página Configurações do Spark.
