Criar, configurar e usar um ambiente no Microsoft Fabric
Os ambientes Microsoft Fabric são um item consolidado para todas as suas configurações de hardware e software. Em um ambiente, você pode selecionar diferentes tempos de execução do Spark, configurar seus recursos de computação, instalar bibliotecas de repositórios públicos ou diretório local e muito mais.
Este tutorial fornece uma visão geral da criação, configuração e uso de um ambiente.
Criar um ambiente
Existem vários pontos de entrada para a criação de novos ambientes.
Ponto de entrada padrão
No hub de criação ou na seção Novo do seu espaço de trabalho, você pode encontrar a opção de criar um novo ambiente como outros itens do Fabric.
Criar durante a seleção
Ao selecionar o ambiente para seu bloco de anotações, a definição de trabalho do Spark e o padrão do espaço de trabalho, você pode encontrar a opção para criar um novo ambiente.
Configurar um ambiente
Há três componentes principais em um ambiente, que são a computação do Spark que inclui o tempo de execução do Spark, bibliotecas e recursos. As configurações de computação e bibliotecas do Spark são necessárias para que a publicação seja eficaz, enquanto os recursos são um armazenamento compartilhado que pode mudar em tempo real. Consulte a seção Salvar e publicar alterações para obter mais detalhes.
Configurar a computação do Spark
Para um ambiente, você pode escolher entre vários tempos de execução do Spark, cada um com suas próprias configurações padrão e pacotes pré-instalados. Para visualizar os tempos de execução disponíveis, navegue até a guia Página Inicial do ambiente e selecione Tempo de execução. Selecione o tempo de execução que melhor se adapta às suas necessidades.
Importante
- Se você estiver atualizando o tempo de execução de um ambiente com configurações ou bibliotecas existentes, deverá publicar novamente o conteúdo com base na versão atualizada do tempo de execução.
- Se as configurações ou bibliotecas existentes não forem compatíveis com a versão de tempo de execução recém-atualizada, a publicação falhará. Você deve remover as configurações ou bibliotecas incompatíveis e publicar o ambiente novamente.
A computação do Microsoft Fabric Spark oferece velocidade e eficiência incomparáveis em execução no Spark e em experiências adaptadas aos requisitos. Em seu ambiente, você pode escolher entre vários pools criados por administradores de espaço de trabalho e administradores de capacidade. Você pode ajustar ainda mais as configurações e gerenciar as propriedades do Spark para serem eficazes nas sessões do Spark. Para obter mais informações, consulte Definições de configuração de computação do Spark em ambientes de malha.
Gerir bibliotecas
Exceto para as bibliotecas internas fornecidas por cada tempo de execução do Spark, o ambiente Fabric permite que você instale bibliotecas de fontes públicas ou carregue bibliotecas personalizadas criadas por você ou sua organização. Depois de instalar as bibliotecas com êxito, elas estarão disponíveis nas sessões do Spark. Para obter mais informações, consulte Gerenciamento de bibliotecas em ambientes de malha. Você também pode encontrar as práticas recomendadas de gerenciamento de bibliotecas no Microsoft Fabric.Gerenciar bibliotecas do Apache Spark no Microsoft Fabric
Recursos
A seção Recursos no ambiente facilita a capacidade de gerenciar pequenos recursos durante a fase de desenvolvimento. Os arquivos carregados no ambiente podem ser acessados em todos os blocos de anotações quando anexados. Para obter mais informações, consulte Gerenciar os recursos no ambiente de malha
Salvar e publicar alterações
Na guia Página Inicial da faixa de opções do ambiente, você pode encontrar facilmente dois botões chamados Salvar e Publicar. Eles serão ativados quando houver alterações pendentes não salvas ou não publicadas nas seções de computação Bibliotecas e Spark.
Você também verá um banner solicitando esses dois botões quando houver alterações pendentes nas seções de computação Bibliotecas e Spark, eles têm as mesmas funcionalidades que os da faixa de opções.
- As alterações não salvas são perdidas se você atualizar ou deixar o navegador aberto. Selecione o botão Guardar para se certificar de que as alterações são registadas antes de sair. Salvar não aplica a configuração, mas armazena-os em cache no sistema.
- Selecione Publicar para aplicar as alterações à computação Bibliotecas e Spark. A página Alterações pendentes será exibida para revisão final antes da publicação. Em seguida, selecione Publicar tudo para iniciar a configuração no ambiente de malha. Esse processo pode levar algum tempo, especialmente se houver alterações na biblioteca.
- Para cancelar um processo de publicação, selecione Exibir progresso no banner e Cancelar a operação.
- Uma notificação é exibida após a conclusão da publicação. Uma notificação de erro ocorre se houver algum problema durante o processo.
Nota
Um ambiente aceita apenas uma publicação de cada vez. Nenhuma outra alteração pode ser feita nas bibliotecas ou na seção de computação do Spark durante uma publicação contínua. A publicação não afeta a adição, exclusão ou edição dos arquivos e pastas na seção Recursos . As ações para gerenciar recursos são em tempo real, publicar não bloqueia alterações na seção de recursos.
Anexar um ambiente
O ambiente Microsoft Fabric pode ser anexado aos seus espaços de trabalho de Engenharia/Ciência de Dados ou aos seus blocos de anotações e definições de trabalho do Spark.
Anexar um ambiente como espaço de trabalho padrão
Encontre a guia Ambiente selecionando Configuração de espaço de trabalho ->Engenharia de Dados/Ciência ->Configurações do Spark.
Áreas de trabalho novas
Quando você estiver trabalhando em um espaço de trabalho novo ou que não tenha a biblioteca e as configurações do Spark configuradas, a tela de configurações do Spark a seguir será exibida.
Os administradores de espaços de trabalho podem definir a carga de trabalho padrão para espaços de trabalho inteiros. Os valores configurados aqui são efetivos para blocos de anotações e definições de trabalho do Spark que se anexam às Configurações do Espaço de Trabalho.
A alternância Definir ambiente padrão pode melhorar a experiência do usuário. Por padrão, essa alternância é definida como Desativado. Se não houver nenhuma propriedade ou biblioteca padrão do Spark necessária como padrão do espaço de trabalho, os administradores poderão definir o tempo de execução do Spark nessa circunstância. No entanto, se um administrador quiser preparar uma computação e bibliotecas padrão do Spark para o espaço de trabalho, ele poderá alternar para Ativado e anexar facilmente um ambiente como o padrão do espaço de trabalho. Essa opção torna todas as configurações no ambiente efetivas como as Configurações do Espaço de Trabalho.
Espaços de trabalho com biblioteca existente ou propriedades do Spark
O recurso de ambiente é uma grande atualização para a seção Engenharia de Dados/Ciência de Dados em Configurações do Espaço de Trabalho. Como parte dessa atualização, o Fabric não suporta mais o gerenciamento de bibliotecas e a adição de novas propriedades do Spark no nível do espaço de trabalho. Você pode migrar suas bibliotecas existentes e propriedades do Spark para um ambiente e anexá-lo como o espaço de trabalho padrão. Para obter mais informações, consulte Migrar bibliotecas de espaço de trabalho e propriedades do Spark para um ambiente padrão.
Anexar um ambiente a um bloco de anotações ou a uma definição de trabalho do Spark
O menu Ambiente aparece nas guias Página inicial de definição de trabalho do bloco de anotações e do Spark. Os ambientes disponíveis estão listados no menu. Se você selecionar um ambiente, a computação do Spark e as bibliotecas configuradas nele entrarão em vigor depois que você iniciar uma sessão do Spark.
Nota
Se você alternar para um ambiente diferente enquanto estiver em uma sessão ativa, o ambiente recém-selecionado não terá efeito até a próxima sessão.
Compartilhar um ambiente existente
O Microsoft Fabric oferece suporte ao compartilhamento de um item com diferentes níveis de permissões.
Quando você compartilha um item de ambiente, os destinatários recebem automaticamente permissão de Ler. Com essa permissão, eles podem explorar as configurações do ambiente e anexá-lo a notebooks ou trabalhos do Spark. Para uma execução de código suave, certifique-se de conceder permissões de leitura para ambientes anexados ao compartilhar blocos de anotações e definições de trabalho do Spark.
Além disso, você pode compartilhar o ambiente com as permissões Compartilhar e Editar . Os usuários com permissão Compartilhar podem continuar compartilhando o ambiente com outras pessoas. Enquanto isso, os destinatários com permissão Editar podem atualizar o conteúdo do ambiente.