Configurar o modo de alta simultaneidade para notebooks do Fabric

Quando você executa um notebook no Microsoft Fabric, uma sessão do Apache Spark é iniciada e é usada para executar as consultas enviadas como parte das execuções da célula do notebook. Com o Modo de Alta Simultaneidade habilitado, não é necessário iniciar novas sessões do Spark toda as vezes para executar um notebook.

Se você já tiver uma sessão de Alta Simultaneidade em execução, poderá anexar notebooks à sessão de alta simultaneidade obtendo uma sessão do Spark instantaneamente para executar as consultas e obter uma taxa de utilização de sessão maior.

Observação

O compartilhamento de sessão baseado em modo de alta simultaneidade está sempre dentro de um único limite de usuário. Os notebooks precisam ter configurações do Spark correspondentes, devem fazer parte do mesmo workspace, compartilhar o mesmo lakehouse e bibliotecas padrão para compartilhar uma única sessão do Spark.

Condições de compartilhamento de sessão

Para que os notebooks compartilhem uma única sessão do Spark, eles devem:

• Ser executados pelo mesmo usuário.
• Ter o mesmo lakehouse padrão. Notebooks sem um lakehouse padrão podem compartilhar sessões com outros notebooks que não têm um lakehouse padrão.
• Ter as mesmas configurações de computação do Spark.
• Ter os mesmos pacotes de biblioteca. Você pode ter diferentes instalações de biblioteca embutida como parte das células do notebook e ainda compartilhar a sessão com notebooks que têm dependências de biblioteca diferentes.

Configurar o modo de alta simultaneidade

Por padrão, todos os workspaces do Fabric são habilitados com modo de alta simultaneidade. Use as seguintes etapas para configurar o recurso de alta simultaneidade:

1. Clique na opção Configurações do Workspace no workspace do Fabric

   

2. Navegue até a seção Configurações de Engenharia/Ciência de Dados >Configurações do Spark>Alta simultaneidade

3. Na seção Alta simultaneidade habilite-a para notebooks. Você pode optar por habilitar ou desabilitar a configuração desse painel.

   

4. Habilitar a opção de alta simultaneidade permite que os usuários iniciem uma sessão de alta simultaneidade em seus notebooks ou anexem-se à sessão de alta simultaneidade existente.

5. Desabilitar o modo de alta simultaneidade oculta a seção para configurar o período de inatividade e também oculta a opção de iniciar uma nova sessão de alta simultaneidade no menu do notebook.

   

Execute notebooks em sessão de alta simultaneidade

1. Abra o espaço de trabalho do Fabric

2. Crie um Notebook ou abrir um Notebook existente

3. Navegue até a guia Executar na faixa de opções do menu e selecione na lista suspensa tipo de sessão que tem Standard selecionado como a opção padrão.

   

4. Selecione Nova sessão de alta simultaneidade.

5. Você poderá adicionar até 5 notebooks na sessão de alta simultaneidade depois que ela for iniciada.

   

6. Crie um novo notebook e navegando até o menu Executar, conforme mencionado nas etapas acima. No menu suspenso, você verá a sessão de alta simultaneidade recém-criada listada.

7. Selecionar a sessão de alta simultaneidade existente anexa o segundo bloco de anotações à sessão.

   

8. Depois que o bloco de anotações tiver sido anexado, você poderá executar as etapas do notebook instantaneamente.

9. O status da sessão de alta simultaneidade também mostra o número de blocos de anotações anexados a uma determinada sessão a qualquer momento.

10. A qualquer momento, se você sentir que o notebook anexado a uma sessão de alta simultaneidade requer mais computação dedicada, você pode alternar o notebook para uma sessão padrão selecionando a opção de desanexar o notebook da Alta Simultaneidade na guia de menu Executar.

    

11. Você pode exibir o status de sessão, o tipo e a ID da sessão navegando até a barrastatus. Selecione a ID da Sessão para explorar os trabalhos executados nessa sessão de alta simultaneidade e exibir os logs da sessão do Spark na página de detalhes de monitoramento.

    

Monitoramento e depuração de notebooks em execução na sessão de alta simultaneidade

O monitoramento e a depuração geralmente são tarefas não triviais quando você está executando vários notebooks em uma sessão compartilhada. No modo de alta simultaneidade no Fabric, a separação de logs é oferecida. Isso permite aos usuários rastrear os logs emitidos por eventos do Spark de notebooks diferentes.

1. Quando a sessão estiver em andamento ou em estado concluído, você poderá exibir o status da sessão navegando até o menu Executar e selecionando a opção Todas as Execuções

2. Isso abriria o histórico de execuções do notebook mostrando a lista de sessões ativas e históricas atuais do Spark

   

3. Os usuários selecionando uma sessão podem acessar a exibição de detalhes de monitoramento, que mostra a lista de todos os trabalhos do Spark que foram executados na sessão.

4. No caso da sessão de alta simultaneidade, os usuários podem identificar os trabalhos e seus logs associados de blocos de anotações diferentes usando a guia Notebook relacionado, que mostra o notebook no qual esse trabalho foi executado.

   

Conteúdo relacionado

Nesse documento, você obtém uma compreensão básica de um compartilhamento de sessão por meio do modo de alta simultaneidade em notebooks. Avance para os próximos artigos para saber como criar e começar a usar suas próprias experiências de Engenharia de Dados usando o Lakehouse e notebooks:

• Para começar a usar a lakehouse, confira Criando um Lakehouse.
• Para começar a usar notebooks, confira Como usar um Notebook