O que é a API do Livy para Engenharia de Dados?
Observação
A API do Livy para Engenharia de Dados do Fabric está em versão prévia.
Aplica-se a:✅ Engenharia e Ciência de Dados no Microsoft Fabric
A API do Livy do Microsoft Fabric permite que os usuários enviem e executem código do Spark dentro da computação do Spark associada a um Lakehouse do Fabric, eliminando a necessidade de criar artefatos de Notebook ou Definição de Trabalho do Spark. Essa integração com o Lakehouse garante acesso direto aos dados armazenados no OneLake.
Recursos
A API Livy do Fabric permite o envio de trabalhos em dois modos diferentes:
- Trabalhos de Sessão
- Um trabalho de sessão do Livy envolve o estabelecimento de uma sessão do Spark que permanece ativa durante toda a interação com a API do Livy. As Sessões do Livy são úteis para cargas de trabalho interativas.
- Uma sessão do Spark é iniciada quando um trabalho é enviado e dura até que o usuário a encerre ou o sistema a termine após 20 minutos de inatividade. Durante a sessão, vários trabalhos podem ser executados, compartilhando estado e dados em cache entre as execuções.
- Trabalhos em Lote
- Um trabalho em lote do Livy envolve o envio de um aplicativo Spark para a execução de um único trabalho. Ao contrário de um trabalho de sessão do Livy, um trabalho em lote não mantém uma sessão do Spark em andamento.
- Com os trabalhos em lote do Livy, cada trabalho inicia uma nova sessão do Spark que termina quando o trabalho é concluído. Essa abordagem funciona bem para tarefas que não dependem de cálculos anteriores ou que exigem a manutenção de estado entre os trabalhos.
Introdução à API do Livy
Saiba como Criar e executar trabalhos do Spark usando a API do Livy no Fabric escolhendo entre Enviar trabalhos de sessão do Spark usando a API do Livy ou Enviar trabalhos em lote do Spark usando a API do Livy.