Compartilhar via

Configurar o local de armazenamento de resultados do notebook

  • Artigo

Os requisitos de privacidade da sua organização podem exigir que você armazene todos os resultados do notebook interativo na conta de armazenamento do workspace em sua conta de nuvem, em vez do local padrão do plano de controle gerenciado pelo Databricks, onde alguns resultados de comando do notebook são armazenados.

A saída do comando do notebook é armazenada de forma diferente, dependendo de como você executa o notebook.

Por padrão, ao executar um notebook interativamente clicando em executar no notebook:

  • Se os resultados são pequenos, eles são armazenados no painel de controle do Azure Databricks, juntamente com o conteúdo do comando e os metadados do notebook.
  • Resultados maiores são armazenados na conta de armazenamento do espaço de trabalho na sua assinatura do Azure. O Azure Databricks cria automaticamente a conta de armazenamento do espaço de trabalho. O Azure Databricks usa essa área de armazenamento para dados do sistema e para a raiz do DBFS do workspace. Os resultados do notebook são armazenados no armazenamento de dados do sistema do workspace, que os usuários não podem acessar. Veja Conta de armazenamento do Workspace.

Quando você executa um notebook como um trabalho, agendando-o ou clicando em Executar agora na página Trabalhos, todos os resultados são armazenados na conta de armazenamento do espaço de trabalho da sua conta.

Você pode configurar seu workspace para armazenar todos os resultados interativos do notebook em sua conta de nuvem, independentemente do tamanho do resultado.

Configurar o local de armazenamento dos resultados interativos do notebook

Você pode configurar o workspace para armazenar todos os resultados interativos do notebook de sua assinatura do Azure, em vez de o painel de controle. Você pode habilitar esse recurso usando a página de configurações do administrador ou a API REST. Essa configuração não afeta os notebooks executados como trabalhos, cujos resultados, por padrão, já são armazenados na sua assinatura do Azure.

Considere os seguintes pontos:

  • As alterações nessa configuração afetam somente os novos resultados. Os resultados existentes do notebook não são movidos.
  • Alguns metadados sobre os resultados, como nomes de colunas do gráfico, continuam sendo armazenados no painel de controle.
  • Os custos de armazenamento do seu provedor de nuvem podem ser maiores.
  • Pode haver maior latência de rede e E/S ao ler e gravar resultados.

Armazenar todos os resultados do notebook em sua conta usando a página de configurações do administrador

Como administrador do workspace:

  1. Vá para a página de configurações.
  2. Clique na guia Segurança .
  3. Clique na alternância Armazenar resultados do notebook interativo na conta do cliente.

Armazenar todos os resultados do notebook em sua conta usando a API REST

Para configurar seu workspace para armazenar todos os resultados do notebook em sua assinatura do Azure usando a API REST:

  • Você deve ser um administrador do workspace.
  • Você precisa de um token de acesso pessoal. As instruções a seguir presumem que você configurou um arquivo .netrc com seu token de acesso pessoal para que possa usar a opção -n nos comandos curl. Confira o artigo indicado acima para obter detalhes.

Para obter a configuração atual, chame o ponto de extremidade GET /workspace-conf e defina keys como storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Para habilitar seu workspace para armazenar os resultados do notebook interativo em sua assinatura do Azure, chame o ponto de extremidade PATCH /workspace-conf e defina storeInteractiveNotebookResultsInCustomerAccount como true no corpo da solicitação:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Para desabilitar o recurso, de definir o mesmo sinalizador como false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'