Udostępnij za pośrednictwem

Konfigurowanie lokalizacji przechowywania wyników notesu

  • Artykuł

Wymagania dotyczące prywatności organizacji mogą wymagać przechowywania wszystkich interakcyjnych notesów w ramach konta magazynu obszaru roboczego na koncie w chmurze, a nie domyślnej lokalizacji płaszczyzny sterowania zarządzanej przez usługę Databricks, w której są przechowywane niektóre wyniki poleceń notesu.

Dane wyjściowe polecenia notesu są przechowywane inaczej w zależności od sposobu uruchamiania notesu.

Domyślnie po interakcyjnym uruchomieniu notesu kliknij pozycję Uruchom w notesie:

  • Jeśli wyniki są małe, są przechowywane na płaszczyźnie sterowania usługi Azure Databricks wraz z zawartością i metadanymi poleceń notesu.
  • Większe wyniki są przechowywane na koncie magazynu obszaru roboczego w ramach subskrypcji platformy Azure. Usługa Azure Databricks automatycznie tworzy konto magazynu obszaru roboczego. Usługa Azure Databricks używa tego obszaru magazynu na potrzeby danych systemowych obszaru roboczego i katalogu głównego systemu plików DBFS obszaru roboczego. Wyniki notesu są przechowywane w magazynie danych systemu obszarów roboczych, który nie jest dostępny dla użytkowników. Zobacz Konto magazynu obszaru roboczego.

Po uruchomieniu notesu jako zadania, zaplanowaniu go lub kliknięciu pozycji Uruchom teraz na stronie Zadania wszystkie wyniki są przechowywane na koncie magazynu obszaru roboczego na twoim koncie.

Obszar roboczy można skonfigurować tak, aby przechowywał wszystkie interaktywne wyniki notesu na koncie w chmurze, niezależnie od rozmiaru wyniku.

Konfigurowanie lokalizacji przechowywania wyników interaktywnego notesu

Obszar roboczy można skonfigurować tak, aby przechowywał wszystkie interaktywne wyniki notesu w ramach subskrypcji platformy Azure, a nie płaszczyzny sterowania. Tę funkcję można włączyć przy użyciu strony ustawień administratora lub interfejsu API REST. Ta konfiguracja nie ma wpływu na notesy uruchamiane jako zadania, których wyniki są już przechowywane w subskrypcji platformy Azure domyślnie.

Należy pamiętać o następujących kwestiach:

  • Zmiany w tej konfiguracji są skuteczne tylko dla nowych wyników. Istniejące wyniki notesu nie są przenoszone.
  • Niektóre metadane dotyczące wyników, takie jak nazwy kolumn wykresu, nadal są przechowywane na płaszczyźnie sterowania.
  • Zwiększone koszty magazynowania mogą być naliczane u dostawcy usług w chmurze.
  • Zwiększone opóźnienie sieci i operacji we/wy może wystąpić podczas odczytywania i zapisywania wyników.

Przechowywanie wszystkich wyników notesu na koncie przy użyciu strony ustawień administratora

Jako administrator obszaru roboczego:

  1. Przejdź do strony ustawień.
  2. Kliknij przycisk zabezpieczeń kartę.
  3. Kliknij przełącznik Zapisz notes interaktywny w przełączniku konto klienta.

Przechowywanie wszystkich wyników notesu na koncie przy użyciu interfejsu API REST

Aby skonfigurować obszar roboczy do przechowywania wszystkich wyników notesu w subskrypcji platformy Azure przy użyciu interfejsu API REST:

  • Musisz być administratorem obszaru roboczego.
  • Potrzebny jest osobisty token dostępu. W poniższych instrukcjach przyjęto założenie, że skonfigurowano .netrc plik z osobistym tokenem dostępu, dzięki czemu można użyć -n opcji w curl poleceniach. Aby uzyskać szczegółowe informacje, zapoznaj się z powyższym artykułem.

Aby uzyskać bieżące ustawienie, wywołaj GET /workspace-conf punkt końcowy i ustaw wartość keys :storeInteractiveNotebookResultsInCustomerAccount

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Aby umożliwić obszarowi roboczemu przechowywanie wyników notesu interaktywnego w ramach subskrypcji platformy Azure, wywołaj PATCH /workspace-conf punkt końcowy i ustaw go storeInteractiveNotebookResultsInCustomerAccount na true w treści żądania:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Aby wyłączyć funkcję, ustaw tę samą flagę na false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'