Udostępnij za pośrednictwem

Włączanie obsługi zapory dla konta magazynu obszaru roboczego

  • Artykuł

Każdy obszar roboczy usługi Azure Databricks ma skojarzone konto usługi Azure Storage w zarządzanej grupie zasobów znanej jako konto magazynu obszaru roboczego. Konto magazynu obszaru roboczego obejmuje dane systemowe obszaru roboczego (dane wyjściowe zadania, ustawienia systemu i dzienniki), główny system plików DBFS, a w niektórych przypadkach obszar roboczy Unity Catalogcatalog. W tym artykule opisano, jak limit dostęp do konta magazynu obszaru roboczego tylko z autoryzowanych zasobów i sieci przy użyciu szablonu usługi ARM (Azure Resource Manager).

Co to jest obsługa zapory dla konta magazynu obszaru roboczego?

Domyślnie konto usługi Azure Storage dla konta magazynu obszaru roboczego akceptuje uwierzytelnione connections ze wszystkich sieci. Ten dostęp można limit, włączając obsługę zapory dla konta magazynu obszaru roboczego. Gwarantuje to, że dostęp do sieci publicznej jest niedozwolony, a konto magazynu obszaru roboczego nie jest dostępne z nieautoryzowanych sieci. Możesz to skonfigurować, jeśli organizacja ma zasady platformy Azure, które zapewniają, że konta magazynu są prywatne.

Gdy obsługa zapory dla konta magazynu obszaru roboczego jest włączona, cały dostęp z usług spoza usługi Azure Databricks musi używać zatwierdzonych prywatnych punktów końcowych z usługą Private Link. Usługa Azure Databricks tworzy łącznik dostępu w celu nawiązania połączenia z magazynem przy użyciu tożsamości zarządzanej platformy Azure. Dostęp z bezserwerowych zasobów obliczeniowych usługi Azure Databricks musi używać punktów końcowych usługi lub prywatnych punktów końcowych.

Wymagania

  • Obszar roboczy musi umożliwiać wstrzykiwanie sieci wirtualnej dla z klasycznej platformy obliczeniowej connections.

  • Dla connections z klasycznego środowiska obliczeniowego, obszar roboczy musi zapewniać bezpieczne połączenie klastra (bez publicznego adresu IP / NPIP).

  • Obszar roboczy musi znajdować się w planie Premium.

  • Musisz mieć oddzielną podsieć dla prywatnych punktów końcowych dla konta magazynu. Jest to dodatek do dwóch głównych podsieci podstawowych funkcji usługi Azure Databricks.

    Podsieć musi znajdować się w tej samej sieci wirtualnej co obszar roboczy lub w oddzielnej sieci wirtualnej, do którego ma dostęp obszar roboczy. Użyj minimalnego rozmiaru /28 w notacji CIDR.

  • Jeśli używasz funkcji Cloud Fetch z usługą Microsoft Fabric usługa Power BI, zawsze musisz użyć bramy na potrzeby prywatnego dostępu do konta magazynu obszaru roboczego lub wyłączyć funkcję Cloud Fetch. Zobacz Krok 2 (zalecane): Konfigurowanie prywatnych punktów końcowych dla sieci wirtualnych klienta pobierania chmury.

Szablon usługi ARM można również użyć w kroku 5: Wdróż wymagany szablon usługi ARM, aby utworzyć nowy obszar roboczy. W takim przypadku zamknij wszystkie zasoby obliczeniowe w obszarze roboczym przed wykonaniem kroków od 1 do 4.

Krok 1. Tworzenie prywatnych punktów końcowych na koncie magazynu

Utwórz dwa prywatne punkty końcowe do konta magazynu obszaru roboczego z sieci wirtualnej, którego użyto do iniekcji sieci wirtualnej dla docelowej podzasobu :values, dfs i blob.

  1. W witrynie Azure Portal przejdź do obszaru roboczego.

  2. W obszarze Podstawy kliknij nazwę zarządzanej grupy zasobów.

  3. W obszarze Zasoby kliknij zasób typu Konto magazynu o nazwie rozpoczynającej się od dbstorage.

  4. Na pasku bocznym kliknij pozycję Sieć.

  5. Kliknij prywatny punkt końcowy connections.

  6. Kliknij pozycję + Prywatny punkt końcowy.

  7. W polu nazwa grupy zasobów , set twoja grupa zasobów.

    Ważne

    Grupa zasobów nie może być taka sama jak zarządzana grupa zasobów, w ramach którego znajduje się konto magazynu obszaru roboczego.

  8. W polu Nazwa wpisz unikatową nazwę dla tego prywatnego punktu końcowego:

    • Dla pierwszego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej utwórz punkt końcowy systemu plików DFS. Usługa Databricks zaleca dodanie sufiksu -dfs-pe
    • Dla drugiego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej utwórz punkt końcowy obiektu blob. Usługa Databricks zaleca dodanie sufiksu -blob-pe

    Pole Nazwa interfejsu sieciowego jest wypełniane automatycznie.

  9. Set pole Region do regionu obszaru roboczego.

  10. Kliknij przycisk Dalej.

  11. W obszarze Docelowy zasób podrzędny kliknij docelowy typ zasobu.

    • W przypadku pierwszego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej set to dfs.
    • Dla drugiego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej set to obiektów blob.

  12. W polu Sieć wirtualna, select sieć wirtualna.

  13. W polu podsieci set zmień podsieć na oddzielną podsieć, którą masz na prywatne punkty końcowe konta magazynu.

    To pole może zostać automatycznie wypełnione podsiecią dla prywatnych punktów końcowych, ale może zajść potrzeba zrobienia tego jawnie set. Nie można użyć jednej z dwóch podsieci obszaru roboczego, które są używane do podstawowych funkcji obszaru roboczego usługi Azure Databricks, które są zwykle nazywane i private-subnetpublic-subnet.

  14. Kliknij przycisk Dalej. Karta DNS jest wypełniana automatycznie w odpowiedniej subskrypcji i wybranej wcześniej grupie zasobów. W razie potrzeby zmień je.

  15. Kliknij przycisk Dalej i w razie potrzeby dodaj tagi.

  16. Kliknij przycisk Dalej i przejrzyj pola.

  17. Kliknij pozycję Utwórz.

Aby wyłączyć obsługę zapory dla konta magazynu obszaru roboczego, należy użyć tego samego procesu co powyżej, ale set parametru Zapora konta magazynu (storageAccountFirewall w szablonie) w celu Disabled i set pola Workspace Catalog Enabled do true lub false na podstawie tego, czy obszar roboczy korzysta z obszaru roboczego aparatu Unity Catalogcatalog. Zobacz Czym są catalogs w usłudze Azure Databricks?.

Krok 2 (zalecane): Konfigurowanie prywatnych punktów końcowych dla sieci wirtualnych klienta pobierania chmury

Pobieranie w chmurze to mechanizm odBC i JDBC umożliwiający równoległe pobieranie danych za pośrednictwem magazynu w chmurze w celu szybszego dostarczania danych do narzędzi analizy biznesowej. Jeśli pobierasz wyniki zapytania większe niż 1 MB z narzędzi analizy biznesowej, prawdopodobnie używasz funkcji Cloud Fetch.

Uwaga

Jeśli korzystasz z usługi Microsoft Fabric usługa Power BI z usługą Azure Databricks, musisz wyłączyć funkcję Cloud Fetch, ponieważ ta funkcja blokuje bezpośredni dostęp do konta magazynu obszaru roboczego z usługi Power BI w sieci szkieletowej. Alternatywnie można skonfigurować bramę danych sieci wirtualnej lub lokalną bramę danych, aby zezwolić na prywatny dostęp do konta magazynu obszaru roboczego. Nie dotyczy to programu Power BI Desktop. Aby wyłączyć funkcję Cloud Fetch, użyj konfiguracji EnableQueryResultDownload=0.

Jeśli używasz funkcji Cloud Fetch, utwórz prywatne punkty końcowe na koncie magazynu obszaru roboczego z dowolnych sieci wirtualnych klientów usługi Cloud Fetch.

Dla każdej sieci źródłowej dla klientów usługi Cloud Fetch utwórz dwa prywatne punkty końcowe, które używają dwóch różnych docelowej podsóbvalues: dfs i blob. Aby uzyskać szczegółowe instrukcje, zobacz Krok 1. Tworzenie prywatnych punktów końcowych na koncie magazynu. W tych krokach w polu Sieć wirtualna podczas tworzenia prywatnego punktu końcowego upewnij się, że dla każdego klienta pobierania chmury określono źródłową sieć wirtualną.

Krok 3. Potwierdzanie zatwierdzeń punktu końcowego

Po utworzeniu wszystkich prywatnych punktów końcowych na koncie magazynu sprawdź, czy zostały zatwierdzone. Mogą one zostać automatycznie zatwierdzone lub konieczne może być ich zatwierdzenie na koncie magazynu.

  1. Przejdź do obszaru roboczego w witrynie Azure Portal.
  2. W obszarze Podstawy kliknij nazwę zarządzanej grupy zasobów.
  3. W obszarze Zasoby kliknij zasób typu Konto magazynu o nazwie rozpoczynającej się od dbstorage.
  4. Na pasku bocznym kliknij pozycję Sieć.
  5. Kliknij Prywatny punkt końcowy connections.
  6. Sprawdź stan połączenia , aby potwierdzić, że zatwierdzone lub select je, a następnie kliknij przycisk Zatwierdź.

Krok 4. Autoryzuj obliczenia bezserwerowe connections

Aby połączyć się z kontem magazynu obszaru roboczego, musisz autoryzować bezserwerowe zasoby obliczeniowe, dołączając konfigurację łączności sieciowej (NCC) do obszaru roboczego. Po dołączeniu kontrolera sieci do obszaru roboczego reguły sieciowe są automatycznie dodawane do konta usługi Azure Storage dla konta magazynu obszaru roboczego. Aby uzyskać instrukcje, zobacz Konfigurowanie zapory na potrzeby dostępu obliczeniowego bezserwerowego.

Jeśli chcesz włączyć dostęp z zasobów obliczeniowych bezserwerowych usługi Azure Databricks przy użyciu prywatnych punktów końcowych, skontaktuj się z zespołem konta usługi Azure Databricks.

Krok 5. Wdrażanie wymaganego szablonu usługi ARM

W tym kroku użyto szablonu usługi ARM do zarządzania obszarem roboczym usługi Azure Databricks. Możesz także update lub utworzyć obszar roboczy przy użyciu Terraform. Zobacz dostawcę azurerm_databricks_workspace Terraform.

  1. W witrynie Azure Portal wyszukaj i selectDeploy a custom template.

  2. Kliknij pozycję Utwórz własny szablon w edytorze.

  3. Skopiuj szablon usługi ARM z szablonu usługi ARM, aby zapewnić obsługę zapory dla konta magazynu obszaru roboczego i wklej go w edytorze.

  4. Kliknij przycisk Zapisz.

  5. Przeglądanie i edytowanie pól. Użyj tej samej parameters, która była użyta do utworzenia takich elementów obszaru roboczego, jak subskrypcja, region, nazwa obszaru roboczego, nazwy podsieci, identyfikator zasobu istniejącej sieci VNet.

    Aby zapoznać się z opisem pól, zobacz Pola szablonu usługi ARM.

  6. Kliknij pozycję Przejrzyj i utwórz, a następnie pozycję Utwórz.

Uwaga

Dostęp do sieci publicznej na koncie magazynu obszaru roboczego jest setwłączony z wybranych sieci wirtualnych i adresów IP, a nie do Wyłączone w celu obsługi bezserwerowych zasobów obliczeniowych bez konieczności używania prywatnych punktów końcowych. Konto storage obszaru roboczego znajduje się w zarządzanej grupie zasobów, a zapora tego storage’u może zostać zaktualizowana tylko po dodaniu konfiguracji łączności sieciowej (NCC) dla serwerless connections do obszaru roboczego. Jeśli chcesz włączyć dostęp z zasobów obliczeniowych bezserwerowych usługi Azure Databricks przy użyciu prywatnych punktów końcowych, skontaktuj się z zespołem konta usługi Azure Databricks.