Udostępnij za pośrednictwem

Włączanie obsługi zapory dla konta magazynu obszaru roboczego

  • Artykuł

Każdy obszar roboczy usługi Azure Databricks ma skojarzone konto usługi Azure Storage w zarządzanej grupie zasobów znanej jako konto magazynu obszaru roboczego. Konto magazynu obszaru roboczego obejmuje dane systemowe obszaru roboczego (dane wyjściowe zadania, ustawienia systemu i dzienniki), katalog główny systemu PLIKÓW DBFS oraz w niektórych przypadkach wykaz obszarów roboczych wykazu aparatu Unity. W tym artykule opisano sposób ograniczania dostępu do konta magazynu obszaru roboczego tylko z autoryzowanych zasobów i sieci przy użyciu szablonu usługi ARM (Azure Resource Manager).

Co to jest obsługa zapory dla konta magazynu obszaru roboczego?

Domyślnie konto usługi Azure Storage dla konta magazynu obszaru roboczego akceptuje uwierzytelnione połączenia ze wszystkich sieci. Ten dostęp można ograniczyć, włączając obsługę zapory dla konta magazynu obszaru roboczego. Gwarantuje to, że dostęp do sieci publicznej jest niedozwolony, a konto magazynu obszaru roboczego nie jest dostępne z nieautoryzowanych sieci. Możesz to skonfigurować, jeśli organizacja ma zasady platformy Azure, które zapewniają, że konta magazynu są prywatne.

Gdy obsługa zapory dla konta magazynu obszaru roboczego jest włączona, cały dostęp z usług spoza usługi Azure Databricks musi używać zatwierdzonych prywatnych punktów końcowych z usługą Private Link. Usługa Azure Databricks tworzy łącznik dostępu w celu nawiązania połączenia z magazynem przy użyciu tożsamości zarządzanej platformy Azure. Dostęp z bezserwerowych zasobów obliczeniowych usługi Azure Databricks musi używać punktów końcowych usługi lub prywatnych punktów końcowych.

Wymagania

  • Obszar roboczy musi włączyć iniekcję sieci wirtualnej dla połączeń z klasycznej płaszczyzny obliczeniowej.

  • Obszar roboczy musi włączyć bezpieczną łączność klastra (brak publicznego adresu IP/NPIP) dla połączeń z klasycznej płaszczyzny obliczeniowej.

  • Obszar roboczy musi znajdować się w planie Premium.

  • Musisz mieć oddzielną podsieć dla prywatnych punktów końcowych dla konta magazynu. Jest to dodatek do dwóch głównych podsieci podstawowych funkcji usługi Azure Databricks.

    Podsieć musi znajdować się w tej samej sieci wirtualnej co obszar roboczy lub w oddzielnej sieci wirtualnej, do którego ma dostęp obszar roboczy. Użyj minimalnego rozmiaru /28 w notacji CIDR.

  • Jeśli używasz funkcji Cloud Fetch z usługą Microsoft Fabric usługa Power BI, zawsze musisz użyć bramy na potrzeby prywatnego dostępu do konta magazynu obszaru roboczego lub wyłączyć funkcję Cloud Fetch. Zobacz Krok 2 (zalecane): Konfigurowanie prywatnych punktów końcowych dla sieci wirtualnych klienta pobierania chmury.

Szablon usługi ARM można również użyć w kroku 5: Wdróż wymagany szablon usługi ARM, aby utworzyć nowy obszar roboczy. W takim przypadku zamknij wszystkie zasoby obliczeniowe w obszarze roboczym przed wykonaniem kroków od 1 do 4.

Krok 1. Tworzenie prywatnych punktów końcowych na koncie magazynu

Utwórz dwa prywatne punkty końcowe na koncie magazynu obszaru roboczego z sieci wirtualnej, która była używana do wstrzykiwania sieci wirtualnej dla wartości zasobów podrzędnych Target: dfs i blob.

  1. W witrynie Azure Portal przejdź do obszaru roboczego.

  2. W obszarze Podstawy kliknij nazwę zarządzanej grupy zasobów.

  3. W obszarze Zasoby kliknij zasób typu Konto magazynu o nazwie rozpoczynającej się od dbstorage.

  4. Na pasku bocznym kliknij pozycję Sieć.

  5. Kliknij pozycję Połączenia prywatnego punktu końcowego.

  6. Kliknij pozycję + Prywatny punkt końcowy.

  7. W polu Nazwa grupy zasobów ustaw grupę zasobów.

    Ważne

    Grupa zasobów nie może być taka sama jak zarządzana grupa zasobów, w ramach którego znajduje się konto magazynu obszaru roboczego.

  8. W polu Nazwa wpisz unikatową nazwę dla tego prywatnego punktu końcowego:

    • Dla pierwszego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej utwórz punkt końcowy systemu plików DFS. Usługa Databricks zaleca dodanie sufiksu -dfs-pe
    • Dla drugiego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej utwórz punkt końcowy obiektu blob. Usługa Databricks zaleca dodanie sufiksu -blob-pe

    Pole Nazwa interfejsu sieciowego jest wypełniane automatycznie.

  9. Ustaw pole Region na region obszaru roboczego.

  10. Kliknij przycisk Dalej.

  11. W obszarze Docelowy zasób podrzędny kliknij docelowy typ zasobu.

    • Dla pierwszego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej ustaw wartość dfs.
    • Dla drugiego prywatnego punktu końcowego utworzonego dla każdej sieci źródłowej ustaw tę wartość na obiekt blob.

  12. W polu Sieć wirtualna wybierz sieć wirtualną.

  13. W polu podsieć ustaw podsieć na oddzielną podsieć dla prywatnych punktów końcowych dla konta magazynu.

    To pole może zostać wypełnione automatycznie podsiecią dla prywatnych punktów końcowych, ale może być konieczne ich jawne ustawienie. Nie można użyć jednej z dwóch podsieci obszaru roboczego, które są używane do podstawowych funkcji obszaru roboczego usługi Azure Databricks, które są zwykle nazywane i private-subnet public-subnet.

  14. Kliknij przycisk Dalej. Karta DNS jest wypełniana automatycznie w odpowiedniej subskrypcji i wybranej wcześniej grupie zasobów. W razie potrzeby zmień je.

  15. Kliknij przycisk Dalej i w razie potrzeby dodaj tagi.

  16. Kliknij przycisk Dalej i przejrzyj pola.

  17. Kliknij pozycję Utwórz.

Aby wyłączyć obsługę zapory dla konta magazynu obszaru roboczego, użyj tego samego procesu co powyżej, ale ustaw parametr Zapora konta magazynu (storageAccountFirewall w szablonie) Disabled na i ustaw Workspace Catalog Enabled pole na true lub false na podstawie tego, czy obszar roboczy używa wykazu obszarów roboczych aparatu Unity. Zobacz Co to są wykazy w usłudze Azure Databricks?.

Krok 2 (zalecane): Konfigurowanie prywatnych punktów końcowych dla sieci wirtualnych klienta pobierania chmury

Pobieranie w chmurze to mechanizm odBC i JDBC umożliwiający równoległe pobieranie danych za pośrednictwem magazynu w chmurze w celu szybszego dostarczania danych do narzędzi analizy biznesowej. Jeśli pobierasz wyniki zapytania większe niż 1 MB z narzędzi analizy biznesowej, prawdopodobnie używasz funkcji Cloud Fetch.

Uwaga

Jeśli korzystasz z usługi Microsoft Fabric usługa Power BI z usługą Azure Databricks, musisz wyłączyć funkcję Cloud Fetch, ponieważ ta funkcja blokuje bezpośredni dostęp do konta magazynu obszaru roboczego z usługi Power BI w sieci szkieletowej. Alternatywnie można skonfigurować bramę danych sieci wirtualnej lub lokalną bramę danych, aby zezwolić na prywatny dostęp do konta magazynu obszaru roboczego. Nie dotyczy to programu Power BI Desktop. Aby wyłączyć funkcję Cloud Fetch, użyj konfiguracji EnableQueryResultDownload=0.

Jeśli używasz funkcji Cloud Fetch, utwórz prywatne punkty końcowe na koncie magazynu obszaru roboczego z dowolnych sieci wirtualnych klientów usługi Cloud Fetch.

Dla każdej sieci źródłowej dla klientów usługi Cloud Fetch utwórz dwa prywatne punkty końcowe, które używają dwóch różnych wartości zasobów podrzędnych target: dfs i blob. Aby uzyskać szczegółowe instrukcje, zobacz Krok 1. Tworzenie prywatnych punktów końcowych na koncie magazynu. W tych krokach w polu Sieć wirtualna podczas tworzenia prywatnego punktu końcowego upewnij się, że dla każdego klienta pobierania chmury określono źródłową sieć wirtualną.

Krok 3. Potwierdzanie zatwierdzeń punktu końcowego

Po utworzeniu wszystkich prywatnych punktów końcowych na koncie magazynu sprawdź, czy zostały zatwierdzone. Mogą one zostać automatycznie zatwierdzone lub konieczne może być ich zatwierdzenie na koncie magazynu.

  1. Przejdź do obszaru roboczego w witrynie Azure Portal.
  2. W obszarze Podstawy kliknij nazwę zarządzanej grupy zasobów.
  3. W obszarze Zasoby kliknij zasób typu Konto magazynu o nazwie rozpoczynającej się od dbstorage.
  4. Na pasku bocznym kliknij pozycję Sieć.
  5. Kliknij pozycję Połączenia prywatnego punktu końcowego.
  6. Sprawdź stan Połączenia, aby potwierdzić, że jest to zatwierdzone, lub wybierz je, a następnie kliknij przycisk Zatwierdź.

Krok 4. Autoryzowanie bezserwerowych połączeń obliczeniowych

Aby połączyć się z kontem magazynu obszaru roboczego, musisz autoryzować bezserwerowe zasoby obliczeniowe, dołączając konfigurację łączności sieciowej (NCC) do obszaru roboczego. Po dołączeniu kontrolera sieci do obszaru roboczego reguły sieciowe są automatycznie dodawane do konta usługi Azure Storage dla konta magazynu obszaru roboczego. Aby uzyskać instrukcje, zobacz Konfigurowanie zapory na potrzeby dostępu obliczeniowego bezserwerowego.

Jeśli chcesz włączyć dostęp z zasobów obliczeniowych bezserwerowych usługi Azure Databricks przy użyciu prywatnych punktów końcowych, skontaktuj się z zespołem konta usługi Azure Databricks.

Krok 5. Wdrażanie wymaganego szablonu usługi ARM

W tym kroku użyto szablonu usługi ARM do zarządzania obszarem roboczym usługi Azure Databricks. Obszar roboczy można również zaktualizować lub utworzyć przy użyciu narzędzia Terraform. Zobacz dostawcę azurerm_databricks_workspace Terraform.

  1. W witrynie Azure Portal wyszukaj i wybierz pozycję Deploy a custom template.

  2. Kliknij pozycję Utwórz własny szablon w edytorze.

  3. Skopiuj szablon usługi ARM z szablonu usługi ARM, aby zapewnić obsługę zapory dla konta magazynu obszaru roboczego i wklej go w edytorze.

  4. Kliknij przycisk Zapisz.

  5. Przeglądanie i edytowanie pól. Użyj tych samych parametrów, które były używane do tworzenia obszaru roboczego, takiego jak subskrypcja, region, nazwa obszaru roboczego, nazwy podsieci, identyfikator zasobu istniejącej sieci wirtualnej.

    Aby zapoznać się z opisem pól, zobacz Pola szablonu usługi ARM.

  6. Kliknij pozycję Przejrzyj i utwórz, a następnie pozycję Utwórz.

Uwaga

Dostęp do sieci publicznej na koncie magazynu obszaru roboczego jest ustawiony na włączone z wybranych sieci wirtualnych i adresów IP, a nie na wartość Wyłączone , aby obsługiwać bezserwerowe zasoby obliczeniowe bez konieczności używania prywatnych punktów końcowych. Konto magazynu obszaru roboczego znajduje się w zarządzanej grupie zasobów, a zapora magazynu może zostać zaktualizowana tylko po dodaniu konfiguracji łączności sieciowej (NCC) dla połączeń bezserwerowych z obszarem roboczym. Jeśli chcesz włączyć dostęp z zasobów obliczeniowych bezserwerowych usługi Azure Databricks przy użyciu prywatnych punktów końcowych, skontaktuj się z zespołem konta usługi Azure Databricks.