Správa zásad sítě pro řízení výchozího přenosu dat bez serveru

Článek
12/13/2024

Důležité

Tato funkce je ve verzi Public Preview.

Tento dokument vysvětluje, jak nakonfigurovat a spravovat zásady sítě pro řízení odchozích síťových připojení z úloh bez serveru v Azure Databricks.

Oprávnění ke správě zásad sítě jsou omezena na správce účtu. Projděte si úvod do správy Azure Databricks.

Přístup k zásadám sítě

Vytvoření, zobrazení a aktualizace zásad sítě ve vašem účtu:

V konzole účtu klikněte na Cloudové prostředky.
Klikněte na kartu Síť .

seznam zásad sítě.

Vytvoření nové zásady sítě

Klikněte na Vytvořit novou zásadu sítě.
Zvolte režim síťového přístupu:
- úplný přístup: Neomezený odchozí přístup k internetu. Pokud zvolíte Úplný přístup, odchozí internetový přístup zůstane neomezený.
- omezený přístup: Odchozí přístup je omezený na zadané cíle. Další informace najdete v tématu Přehled zásad sítě.

Konfigurace zásad sítě

Následující kroky popisují volitelná nastavení režimu omezeného přístupu.

Pravidla výstupního přenosu dat

Cíle nakonfigurované prostřednictvím umístění nebo připojení katalogu Unity jsou zásadami automaticky povolené.

Pokud chcete udělit bezserverový výpočetní přístup k dalším doménám, klikněte na Přidat cílový nad seznamem Povolené domény.

Filtr plně kvalifikovaného názvu domény umožňuje přístup ke všem doménám, které sdílejí stejnou IP adresu. Model obsluhy zřízený na koncových bodech brání přístupu k internetu, pokud je přístup k síti nastaven na omezen. Granulární řízení pomocí filtrování plně kvalifikovaného názvu domény však není podporováno.
Pokud chcete pracovnímu prostoru povolit přístup k dalším účtům úložiště Azure, klikněte na tlačítko Přidat cíl, které se nachází nad seznamem Povolené účty úložiště.

Poznámka:

Maximální počet podporovaných cílů je 2000. To zahrnuje všechna umístění a připojení katalogu Unity, která jsou přístupná z pracovního prostoru, a cíle stanovené v zásadách.

Vynucení zásad

Režim jen pro protokoly umožňuje otestovat konfiguraci zásad a monitorovat odchozí připojení bez narušení přístupu k prostředkům. Pokud je povolený režim jen pro protokoly, požadavky, které porušují zásady, se protokolují, ale nejsou blokované. Vyberte některou z následujících možností:

Databricks SQL: Služba Databricks SQL Warehouse funguje v režimu jen pro protokoly.
obsluha AI modelu: Koncové body obsluhy modelu fungují v režimu pouze pro záznam.
Všechny produkty: Všechny služby Azure Databricks pracují v režimu pouze pro protokolování a převáží všechny ostatní volby.

Aktualizace výchozích zásad

Každý účet Azure Databricks zahrnuje výchozí zásady. Výchozí zásada je přidružená ke všem pracovním prostorům bez explicitního přiřazení zásad sítě, včetně nově vytvořených pracovních prostorů. Tuto zásadu můžete upravit, ale nelze ji odstranit. Výchozí zásady se použijí pouze pro pracovní prostory s alespoň Premium.

Přidružení zásad sítě k pracovním prostorům

Pokud jste aktualizovali výchozí zásady o další konfigurace, použijí se automaticky u pracovních prostorů, které nemají existující zásady sítě. Váš pracovní prostor bude muset být v Premium.

Pokud chcete pracovní prostor přidružit k jiné zásadě, postupujte takto:

Výběr pracovního prostoru.
V Zásady sítěklikněte na Aktualizovat zásady sítě.
Ze seznamu vyberte požadovanou zásadu sítě.

Aktualizovat zásady sítě

Použití změn zásad sítě

Většina aktualizací konfigurace sítě se automaticky rozšíří do bezserverového výpočetního prostředí do deseti minut. Sem patří:

Přidání nového externího umístění nebo připojení katalogu Unity
Připojení pracovního prostoru k jinému metastoru
Změna povoleného úložiště nebo cílů internetu

Poznámka:

Pokud upravíte nastavení přístupu k internetu nebo nastavení režimu pouze protokolu, je nutné restartovat váš počítač.

Restartování nebo opětovné nasazení bezserverových úloh

Je potřeba aktualizovat pouze při přepínání režimu přístupu k internetu nebo při aktualizaci režimu pouze protokolování.

Pokud chcete určit odpovídající postup restartování, projděte si následující seznam podle produktu:

Obsluha Databricks ML: Opětovné nasazení koncového bodu obsluhy ML Viz Vytvoření vlastních modelů obsluhujících koncové body.
Delta Live Tables: Zastavte a restartujte spuštěný kanál Delta Live Tables. Viz Spuštění aktualizace v kanálu Delta Live Tables.
Bezserverový SQL datový sklad: Zastavte a restartujte datový sklad SQL. Viz Správa SQL Warehouse.
Pracovní postupy: Změny zásad sítě se použijí automaticky při aktivaci nového spuštění úlohy nebo restartování existující úlohy.
Poznámkové bloky:
- Pokud poznámkový blok se Sparkem nekomunikuje, můžete ukončit a připojit nový bezserverový cluster k aktualizaci konfigurace sítě použité pro váš poznámkový blok.
- Pokud váš notebook komunikuje se Sparkem, váš serverless prostředek se obnoví a automaticky detekuje změnu. Přepnutí režimu přístupu a režimu pouze protokolu může trvat až 24 hodin a použití dalších změn může trvat až 10 minut.

Ověření vynucení zásad sítě

Zásady sítě můžete ověřit tak, že se pokusíte získat přístup k omezeným prostředkům z různých úloh bez serveru. Proces ověřování se liší v závislosti na bezserverovém produktu.

Ověření pomocí dynamických tabulek Delta

Vytvořte poznámkový blok Pythonu. Můžete použít ukázkový poznámkový blok, který je k dispozici v kurzu pythonu Delta Live Tables na wikipedii.
Vytvoření kanálu Delta Live Tables:
1. Na bočním panelu pracovního prostoru klikněte na Pipelinesv části Data Engineering.
2. Klikněte na Vytvořit kanál.
3. Nakonfigurujte kanál s následujícími nastaveními:
  - Režim kanálu: Bezserverová
  - Zdrojový kód: Vyberte poznámkový blok, který jste vytvořili.
  - Možnosti úložiště: Katalog Unity. Vyberte požadovaný katalog a schéma.
4. Klikněte na Vytvořit.
Spusťte datový tok Delta Live Tables.
Na stránce kanálu klikněte na Start.
Počkejte na dokončení kanálu.
Ověření výsledků
- Důvěryhodný cíl: Kanál by se měl úspěšně spustit a zapisovat data do cíle.
- Nedůvěryhodný cíl: Kanál by měl selhat s chybami, které značí, že přístup k síti je blokovaný.

Ověření pomocí Databricks SQL

Vytvořte SQL Warehouse. Pokyny najdete v tématu Vytvoření SQL Warehouse.
V editoru SQL spusťte testovací dotaz, který se pokusí o přístup k prostředku řízenému zásadami sítě.
Ověřte výsledky:
- Důvěryhodný cíl: Dotaz by měl být úspěšný.
- Nedůvěryhodný cíl: Dotaz by měl selhat s chybou síťového přístupu.

Ověření pomocí obsluhy modelu

Vytvoření testovacího modelu

V poznámkovém bloku Pythonu vytvořte model, který se pokusí o přístup k veřejnému internetovému prostředku, jako je stažení souboru nebo vytvoření požadavku rozhraní API.
Spuštěním tohoto poznámkového bloku vygenerujte model v testovacím pracovním prostoru. Příklad:


import mlflow
import mlflow.pyfunc
import mlflow.sklearn
import requests

class DummyModel(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        pass

    def predict(self, _, model_input):
        first_row = model_input.iloc[0]
        try:
            response = requests.get(first_row['host'])
        except requests.exceptions.RequestException as e:
            # Return the error details as text
            return f"Error: An error occurred - {e}"
        return [response.status_code]

with mlflow.start_run(run_name='internet-access-model'):
    wrappedModel = DummyModel()

    mlflow.pyfunc.log_model(artifact_path="internet_access_ml_model", python_model=wrappedModel, registered_model_name="internet-http-access")

Vytvoření koncového bodu obsluhy
1. V navigaci pracovního prostoru vyberte Machine Learning.
2. Klikněte na kartu Obsluha .
3. Klikněte na Vytvořit koncový bod obsluhy.
4. Nakonfigurujte koncový bod s následujícím nastavením:
  - Obsluha názvu koncového bodu: Zadejte popisný název.
  - Podrobnosti o entitě: Vyberte model registru modelu.
  - Model: Zvolte model, který jste vytvořili v předchozím kroku.
5. Klikněte na tlačítko Potvrdit.
6. Počkejte, až koncový bod obsluhy dosáhne stavu Připraveno .
Zadejte dotaz na koncový bod.
1. Pomocí možnosti Koncový bod dotazu na stránce obsluhujícího koncového bodu odešlete testovací požadavek.
```
{"dataframe_records": [{"host": "https://www.google.com"}]}
```
Ověřte výsledek:
- Povolený přístup k internetu: Dotaz by měl být úspěšný.
- Omezený přístup k internetu: Dotaz by měl selhat s chybou síťového přístupu.

Aktualizace zásad sítě

Zásady sítě můžete kdykoli po vytvoření aktualizovat. Aktualizace zásad sítě:

Na stránce podrobností zásad sítě v konzole účtů upravte zásadu:
- Změňte režim síťového přístupu.
- Povolte nebo zakažte režim pouze protokolu pro konkrétní služby.
- Přidejte nebo odeberte plně kvalifikovaný název domény nebo cíle úložiště.
Klikněte na tlačítko Aktualizovat.
Viz , použijte změny zásad sítě, k ověření, že se aktualizace aplikují na stávající pracovní zátěže.

Kontrola protokolů odepření

Protokoly odepření se ukládají v system.access.outbound_network tabulce v katalogu Unity. Tyto protokoly sledují, kdy jsou odchozí síťové požadavky odepřeny. Pokud chcete získat přístup k protokolům odepření, ujistěte se, že je na metastoru katalogu Unity povolené schéma přístupu. Viz Povolení schémat systémových tabulek.

K zobrazení událostí odepření použijte dotaz SQL podobný následujícímu dotazu. Pokud jsou protokoly jen pro protokoly povolené, dotaz vrátí protokoly odepření i protokoly jen pro protokoly, které můžete rozlišit pomocí access_type sloupce. Protokoly odepření mají hodnotu DROP, zatímco protokoly pouze pro záznamy zobrazují LOG_ONLY_DENIAL.

Následující příklad načte protokoly z posledních 2 hodin:


select * from system.access.outbound_network
where event_time >= current_timestamp() - interval 2 hour
sort by event_time desc

Při připojování k externím generativním modelům AI pomocí brány Mosaic AI nejsou záznamy zaznamenávány do systémové tabulky odchozí sítě. Vizte Mosaic AI Gateway.