Správa zásad sítě pro řízení výchozího přenosu dat bez serveru

Článek
03/06/2025

Důležité

Tato funkce je ve verzi Public Preview.

Tento dokument vysvětluje, jak nakonfigurovat a spravovat zásady sítě pro řízení odchozích síťových připojení z úloh bez serveru v Azure Databricks.

Oprávnění ke správě zásad sítě jsou omezena na správce účtu. Projděte si úvod do správy Azure Databricks.

Přístup k zásadám sítě

Vytvoření, zobrazení a aktualizace zásad sítě ve vašem účtu:

V konzole účtu klikněte na Cloudové prostředky.
Klikněte na kartu Síť .

seznam zásad sítě.

Vytvoření nové zásady sítě

Klikněte na Vytvořit novou síťovou zásadu.
Zvolte režim síťového přístupu:
- úplný přístup: Neomezený odchozí přístup k internetu. Pokud zvolíte Úplný přístup, odchozí internetový přístup zůstane neomezený.
- omezený přístup: Odchozí přístup je omezený na zadané cíle. Další informace najdete v tématu Přehled zásad sítě.

Konfigurace zásad sítě

Následující kroky popisují volitelná nastavení režimu omezeného přístupu.

Pravidla výstupního přenosu dat

Cíle nakonfigurované prostřednictvím umístění nebo připojení katalogu Unity jsou zásadami automaticky povolené.

Pokud chcete udělit bezserverový výpočetní přístup k dalším doménám, klikněte na Přidat cílový nad seznamem Povolené domény.

Filtr FQDN umožňuje přístup ke všem doménám, které mají stejnou IP adresu. Model obsluhy zřízený na koncových bodech brání přístupu k internetu, pokud je přístup k síti nastaven na omezen. Detailní kontrola s filtrováním na základě FQDN není ale podporována.
Pokud chcete pracovnímu prostoru povolit přístup k dalším účtům úložiště Azure, klikněte na tlačítko Přidat cílový účet nad seznamem Povolené účty úložiště.

Poznámka:

Maximální počet podporovaných cílů je 2000. To zahrnuje všechna umístění a připojení katalogu Unity, která jsou přístupná z pracovního prostoru, a cíle stanovené v zásadách.

Vynucení zásad

Režim suchého spuštění umožňuje otestovat konfiguraci zásad a monitorovat odchozí připojení bez narušení přístupu k prostředkům. Pokud je povolený režim suchého spuštění, požadavky, které porušují zásady, se protokolují, ale nejsou zablokované. Vyberte některou z následujících možností:

Databricks SQL: Služba Databricks SQL Warehouse funguje v režimu suchého spuštění.
obsluha AI modelů: Koncové body pro obsluhu modelů fungují v testovacím režimu.
Všechny produkty: Všechny služby Azure Databricks fungují v režimu suchého spuštění a mají přednost před všemi ostatními výběry.

Aktualizace výchozích zásad

Každý účet Azure Databricks zahrnuje výchozí zásady. Výchozí zásada je přidružená ke všem pracovním prostorům bez explicitního přiřazení zásad sítě, včetně nově vytvořených pracovních prostorů. Tuto zásadu můžete upravit, ale nelze ji odstranit. Výchozí zásady se použijí jenom u pracovních prostorů s alespoň úrovní Premium.

Přiřadit zásady sítě k pracovním prostorům

Pokud jste aktualizovali výchozí zásady o další konfigurace, použijí se automaticky u pracovních prostorů, které nemají existující zásady sítě. Váš pracovní prostor bude muset být na úrovni Premium.

Pokud chcete pracovní prostor přidružit k jiné zásadě, postupujte takto:

Výběr pracovního prostoru.
V Zásady sítěklikněte na Aktualizovat zásady sítě.
Ze seznamu vyberte požadovanou zásadu sítě.

Aktualizovat zásady sítě

Použití změn zásad sítě

Většina aktualizací konfigurace sítě se automaticky rozšíří do bezserverového výpočetního prostředí do deseti minut. Sem patří:

Přidání nového externího umístění nebo připojení v katalogu Unity.
Připojení vašeho pracovního prostoru k jinému metastoru
Změna povoleného úložiště nebo cílů internetu

Poznámka:

Pokud upravíte nastavení režimu internetového přístupu nebo režimu suchého spuštění, je nutné restartovat výpočetní prostředky.

Restartování nebo opětovné nasazení bezserverových úloh

Je potřeba aktualizovat pouze při přepínání režimu přístupu k internetu nebo při aktualizaci režimu suchého spuštění.

Pokud chcete určit odpovídající postup restartování, projděte si následující seznam podle produktu:

Databricks ML Serving: Znovu nasaďte svůj koncový bod pro servírování ML. Viz Vytvoření vlastních modelů obsluhujících koncové body.
DLT: Zastavte a poté restartujte běžící potrubí DLT. Viz Proveďte aktualizaci kanálu DLT.
BezserverovýSQL Warehouse: Zastavte a restartujte SQL Warehouse. Viz Správa SQL Warehouse.
Pracovní postupy: Změny zásad sítě se použijí automaticky při aktivaci nového spuštění úlohy nebo restartování existující úlohy.
Poznámkové bloky:
- Pokud váš poznámkový blok nekomunikuje se Sparkem, můžete ukončit a připojit nový bezserverový cluster, aby se aktualizovala konfigurace sítě vašeho poznámkového bloku.
- Pokud váš notebook komunikuje se Sparkem, váš serverless prostředek se aktualizuje a automaticky detekuje změnu. Přepnutí režimu přístupu a režimu suchého spuštění může trvat až 24 hodin a použití dalších změn může trvat až 10 minut.

Ověření prosazení zásad sítě

Zásady sítě můžete ověřit tak, že se pokusíte získat přístup k omezeným prostředkům z různých úloh bez serveru. Proces ověřování se liší v závislosti na bezserverovém produktu.

Ověření pomocí DLT

Vytvořte poznámkový blok Pythonu. Můžete použít ukázkový poznámkový blok uvedený v kurzu pythonu DLT wikipedia.
Vytvoření kanálu DLT:
1. Na bočním panelu pracovního prostoru klikněte na Pipelinesv části Data Engineering.
2. Klikněte na Vytvořit kanál.
3. Nakonfigurujte rozvrh s následujícími nastaveními:
  - Režim zpracování: Bez serveru
  - Zdrojový kód: Vyberte poznámkový blok, který jste vytvořili.
  - Možnosti úložiště: Katalog Unity. Vyberte požadovaný katalog a schéma.
4. Klikněte na Vytvořit.
Spusťte DLT pipeline.
Na stránce pipeline klikněte na Start.
Počkejte na dokončení kanálu.
Ověření výsledků
- Důvěryhodný cíl: Potrubí by mělo úspěšně běžet a zapisovat data do cíle.
- Nedůvěryhodný cíl: Kanál by měl selhat s chybami, které značí, že přístup k síti je blokovaný.

Ověření pomocí Databricks SQL

Vytvořte SQL Warehouse. Pokyny najdete v tématu Vytvoření SQL Warehouse.
V editoru SQL spusťte testovací dotaz, který se pokusí o přístup k prostředku řízenému zásadami sítě.
Ověřte výsledky:
- Důvěryhodný cíl: Dotaz by měl být úspěšný.
- Nedůvěryhodný cíl: Dotaz by měl selhat s chybou síťového přístupu.

Ověření pomocí obsluhy modelu

Vytvoření testovacího modelu

V poznámkovém bloku Pythonu vytvořte model, který se pokusí o přístup k veřejnému internetovému prostředku, jako je stažení souboru nebo vytvoření požadavku rozhraní API.
Spuštěním tohoto poznámkového bloku vygenerujte model v testovacím pracovním prostoru. Příklad:


import mlflow
import mlflow.pyfunc
import mlflow.sklearn
import requests

class DummyModel(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        pass

    def predict(self, _, model_input):
        first_row = model_input.iloc[0]
        try:
            response = requests.get(first_row['host'])
        except requests.exceptions.RequestException as e:
            # Return the error details as text
            return f"Error: An error occurred - {e}"
        return [response.status_code]

with mlflow.start_run(run_name='internet-access-model'):
    wrappedModel = DummyModel()

    mlflow.pyfunc.log_model(artifact_path="internet_access_ml_model", python_model=wrappedModel, registered_model_name="internet-http-access")

Vytvoření koncového bodu služby
1. V navigaci pracovního prostoru vyberte Machine Learning.
2. Klikněte na záložku Obsluha.
3. Klikněte na Vytvořit obslužný bod.
4. Nakonfigurujte koncový bod s následujícím nastavením:
  - Název koncového bodu pro poskytování služeb: Zadejte popisný název.
  - Podrobnosti o entitě: Vyberte model registru modelu.
  - Model: Zvolte model, který jste vytvořili v předchozím kroku.
5. Klikněte na tlačítko Potvrdit.
6. Počkejte, než obslužný koncový bod dosáhne stavu Připraveno.
Zadejte dotaz na koncový bod.
1. Pomocí možnosti Query Endpoint na stránce obsluhujícího koncového bodu odešlete testovací požadavek.
```
{"dataframe_records": [{"host": "https://www.google.com"}]}
```
Ověřte výsledek:
- Povolený přístup k internetu: Dotaz by měl být úspěšný.
- Omezený přístup k internetu: Dotaz by měl selhat s chybou síťového přístupu.

Aktualizace zásad sítě

Zásady sítě můžete kdykoli po vytvoření aktualizovat. Aktualizace zásad sítě:

Na stránce podrobností zásad sítě v konzole účtů upravte zásadu:
- Změňte režim síťového přístupu.
- Povolte nebo zakažte režim suchého spuštění pro konkrétní služby.
- Přidejte nebo odeberte FQDN nebo úložná místa.
Klikněte na Aktualizovat.
Projděte změny zásad sítě a ověřte, že aktualizace byly aplikovány na stávající pracovní zátěže.

Kontrola protokolů odepření

Protokoly odepření se ukládají v system.access.outbound_network tabulce v katalogu Unity. Tyto protokoly sledují, kdy jsou odchozí síťové požadavky odepřeny. Pokud chcete získat přístup k protokolům odepření, ujistěte se, že je na metastoru katalogu Unity povolené schéma přístupu. Viz Povolení schémat systémových tabulek.

K zobrazení událostí odepření použijte dotaz SQL podobný následujícímu dotazu. Pokud jsou aktivovány protokoly testovacího běhu, dotaz vrátí jak protokoly odepření, tak i protokoly testovacího běhu, které můžete rozlišit pomocí sloupce access_type. Protokoly odepření mají hodnotu DROP, zatímco protokoly testovacího běhu zobrazují DRY_RUN_DENIAL.

Následující příklad načte protokoly z posledních 2 hodin:


select * from system.access.outbound_network
where event_time >= current_timestamp() - interval 2 hour
sort by event_time desc

Zamítnutí nejsou zaznamenávána v tabulce systémového odchozího síťového provozu při připojování k externím generativním AI modelům pomocí Mosaic AI Gateway. Viz úvod Mosaic AI Gateway.