Izolace sítě v toku instrukcí

Tok výzvy můžete zabezpečit pomocí privátních sítí. Tento článek vysvětluje požadavky na použití toku výzvy v prostředí zabezpečeném privátními sítěmi.

Zahrnuté služby

Při vývoji aplikace LLM pomocí toku výzvy chcete zabezpečené prostředí. Následující služby můžete nastavit jako soukromé prostřednictvím nastavení sítě.

• Pracovní prostor: Pracovní prostor Azure Machine Learning můžete nastavit jako soukromý a omezit na něm příchozí a odchozí provoz.
• Výpočetní prostředek: V pracovním prostoru můžete také omezit příchozí a odchozí pravidlo výpočetního prostředku.
• Účet úložiště: Přístupnost účtu úložiště můžete omezit na konkrétní virtuální síť.
• Registr kontejneru: Je potřeba také zabezpečit registr kontejneru s virtuální sítí.
• Koncový bod: Je potřeba omezit služby Azure nebo IP adresu pro přístup ke koncovému bodu.
• Související služby Azure Cognitive Services, jako jsou Azure OpenAI, bezpečnost obsahu Azure a Azure AI Search, můžete pomocí konfigurace sítě nastavit jako soukromé a pak pomocí privátního koncového bodu umožnit službám Azure Machine Learning komunikovat s nimi.
• Další prostředky mimo Azure, jako je SerpAPI atd. Pokud máte přísné odchozí pravidlo, musíte pro přístup k nim přidat pravidlo plně kvalifikovaného názvu domény.

Možnosti v různých nastaveních sítě

Ve službě Azure Machine Learning máme dvě možnosti zabezpečení izolace sítě, používání vlastní sítě nebo používání virtuální sítě spravované pracovním prostorem. Přečtěte si další informace o prostředcích zabezpečeného pracovního prostoru.

Tady je tabulka, která znázorňuje možnosti v různých síťových nastaveních pro tok výzvy.

Příchozí přenos dat	Výchozí přenos dat	Typ výpočetních prostředků při vytváření	Odvození výpočetního typu	Možnosti sítě pro pracovní prostor
Veřejná	Veřejná	Bezserverová instance (doporučeno), výpočetní instance	Spravovaný online koncový bod (doporučeno)	Spravované (doporučeno)
Veřejná	Veřejná	Bezserverová instance (doporučeno), výpočetní instance	Online koncový bod K8s	Přineste si vlastní
Privátní	Veřejná	Bezserverová instance (doporučeno), výpočetní instance	Spravovaný online koncový bod (doporučeno)	Spravované (doporučeno)
Privátní	Veřejná	Bezserverová instance (doporučeno), výpočetní instance	Online koncový bod K8s	Přineste si vlastní
Veřejná	Privátní	Bezserverová instance (doporučeno), výpočetní instance	Spravovaný online koncový bod	Spravované
Privátní	Privátní	Bezserverová instance (doporučeno), výpočetní instance	Spravovaný online koncový bod	Spravované

• Ve scénáři privátní virtuální sítě doporučujeme použít spravovanou virtuální síť s povoleným pracovním prostorem. Je to nejjednodušší způsob, jak zabezpečit pracovní prostor a související prostředky.
• Můžete mít také jeden pracovní prostor pro vytváření výzvy k vytvoření toku ve virtuální síti a jiný pracovní prostor pro nasazení toku s využitím spravovaného online koncového bodu s virtuální sítí spravovanými pracovním prostorem.
• Nepodporujeme smíšené použití spravované virtuální sítě a použití vlastní virtuální sítě v jednom pracovním prostoru. Protože spravovaný online koncový bod podporuje jenom spravovanou virtuální síť, nemůžete nasadit tok výzvy do spravovaného online koncového bodu v pracovním prostoru, který povolil používání vlastní virtuální sítě.

Zabezpečený tok výzvy s využitím virtuální sítě spravované pracovním prostorem

Virtuální síť spravovaná pracovním prostorem je doporučeným způsobem, jak podporovat izolaci sítě v toku výzvy. Poskytuje snadnou konfiguraci pro zabezpečení pracovního prostoru. Po povolení spravované virtuální sítě na úrovni pracovního prostoru budou prostředky související s pracovním prostorem ve stejné virtuální síti používat stejné nastavení sítě na úrovni pracovního prostoru. Pracovní prostor můžete také nakonfigurovat tak, aby používal privátní koncový bod pro přístup k dalším prostředkům Azure, jako jsou Azure OpenAI, zabezpečení obsahu Azure a Azure AI Search. Můžete také nakonfigurovat pravidlo plně kvalifikovaného názvu domény tak, aby schvalovat odchozí přenosy do prostředků mimo Azure, které používá tok výzvy, jako je SerpAPI atd.

1. Pokud chcete povolit virtuální síť spravovanou pracovním prostorem, postupujte podle izolace sítě spravované pracovním prostorem.

   Důležité

   Vytvoření spravované virtuální sítě se odloží, dokud se nevytvořil výpočetní prostředek nebo se ručně nespravuje zřizování. K ruční aktivaci zřizování sítě můžete použít následující příkaz.

   az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
   

2. Přidejte MSI pracovního prostoru jako Storage File Data Privileged Contributor do účtu úložiště propojeného s pracovním prostorem.

   2.1 Přejděte na Azure Portal a vyhledejte pracovní prostor.

   

   2.2 Najděte účet úložiště propojený s pracovním prostorem.

   

   2.3 Přejděte na stránku přiřazení role účtu úložiště.

   

   2.4 Vyhledání role privilegovaného přispěvatele dat souboru úložiště

   

   2.5 Přiřaďte roli privilegovaného přispěvatele dat souboru úložiště spravované identitě pracovního prostoru.

   

   Poznámka:

   Tato operace může trvat několik minut, než se projeví.

3. Pokud chcete komunikovat s privátními službami Azure Cognitive Services, musíte do souvisejícího prostředku přidat související pravidla odchozích přenosů definovaná uživatelem. Pracovní prostor Azure Machine Learning vytvoří v souvisejícím prostředku privátní koncový bod s automatickým schvalováním. Pokud se stav zablokuje, přejděte do souvisejícího prostředku a schvalte privátní koncový bod ručně.

   

   

4. Pokud omezujete odchozí provoz jenom na povolení konkrétních cílů, musíte přidat odpovídající pravidlo odchozích přenosů definované uživatelem, které povolí příslušný plně kvalifikovaný název domény.

   

5. V pracovních prostorech, které povolují spravovanou virtuální síť, můžete do spravovaného online koncového bodu nasadit pouze tok instrukcí. Ke zabezpečení spravovaného online koncového bodu můžete využít zabezpečení spravovaných online koncových bodů pomocí izolace sítě.

Zabezpečený tok výzvy s použitím vlastní virtuální sítě

• Pokud chcete nastavit prostředky související s Azure Machine Learning jako soukromé, podívejte se do části Zabezpečené prostředky pracovního prostoru.

• Pokud máte přísné pravidlo odchozích přenosů, ujistěte se, že máte otevřený požadovaný veřejný přístup k internetu.

• Přidejte MSI pracovního prostoru jako Storage File Data Privileged Contributor do účtu úložiště propojeného s pracovním prostorem. Postupujte podle kroku 2 v toku výzvy k zabezpečení s virtuální sítí spravovanou pracovním prostorem.

• Pokud při vytváření toků používáte bezserverový výpočetní typ, musíte nastavit vlastní virtuální síť na úrovni pracovního prostoru. Další informace o zabezpečení školicího prostředí služby Azure Machine Learning s virtuálními sítěmi

  serverless_compute:
    custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
    no_public_ip: false # Set to true if you don't want to assign public IP to the compute
  

• Mezitím můžete sledovat privátní služby Azure Cognitive Services a nastavit je jako soukromé.

• Pokud chcete nasadit tok výzvy v pracovním prostoru, který je zabezpečený vlastní virtuální sítí, můžete ho nasadit do clusteru AKS, který je ve stejné virtuální síti. K zabezpečení clusteru AKS můžete použít zabezpečené prostředí odvozování služby Azure Kubernetes Service. Přečtěte si další informace o tom, jak nasadit tok výzvy do clusteru ASK prostřednictvím kódu.

• Můžete buď vytvořit privátní koncový bod pro stejnou virtuální síť, nebo využít partnerský vztah virtuální sítě k tomu, aby mezi sebou komunikovaly.

Známá omezení

• Azure AI Foundry nepodporuje používání vlastní virtuální sítě, podporuje pouze virtuální síť spravovanou pracovním prostorem.
• Spravovaný online koncový bod s vybraným výchozím přenosem dat podporuje pouze pracovní prostor se spravovanou virtuální sítí. Pokud chcete používat vlastní virtuální síť, můžete potřebovat jeden pracovní prostor pro tvorbu toku instrukcí s vlastní virtuální sítí a druhý pracovní prostor pro nasazení toků instrukcí pomocí spravovaného koncového bodu online s pracovním prostorem spravované virtuální sítě.

Další kroky

• Zabezpečení prostředků pracovního prostoru
• Spravovaná izolace sítě pracovního prostoru
• Zabezpečené prostředí odvozování služby Azure Kubernetes Service
• Zabezpečení spravovaných online koncových bodů pomocí izolace sítě
• Zabezpečení pracovních postupů RAG pomocí izolace sítě