Användardefinierade väginställningar för Azure Databricks
Om din Azure Databricks-arbetsyta distribueras till ditt eget virtuella nätverk (VNet) kan du använda anpassade vägar, även kallade användardefinierade vägar (UDR) för att säkerställa att nätverkstrafiken dirigeras korrekt för din arbetsyta. Om du till exempel ansluter det virtuella nätverket till ditt lokala nätverk kan trafiken dirigeras via det lokala nätverket och kan inte nå Azure Databricks-kontrollplanet. Användardefinierade vägar kan lösa problemet.
Du behöver en UDR för varje typ av utgående anslutning från det virtuella nätverket. Du kan använda både Azure-tjänsttaggar och IP-adresser för att definiera nätverksåtkomstkontroller på dina användardefinierade vägar. Databricks rekommenderar att du använder Azure-tjänsttaggar för att förhindra avbrott i tjänsten på grund av IP-ändringar.
Konfigurera användardefinierade vägar med Azure-tjänsttaggar
Databricks rekommenderar att du använder Azure-tjänsttaggar, som representerar en grupp IP-adressprefix från en viss Azure-tjänst. Microsoft hanterar adressprefixen som omfattas av tjänsttaggen och uppdaterar automatiskt tjänsttaggen när adresserna ändras. Detta hjälper till att förhindra avbrott i tjänsten på grund av IP-ändringar och tar bort behovet av att regelbundet söka upp dessa IP-adresser och uppdatera dem i routningstabellen. Men om organisationens principer inte tillåter tjänsttaggar kan du ange vägarna som IP-adresser.
Med hjälp av tjänsttaggar bör dina användardefinierade vägar använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | Azure Databricks-tjänsttagg | Internet |
| Standardvärde | Azure SQL-tjänsttagg | Internet |
| Standardvärde | Azure Storage-tjänsttagg | Internet |
| Standardvärde | Azure Event Hubs-tjänsttagg | Internet |
Kommentar
Du kan välja att lägga till tjänsttaggen Microsoft Entra ID för att underlätta Microsoft Entra ID-autentisering från Azure Databricks-kluster till Azure-resurser.
Om Azure Private Link är aktiverat på din arbetsyta krävs inte Azure Databricks-tjänsttaggen.
Azure Databricks-tjänsttaggen representerar IP-adresser för de utgående anslutningar som krävs till Azure Databricks-kontrollplanet, säker klusteranslutning (SCC)och Azure Databricks-webbappen.
Azure SQL-tjänsttaggen representerar IP-adresser för de utgående anslutningar som krävs till Azure Databricks metadatalager, och Azure Storage-tjänsttaggen representerar IP-adresser för artefakt-Bloblagring och logg-Bloblagring. Azure Event Hubs-tjänsttaggen representerar de utgående anslutningar som krävs för loggning till Azure Event Hub.
Vissa tjänsttaggar tillåter mer detaljerad kontroll genom att begränsa IP-intervall till en angiven region. En routningstabell för en Azure Databricks-arbetsyta i regionen Västra USA kan se ut så här till exempel:
| Name | Adressprefix | Nästa hopptyp |
|---|---|---|
| adb-servicetag | AzureDatabricks | Internet |
| adb-metaarkiv | Sql.WestUS | Internet |
| adb-storage | Storage.WestUS | Internet |
| adb-eventhub | EventHub.WestUS | Internet |
Information om hur du hämtar de tjänsttaggar som krävs för användardefinierade vägar finns i Tjänsttaggar för virtuella nätverk.
Konfigurera användardefinierade vägar med IP-adresser
Databricks rekommenderar att du använder Azure-tjänsttaggar, men om organisationens principer inte tillåter tjänsttaggar kan du använda IP-adresser för att definiera nätverksåtkomstkontroller på dina användardefinierade vägar.
Informationen varierar beroende på om säker klusteranslutning (SCC) är aktiverad för arbetsytan:
- Om säker klusteranslutning är aktiverad för arbetsytan behöver du en UDR för att tillåta att klustren ansluter till det säkra klusteranslutningsreläet i kontrollplanet. Se till att inkludera de system som har markerats som SCC Relay IP för din region.
- Om säker klusteranslutning är inaktiverad för arbetsytan finns det en inkommande anslutning från kontrollplanets NAT, men den lågnivå-TCP SYN-ACK till den anslutningen är tekniskt sett utgående data som kräver en UDR. Se till att inkludera de system som har markerats som KONTROLLplans-NAT IP för din region.
Dina användardefinierade vägar bör använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | NAT IP för kontrollplanet (om SCC är inaktiverat) | Internet |
| Standardvärde | SCC Relay IP (om SCC är aktiverat) | Internet |
| Standardvärde | Ip-adress för webbapp | Internet |
| Standardvärde | IP-adress för metaarkiv | Internet |
| Standardvärde | Ip-adress för Artifact Blob Storage | Internet |
| Standardvärde | Ip-adress för Loggbloblagring | Internet |
| Standardvärde | Lagrings-IP för arbetsyta – Blob Storage-slutpunkt | Internet |
| Standardvärde | Ip-adress för lagring av arbetsyta – ADLS gen2-slutpunkt (dfs) |
Internet |
| Standardvärde | Event Hubs IP | Internet |
Om Azure Private Link- är aktiverat på din arbetsyta bör dina användardefinierade vägar använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | IP-adress för metaarkiv | Internet |
| Standardvärde | Ip-adress för Artifact Blob Storage | Internet |
| Standardvärde | Ip-adress för Loggbloblagring | Internet |
| Standardvärde | Event Hubs IP | Internet |
Om du vill hämta de IP-adresser som krävs för användardefinierade vägar använder du tabellerna och instruktionerna i Azure Databricks-regioner, specifikt: