Azure Databricks 的使用者定義路由設定
如果您的 Azure Databricks 工作區 已部署至您自己的虛擬網路 (VNet),您可以使用自定義路由,也稱為 使用者定義的路由 (UDR),以確保您的工作區已正確路由網路流量。 例如,如果您 將虛擬網路連線到內部部署網路,流量可能會透過內部部署網路路由傳送,且無法連線到 Azure Databricks 控制平面。 使用者定義的路由可解決此問題。
您需要 VNet 中每種輸出連線類型的 UDR。 您可以使用 Azure 服務標籤和 IP 位址,在使用者定義的路由上定義網路存取控制。 Databricks 建議使用 Azure 服務標籤,以避免因為 IP 變更而導致服務中斷。
使用 Azure 服務標籤設定使用者定義的路由
Databricks 建議您使用 Azure 服務標籤,其代表來自指定 Azure 服務的 IP 位址前綴群組。 Microsoft 會管理服務標籤包含的位址前置詞,並隨著位址變更自動更新服務標籤。 這有助於防止服務中斷,因為IP變更,並移除定期查閱這些IP並更新路由表中的需求。 不過,如果您的組織原則不允許服務標籤,您可以選擇性地 將路由指定為IP位址。
使用服務卷標時,使用者定義的路由應該使用下列規則,並將路由表與虛擬網路的公用和私人子網產生關聯。
來源 | 位址首碼 | 下一個躍點類型 |
---|---|---|
預設 | Azure Databricks 服務標籤 | 網際網路 |
預設 | Azure SQL 服務標籤 | 網際網路 |
預設 | Azure 儲存體 服務標籤 | 網際網路 |
預設 | Azure 事件中樞 服務標籤 | 網際網路 |
注意
您可以選擇新增 Microsoft Entra ID 服務標籤,以協助將來自 Azure Databricks 叢集的 Entra 標識符驗證Microsoft至 Azure 資源。
如果您的 工作區已啟用 Azure Private Link ,則不需要 Azure Databricks 服務標籤。
Azure Databricks 服務標籤代表 Azure Databricks 控制平面、安全叢集連線性 (SCC) 和 Azure Databricks Web 應用程式所需輸出連線的 IP 位址。
Azure SQL 服務標籤代表 Azure Databricks 中繼存放區所需輸出連線的 IP 位址,而 Azure 儲存體 服務卷標代表成品 Blob 記憶體和記錄 Blob 記憶體的 IP 位址。 Azure 事件中樞 服務標籤代表記錄至 Azure 事件中樞所需的輸出連線。
某些服務標籤藉由將IP範圍限制為指定的區域,以允許更細微的控制。 例如,美國西部區域中 Azure Databricks 工作區的路由表可能如下所示:
名稱 | 位址首碼 | 下一個躍點類型 |
---|---|---|
adb-servicetag | AzureDatabricks | 網際網路 |
adb-metastore | Sql.WestUS | 網際網路 |
adb-storage | Storage.WestUS | 網際網路 |
adb-eventhub | EventHub.WestUS | 網際網路 |
若要取得使用者定義的路由所需的服務標籤,請參閱 虛擬網路服務標籤。
使用IP位址設定使用者定義的路由
Databricks 建議您使用 Azure 服務標籤,但如果您的組織原則不允許服務標籤,您可以使用 IP 位址來定義使用者定義路由的網路存取控制。
詳細資料會根據工作區是否 啟用安全叢集連線能力(SCC) 而有所不同:
- 如果已啟用工作區的安全叢集連線,您需要 UDR,才能讓叢集連線到控制平面中的安全叢集連線轉寄。 請務必包含標示為 區域 SCC 轉送 IP 的系統。
- 如果工作區已停用安全的叢集連線,則會有來自控制平面 NAT 的輸入連線,但從技術上而言,與該連線的低階 TCP SYN-ACK 是需要 UDR 的輸出數據。 請務必包含標示為 區域控制平面 NAT IP 的系統。
用戶定義的路由應該使用下列規則,並將路由表與虛擬網路的公用和私人子網產生關聯。
來源 | 位址首碼 | 下一個躍點類型 |
---|---|---|
預設 | 控制平面 NAT IP(如果停用 SCC) | 網際網路 |
預設 | SCC 轉送 IP(如果已啟用 SCC) | 網際網路 |
預設 | Webapp IP | 網際網路 |
預設 | 中繼存放區IP | 網際網路 |
預設 | 成品 Blob 記憶體 IP | 網際網路 |
預設 | 記錄 Blob 記憶體 IP | 網際網路 |
預設 | 工作區記憶體 IP - Blob 記憶體端點 | 網際網路 |
預設 | 工作區記憶體 IP - ADLS gen2 (dfs ) 端點 |
網際網路 |
預設 | 事件中樞IP | 網際網路 |
如果您的 工作區上已啟用 Azure Private Link ,您的使用者定義路由應該使用下列規則,並將路由表與虛擬網路的公用和私人子網產生關聯。
來源 | 位址首碼 | 下一個躍點類型 |
---|---|---|
預設 | 中繼存放區IP | 網際網路 |
預設 | 成品 Blob 記憶體 IP | 網際網路 |
預設 | 記錄 Blob 記憶體 IP | 網際網路 |
預設 | 事件中樞IP | 網際網路 |
若要取得使用者定義的路由所需的IP位址,請使用 Azure Databricks 區域中的數據表和指示,特別是: