在 Microsoft SQL Server 上執行同盟查詢

發行項
01/21/2025

本文說明如何設定 Lakehouse 同盟，以在 Azure Databricks 未管理的 SQL Server 數據上執行同盟查詢。若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse Federation 連線到 SQL Server 資料庫，您必須在 Azure Databricks Unity Catalog Metastore 中建立下列專案：

SQL Server 資料庫的連線。
外部目錄，鏡像 Unity 目錄中的 SQL Server 資料庫，讓您可以使用 Unity 目錄查詢語法和數據控管工具來管理 Azure Databricks 使用者對資料庫的存取權。

Lakehouse Federation 支援 SQL Server、Azure SQL 資料庫和 Azure SQL 受控執行個體。

開始之前

工作區需求：

計算需求：

從計算資源到目標資料庫系統的網路連線能力。請參閱 Lakehouse 同盟的網路建議。
Azure Databricks 計算必須使用 Databricks Runtime 13.3 LTS 或更新版本，共用或 單一使用者 存取模式。
SQL 倉儲必須是專業或無伺服器，且必須使用 2023.40 或更新版本。

所需的權限：

若要建立連線，您必須是中繼存放區系統管理員，或是具有附加至工作區之 Unity 目錄中繼存放區 CREATE CONNECTION 許可權的使用者。
若要建立外國目錄，您必須具有中繼存放區的 CREATE CATALOG 許可權，並且必須是連線的擁有者或具有該連線的 CREATE FOREIGN CATALOG 許可權。

後續每個基於工作的章節中會指定其他權限需求。

如果您打算使用 OAuth 進行驗證，請在 Azure Databricks 的 entra ID Microsoft註冊應用程式。如需詳細資訊，請參閱下一節。

（選擇性）在 Azure Databricks 的 Microsoft Entra 識別碼中註冊應用程式

如果您想要使用 OAuth 進行驗證，請先遵循此步驟，再建立 SQL Server 連線。若要改用使用者名稱和密碼進行驗證，請略過本節。

登入 Azure 入口網站。
在左側導覽中，按兩下 [Microsoft Entra ID]。
按兩下 [應用程式註冊]。
按一下 [新增註冊]。輸入新應用程式名稱，並將重新導向 URI 設定為 https://<workspace-url>/login/oauth/azure.html。
按下 [註冊]。
在 [ 基本資訊] 方塊中，複製並儲存 應用程式（用戶端）識別碼。您將使用此值來設定應用程式。
按兩下 [ 憑證與秘密]。
在 [用戶端祕密金鑰] 索引標籤中，按下 [新增用戶端祕密金鑰]。
輸入秘密和到期的描述（預設設定為180天）。
按一下新增。
複製客戶端密碼所產生的值。
按兩下 [ API 許可權]。
按兩下 [ 新增許可權]。
選取 [Azure SQL Database]，然後在 [委派許可權] 底下點擊 [user_impersonation]。
按兩下 [ 新增許可權]。

建立連線

連接會指定用來存取外部資料庫系統的路徑和認證。若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE CONNECTION SQL 命令。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。請參閱 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

目錄瀏覽器

在 Azure Databricks 工作區中，按一下目錄。
在 [目錄] 窗格頂端，單擊 [新增] 或 [加號] 圖示[新增] 圖標，然後從功能表選取 [新增連線] 。

或者，從 [快速存取] 頁面，按下 [外部數據] 按鈕，移至 [連線] 頁籤，然後點擊 [建立連線]。
在 [連線基本概念] 頁面的 [設定連線 精靈] 中，輸入一個使用者易記的 [連線名稱]。
選取 連線類型SQL Server。
選取 驗證類型OAuth 或 使用者名稱和密碼（基本身份驗證）。
(選擇性) 新增註解。
點選 [下一步]。
在 [驗證] 頁面上，輸入 SQL Server 實例的下列連線屬性。您選取之驗證方法的特定屬性前面會加上括弧中的 Auth type。
- 主機：您的 SQL 伺服器。
- （基本身份驗證）港口
- （基本身份驗證） trustServerCertificate：預設為 false。當設定為 true時，傳輸層會使用 SSL 來加密通道，並略過憑證鏈結來驗證信任。除非您有特定需要略過信任驗證，否則請將此設定保留為預設值。
- （基本身份驗證） 使用者
- （基本身份驗證）密碼
- （OAuth） 授權端點：您的 Azure Entra 授權端點格式為 https://login.microsoftonline.com/<tenant-id>/oauth2/v2.0/authorize。
- （OAuth） 您建立應用程式的用戶端識別碼 。
- （OAuth） 您建立之客戶端密碼中的客戶端密碼 。
- （OAuth） OAuth 範圍：輸入下列值，不修改：https://database.windows.net/.default offline_access。
- （OAuth）按一下 [使用 Azure Entra ID登入。輸入您的 Azure 使用者名稱和密碼。重新導向至 [驗證] 頁面之後，授權碼就會填入 UI 中。
點選 「建立連線」。
（基本身份驗證）在 [連線詳細數據] 頁面上，指定下列項目：
- 信任伺服器證書：預設為取消選取。選取時，傳輸層會使用SSL來加密通道，並略過憑證鏈結來驗證信任。除非您有特定需要略過信任驗證，否則請將此設定保留為預設值。
- 應用程式意圖：連線到伺服器時的應用程式工作負載類型。
點選 [下一步]。
在 目錄基本概念 頁面上，輸入外部目錄的名稱。外部目錄會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。
（選擇性）按兩下 [ 測試連線 ] 以確認其運作正常。
點選 「建立目錄」。
在 [Access] 頁面上，選取使用者可以存取您所建立目錄的工作區。您可以選取 [所有工作區都能存取]，或按一下 [指派給工作區]，選取工作區，然後按一下 [指派]。
變更 擁有者，使其能夠管理目錄中所有物件的訪問權限。開始在文字框中輸入名稱，然後點擊返回結果中的項目。
在目錄上授與權限。點擊授與:
1. 指定主體誰可以存取目錄中的物件。開始在文字框中輸入名稱，然後點擊返回結果中的項目。
2. 選取 權限預設，以授予每個主體。根據預設，所有帳戶用戶都會被授與 BROWSE。
  - 從下拉功能表中選取 [數據讀取器]，以授與目錄中物件 read 許可權。
  - 從下拉功能表中選取 [數據編輯器]，以授與目錄中物件的 read 和 modify 許可權。
  - 手動選取要授與的許可權。
3. 按兩下 [授與]。
點選 [下一步]。
在 [元數據 頁面上，指定標記索引鍵/值組。如需詳細資訊，請參閱將標籤套用至 Unity Catalog 的安全性實體物件。
(選擇性) 新增註解。
點擊儲存。

注意

（OAuth）Azure Entra ID OAuth 端點必須可從 Azure Databricks 控制平面 IP 存取。請參閱 Azure Databricks 區域。

SQL

在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建議您使用 Azure Databricks 秘鑰，而非使用純文本字串來保存例如憑證等敏感性值。例如：

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外國目錄

注意

如果您使用使用者介面來建立資料來源的連線，則會包含外來目錄的建立，您可以略過此步驟。

外部目錄會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。若要建立外部目錄，您可以使用已定義的數據源連線。

若要建立外部目錄，您可以在 Azure Databricks 筆記本或 SQL 查詢編輯器中使用目錄總管或 CREATE FOREIGN CATALOG SQL 命令。

您也可以使用 Databricks REST API 或 Databricks CLI 來建立目錄。請參閱：POST /api/2.1/unity-catalog/catalogs，以及 Unity Catalog 指令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

目錄瀏覽器

在 Azure Databricks 工作區中，按兩下目錄，以開啟 [目錄總管]。
在 [目錄] 窗格頂端，單擊 [新增] 或 [加號] 圖示[新增] 圖示，然後從功能表中選取 [新增目錄] 。

或者，從 [快速存取] 頁面，按一下 [目錄] 按鈕，然後按一下 [建立目錄] 按鈕。
請遵循在建立目錄中建立外國目錄的指示。

SQL

在筆記本或 SQL 查詢編輯器中，執行下列 SQL 命令。括弧中的項目是選擇性的。替換占位符號：

<catalog-name>：Azure Databricks 中目錄的名稱。
<connection-name>：指定數據源、路徑和存取認證的連接物件。
<database-name>：您想要在 Azure Databricks 中作為目錄鏡像的資料庫名稱。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支援的下推

所有計算都支援下列下推：

篩選
投影
限制
函式：部分，僅適用於篩選條件運算式。 (字串函式、數學函式、資料、時間和時間戳函式，以及其他其他函式，例如 Alias、Cast、SortOrder)

Databricks Runtime 13.3 LTS 和更新版本以及 SQL 倉儲計算支援下列下推：

彙總
下列布爾運算符：=、、<<=、>、>=、<=>
下列數學函數（如果 ANSI 已停用，則不支援）：+、-、*、% /
下列其他運算符： ^， |， ~
排序，當與限制數量搭配使用時

不支援下列下推：

聯結
視窗函式

資料類型對應

當您從 SQL Server 讀取至 Spark 時，資料類型會對應如下：

SQL Server 類型	Spark 類型
bigint （unsigned）， decimal， money， numeric， smallmoney	DecimalType
smallint、tinyint	ShortType
int	IntegerType
bigint （如果簽署）	LongType
real	FloatType
float	DoubleType
char、nchar、uniqueidentifier	CharType
nvarchar、varchar	VarcharType
text、 xml	StringType
binary， geography， geometry， image， timestamp， udt， varbinary	BinaryType
bit	BooleanType
date	DateType
datetime、datetime、smalldatetime、time	TimestampType/TimestampNTZType

*當您從 SQL Server 讀取時，SQL Server datetimes 會在 [預設值] 對應TimestampType至 SparkpreferTimestampNTZ = false。如果 datetimes，SQL Server TimestampNTZType 會對應至 preferTimestampNTZ = true 。

共用方式為

在 Microsoft SQL Server 上執行同盟查詢

開始之前

（選擇性）在 Azure Databricks 的 Microsoft Entra 識別碼中註冊應用程式

建立連線

目錄瀏覽器

SQL

建立外國目錄

目錄瀏覽器

SQL

支援的下推

資料類型對應

意見反應

其他資源