共用方式為

在 Azure Synapse Microsoft執行同盟查詢

  • 發行項

本文說明如何設定 Lakehouse 同盟，以在 Azure Databricks 未管理的 Azure Synapse （SQL 數據倉儲） 數據上執行同盟查詢。 若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse Federation 連線到 Azure Synapse （SQL 數據倉儲） 資料庫，您必須在 Azure Databricks Unity 目錄中繼存放區中建立下列專案：

  • Azure Synapse （SQL 數據倉儲） 資料庫的連線。
  • 鏡像 Unity 目錄中的 Azure Synapse （SQL 數據倉儲） 資料庫的外部目錄，讓您可以使用 Unity 目錄查詢語法和數據控管工具來管理 Azure Databricks 使用者對資料庫的存取權。

開始之前

工作區需求：

  • 已為 Unity 目錄啟用工作區。

計算需求：

  • 從 Databricks Runtime 叢集或 SQL 倉儲到目標資料庫系統的網路連線。 請參閱 Lakehouse 同盟的網路建議。
  • Azure Databricks 叢集必須使用 Databricks Runtime 13.3 LTS 或更新版本，並共用或單一使用者存取模式。
  • SQL 倉儲必須是 Pro 或無伺服器，且必須使用 2023.40 或更新版本。

所需的權限：

  • 若要建立連線，您必須是中繼存放區管理員，或具有附加至工作區之 Unity 目錄中繼存放區上 CREATE CONNECTION 權限的使用者。
  • 若要建立外部目錄，您必須擁有中繼存放區的 CREATE CATALOG 權限，而且必須是連線的擁有者，或擁有連線的 CREATE FOREIGN CATALOG 權限。

後續每個基於工作的章節中會指定其他權限需求。

建立連線

連線指定存取外部資料庫系統之路徑和認證。 若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE CONNECTION SQL 命令。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。 請參閱 POST /api/2.1/unity-catalog/connections 和 Unity 目錄命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

目錄總管

  1. 在 Azure Databricks 工作區中，按一下 目錄圖示 [目錄]。

  2. 在 [目錄] 窗格頂端，按下 新增或加號圖示 [新增] 圖示，然後從功能表中選取 [新增連線]。

    或者，從 [快速存取] 頁面，按下 [外部資料 >] 按鈕，移至 [連線] 索引標籤，然後按下 [建立連線]。

  3. 輸入使用者易記的 [連線名稱]。

  4. 選取 SQLDW 的 [連線類型]。

  5. 輸入 Azure Synapse 實例的下列連線屬性。

    • 主機：例如 sqldws-demo.database.windows.net。
    • 埠：例如 1433
    • trustServerCertificate：預設為 false。 當設定為 true時，傳輸層會使用SSL來加密通道，並略過憑證鏈結來驗證信任。 除非您有特定需要略過信任驗證，否則請將此設定保留為預設值。
    • 使用者
    • 密碼

  6. （選擇性）按兩下 [ 測試連線 ] 以確認其運作正常。

  7. (選擇性) 新增註解。

  8. 按一下 [建立]。

SQL

在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建議您針對認證等敏感性值使用 Azure Databricks 祕密，而不是純文字字串。 例如：

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外部目錄

外部目錄會鏡像外部資料系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity Catalog 來查詢和管理該資料庫中資料的存取權。 若要建立外部目錄，可以使用已定義的資料來源的連線。

若要建立外部目錄，可以在 Azure Databricks 筆記本或 SQL 查詢編輯器中使用目錄總管或 CREATE FOREIGN CATALOG SQL 命令。

注意

也可以使用 Databricks REST API 或 Databricks CLI 來建立目錄。 請參閱 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

目錄總管

  1. 在您的 Azure Databricks 工作區中，按下 目錄圖示 [目錄] 以開啟目錄總管。

  2. 在 [目錄] 窗格頂端，按下 新增或加號圖示 [新增] 圖示，然後從功能表中選取 [新增目錄]。

    或者，從 [快速存取] 頁面按下 [目錄] 按鈕，然後按下 [建立目錄] 按鈕。

  3. 遵循在建立目錄中建立外部目錄的指示。

SQL

在筆記本或 SQL 查詢編輯器中，執行下列 SQL 命令。 括弧中的項目是選擇性的。 取代預留位置值：

  • <catalog-name>：Azure Databricks 中目錄的名稱。
  • <connection-name>：指定資料來源、路徑和存取認證的連線物件。
  • <database-name>：您想要在 Azure Databricks 中鏡像為目錄的資料庫名稱。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支援的下推

支援下列下推：

  • 篩選
  • 投影
  • 限制
  • 匯總（Average、Count、Max、Min、StddevPop、StddevSamp、Sum、VarianceSamp）
  • 函式（算術和其他其他函式，例如 Alias、Cast、SortOrder）
  • 排序

不支援下列下推：

  • 聯結
  • 視窗函式

資料類型對應

當您從 Synapse / SQL 數據倉儲讀取至 Spark 時，數據類型會對應如下：

Synapse 類型 Spark 類型
decimal、money、numeric、smallmoney DecimalType
smallint ShortType
tinyint ByteType
int IntegerType
bigint LongType
real FloatType
float DoubleType
char， nchar， ntext， nvarchar， text， uniqueidentifier， varchar， xml StringType
binary， geography， geometry， image， timestamp， udt， varbinary BinaryType
bit BooleanType
date DateType
datetime、datetime、smalldatetime、time TimestampType/TimestampNTZType*

*當您從 Synapse / SQL 數據倉儲 （SQLDW） 讀取時，SQLDW datetimes 會對應至 Spark TimestampType if preferTimestampNTZ = false （預設值）。 如果，SQLDW datetimes 會對應至 TimestampNTZType 。preferTimestampNTZ = true