在 PostgreSQL 上執行同盟查詢

發行項
01/13/2025

本文說明如何 set Up Lakehouse Federation，在未由 Azure Databricks 管理的 PostgreSQL 數據上執行同盟查詢。若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse Federation 連線到 PostgreSQL 資料庫並執行查詢，您必須在 Azure Databricks Unity Catalog 中繼存放區中建立下列項目：

在 PostgreSQL 資料庫上執行查詢的連線。
外部 catalog，可鏡像在 Unity Catalog PostgreSQL 資料庫上執行查詢，讓您可以使用 Unity Catalog 查詢語法和數據控管工具來管理 Azure Databricks 使用者對資料庫的存取權。

開始之前

工作區需求：

Unity Catalog的工作區已啟用。

計算需求：

計算資源與目標資料庫系統之間的網路連線。請參閱 Lakehouse 同盟的網路建議。
Azure Databricks 計算必須使用 Databricks Runtime 13.3 LTS 或更新版本，共用或 單一使用者 存取模式。
SQL 倉儲必須是專業或無伺服器，且必須使用 2023.40 或更新版本。

所需的權限：

若要建立連線，您必須是中繼存放區系統管理員或具有附加至工作區之 Unity Catalog 中繼存放區 CREATE CONNECTION 許可權的使用者。
若要建立外部 catalog，您必須擁有中繼存放區的 CREATE CATALOG 許可權，而且必須是連線的擁有者，或擁有連線的 CREATE FOREIGN CATALOG 特權。

後續每個基於工作的章節中會指定其他權限需求。

建立連線

連接指定了存取外部資料庫系統的路徑和 credentials。若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用 Catalog Explorer 或 CREATE CONNECTION SQL 命令。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。請參閱 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

Catalog 探索者

在 Azure Databricks 工作區中，按兩下 Catalog。
在 [Catalog] 窗格頂端，按兩下 [新增] 圖示，然後 select從功能表新增連線。

或者，從 [快速存取] 頁面，按兩下 [外部數據 >] 按鈕，移至 [Connections] 索引標籤，然後按兩下 [建立連線。
在 [連線基本概念 ] 介面的 [Set 連線 精靈] 中，輸入使用者易記的 連線名稱。
PostgreSQL 連線類型。
(選擇性) 新增註解。
點選 [下一步]。
在 [驗證] 頁面上，輸入 PostgreSQL 實例的下列連線屬性。
- 主機：例如 postgres-demo.lb123.us-west-2.rds.amazonaws.com
- 埠：例如 5432
- 使用者：例如 postgres_user
- 密碼：例如 password123
點選 「建立連線」。
在 [Catalog 基本 頁面上，輸入外來 catalog的名稱。外部 catalog 會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity Catalog查詢和管理該資料庫中數據的存取權。
（選擇性）按兩下 [ 測試連線 ] 以確認其運作正常。
按一下 [建立 catalog]。
在 [Access] 頁面上，select 使用者可以存取您所建立 catalog 的工作區。您可以 select所有工作區都有存取權，或按兩下 [指派工作區]、select 工作區，然後按兩下 [指派]。
變更 擁有者 誰將能夠管理 catalog中所有物件的存取權。開始在文字框中輸入主體，然後點擊結果中返回的主體。
Grant 許可權 在 catalog上。點擊 Grant：
1. 指定可以存取 catalog中物件的主體。開始在文字框中輸入主體，然後點擊傳回結果中的該主體。
2. Select 的 權限預設grant 給每個主體。根據預設，所有帳戶用戶都會被授與 BROWSE。
  - 從下拉功能表中選擇 Select資料讀取器，以賦予 catalog中 grantread 物件的許可權。
  - 從下拉功能表中選擇 Select數據編輯器，以設置對 catalog中對象的 grantread 和 modify 許可權。
  - 手動將許可權 select 賦予 grant。
3. 按兩下 [Grant]。
點選 [下一步] 。
在 [元數據] 頁面上，指定受控標記索引鍵/值組。
(選擇性) 新增註解。
點選儲存。

SQL

在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建議您使用 Azure Databricks 秘密，而不是純文本字串，例如 credentials等敏感性 values。例如：

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外部 catalog

注意

如果您使用用戶介面（UI）來建立與數據源的連接，則包含建立外部 catalog 的過程，您可以略過此步驟。

外部 catalog 會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity Catalog查詢和管理該資料庫中數據的存取權。若要建立外部 catalog，您可以使用已定義的數據源連線。

若要建立外部 catalog，您可以在 Azure Databricks 筆記本或 SQL 查詢編輯器中使用 Catalog Explorer 或 CREATE FOREIGN CATALOG SQL 命令。

您也可以使用 Databricks REST API 或 Databricks CLI 來建立 catalog。請參閱 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

Catalog 探險者

在 Azure Databricks 工作區中，按兩下 [Catalog 以開啟 Catalog Explorer。
在 [Catalog] 窗格頂端，單擊 [新增] 圖示，然後從功能表 select[新增 catalog]。

或者，從 [快速存取] 頁面中，按一下 [Catalogs] 按鈕，然後按一下 [建立 catalog] 按鈕。
請遵循在 Create catalogs中建立外部 catalogs 的指示。

SQL

在筆記本或 SQL 查詢編輯器中，執行下列 SQL 命令。括弧中的項目是選擇性的。替換佔位符號 values:

<catalog-name>：Azure Databricks 中 catalog 的名稱。
<connection-name>：指定數據源、路徑和存取 credentials的連接物件。
<database-name>：您想要在 Azure Databricks 中鏡像為 catalog 的資料庫名稱。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支援的下推

所有計算都支援下列下推：

篩選
投影
Limit
函式：部分，僅適用於篩選條件運算式。（字串函式、數學函式和其他函式，例如 Alias、Cast、SortOrder）

Databricks Runtime 13.3 LTS 和更新版本以及 SQL 倉儲支援下列下推：

下列聚合函數：MIN、MAX、COUNT、SUM、AVG、VAR_POP、VAR_SAMP、STDDEV_POP、STDDEV_SAMP、GREATEST、LEAST、COVAR_POP、COVAR_SAMP、CORR、REGR_INTERCEPT、REGR_R2、REGR_SLOPE、REGR_SXY
下列布爾函數：=、、<<、=>、>=、<=>
下列數學函數（如果 ANSI 已停用，則不支援）：+、-、*、% /
其他運算子 |和~
使用limit進行排序時

不支援下列下推：

聯結
視窗函式

資料類型對應

當您從 PostgreSQL 讀取至 Spark 時，數據類型會對應如下：

PostgreSQL 類型	Spark 類型
numeric	DecimalType
int2	ShortType
int4 （如果未簽署）	IntegerType
int8， oid， xid， int4 （如果已簽署）	LongType
float4	FloatType
雙精確度，float8	DoubleType
char	CharType
name， varchar， tid	VarcharType
bpchar， character varying， json， money， point， super， text	StringType
bytea、geometry、varbyte	BinaryType
bit、bool	BooleanType
date	DateType
tabstime， time， time with time zone， timetz， time without time zone， timestamp with time zone， timestamptz， timestamp without time zone*	TimestampType/TimestampNTZType
Postgresql 陣列類型**	ArrayType

*當您從 Postgresql 讀取時，Postgresql Timestamp 會對應至 Spark TimestampType if preferTimestampNTZ = false （預設值）。如果，Postgresql Timestamp 會對應至 TimestampNTZType 。preferTimestampNTZ = true

**支援有限的陣列類型。

共用方式為