適用於 SQL 的 Azure Synapse Link 變更摘要
適用於: SQL Server 2022 (16.x) Azure SQL Database Azure Synapse Analytics
本文包含適用於 SQL 的 Azure Synapse Link 變更摘要運作方式的詳細資料,這是 SQL Server 2022 (16.x) 和 Azure SQL Database 的一項新功能。
SQL Server 2022 (16.x) 推出了一項新功能,可允許SQL Server 資料表與 Microsoft Azure Synapse 平台之間的連線,稱為「適用於 SQL 的 Azure Synapse Link」。 適用於 SQL 的 Azure Synapse Link 提供自動變更摘要,可擷取 SQL Server 內的變更,並將其載入至 Azure Synapse Analytics。
- 什麼是適用於 SQL 的 Azure Synapse Link?
- 如需詳細資訊,請參閱:
- 若要快速開始使用,請參閱:
此功能目前不適用 Azure SQL 受控執行個體。
注意
啟用適用於 SQL 的 Azure Synapse Link 會在您的來源資料庫的 changefeed
結構描述內建立一個 changefeed
資料庫使用者、一個 changefeed
結構描述以及數個資料表。 請勿改變這些物件中的任何一個 - 這些物件是系統管理的。
登陸區域
如需適用於 SQL Server 的 Azure Synapse Link 登陸區域的詳細資訊,請參閱適用於 SQL Server 的 Azure Synapse Link 登陸區域。
雖然適用於 SQL Server 的 Azure Synapse Link 牽涉到使用者佈建的 Azure 資源,包括 Azure Data Lake Storage (ADLS) Gen2 儲存體帳戶,但適用於 Azure SQL Database 的 Azure Synapse Link 完全受控,包括登陸區域的佈建,並使用類似本文中所述的變更偵測程序。 如需詳細資訊,請參閱適用於 Azure SQL Database 的 Azure Synapse Link。
對於 SQL Server,Azure 儲存體位置是由客戶管理且可見,但不建議或支援取用或修改登陸區域中的檔案。
變更摘要功能
SQL Server 的系統管理員可以在空白資料表或已包含資料的資料表上啟用 Azure Synapse Link。 來源資料表必須有主索引鍵。
如果在已包含資料的資料表上,Azure Synapse Link 會以來源資料表的初始完整快照集植入登陸區域。 將包含資料的現有 SQL Server 資料表新增至 Azure Synapse Link 時,會產生初始資料集的完整快照集。 初始快照集檔案是 .parquet 格式檔案,會傳輸至 ADLS Gen2 中的登陸區域。
Azure Synapse Link 支援將來源資料表變更低延遲推送至 Azure 儲存體中的登陸區域。 變更摘要會使用 CSV 檔案將這些變更發佈至 Azure Synapse。 此表格式格式會自然地配合以高步調 (大約數秒) 寫入資料列精細度的資料變更。 大部分的 CSV 檔案應該相對較小。
變更擷取
擷取 Azure Synapse Link 的變更類似於現有的變更資料擷取 (CDC) 技術。 變更資料的來源是 SQL Server 交易記錄。 變更摘要會讀取記錄檔,並將變更的相關資訊新增至登陸區域。
CDC 的運作方式是收集交易記錄,以擷取在一個或多個來源資料表上執行的所有修改。
- 在 CDC 中,變更資料會在內部填入資料庫中的同層級資料表。
- 在 Azure Synapse Link 中,資料會直接從資料庫交易記錄讀取、快取在記憶體中,最後寫入 Azure 儲存體中的登陸區域。
如果發生儲存體中斷,可能會導致登陸區域變得無法使用,而這會封鎖發行至該登陸區域。 與 SQL Server CDC 記錄讀取器代理程式失敗或未執行的行為類似,您無法截斷來源資料庫交易記錄。 如果長時間的儲存體中斷或儲存體組態變更導致其無法供存取,請透過 Synapse Studio 停止 Azure Synapse Link。
高可用性支援
適用於 SQL Server 的 Azure Synapse Link 與Always On 可用性群組和容錯移轉叢集執行個體 (FCI) 相容。
如果初始快照集進行中,且因任何原因而中斷,則初始快照集匯出程序會重新開始。 如果 FCI 或同步可用性群組中的 SQL Server 容錯移轉,就會發生這種情況。
Fabric 鏡像資料庫
Fabric 鏡像資料庫功能使用與 Azure Synapse Link 類似的變更摘要技術,並共用某些系統物件。 如需詳細資訊,請參閱