使用 Qlik 將大型主機和中型主機資料複寫至 Azure

此解決方案會使用 Qlik 的內部部署實例，即時將內部部署數據源複寫至 Azure。

Apache® 和 Apache Kafkak® 是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。

架構

下載此架構的 Visio 檔案。

工作流程

1. 主機代理程式： 內部部署系統上的主機代理程式會從 Db2、IMS 和 VSAM 資料存放區擷取變更記錄資訊，並將其傳遞至 Qlik 複寫伺服器。
2. 復寫伺服器：Qlik 複寫伺服器軟體會將變更記錄信息傳遞至 Kafka 並 Azure 事件中樞。 此範例中的 Qlik 是內部部署，但可以改為部署在 Azure 中的虛擬機上。
3. 串流擷取： Kafka 和事件中樞提供訊息代理程式來接收和儲存變更記錄資訊。
4. Kafka Connect： Kafka Connect API 可用來從 Kafka 取得數據，以更新 Azure Data Lake Storage、Azure Databricks 和 Azure Synapse Analytics 等 Azure 數據存放區。
5. Data Lake Storage： Data Lake Storage 是變更記錄數據的暫存區域。
6. Databricks： Databricks 會處理變更記錄數據，並更新 Azure 上的對應檔案。
7. Azure 數據服務： Azure 提供各種有效率的數據記憶體服務。 其中突出的是：

   • 關聯資料庫服務：

     • Azure 虛擬機器上的 SQL Server
     • Azure SQL Database
     • Azure SQL 受控執行個體
     • 適用於 PostgreSQL 的 Azure 資料庫
     • 適用於 MySQL 的 Azure 資料庫
     • Azure Cosmos DB

     選擇數據記憶體服務時，有許多需要考慮的因素：工作負載類型、跨資料庫查詢、雙階段認可需求、能夠存取檔系統、數據量、所需的輸送量、延遲等等。

   • Azure 非關係資料庫服務：NoSQL 資料庫的 Azure Cosmos DB 提供快速響應、自動延展性，以及任何規模的保證速度。

   • Azure Synapse Analytics：Synapse Analytics 是一項分析服務，可將數據整合、企業數據倉儲和巨量數據分析整合在一起。 透過它，您可以大規模使用無伺服器或專用資源來查詢數據。

   • Microsoft Fabric：Microsoft Fabric 是適用於企業的全方位分析解決方案。 它涵蓋從數據移動到數據科學、即時分析和商業智慧等所有專案。 它提供一套完整的服務，包括 Data Lake、數據工程和數據整合。

元件

此架構包含數個 Azure 雲端服務，分為四種資源類別：網路和身分識別、應用程式、記憶體和監視。 下列各節將說明每個及其角色的服務。

網路和身分識別

• Azure ExpressRoute 會透過連線提供者的私人連線，將內部部署網路延伸至Microsoft所提供的雲端服務。 透過 ExpressRoute，您可以建立與雲端服務的連線，例如Microsoft Azure 和 Office 365。
• Azure VPN 閘道 是特定類型的虛擬網路閘道，可透過公用因特網在 Azure 虛擬網路與內部部署位置之間傳送加密流量。
• Microsoft Entra ID 是可與內部部署 Active Directory 同步處理的身分識別和存取管理服務。

申請

• Azure 事件中樞 是巨量數據串流平臺和事件擷取服務，可儲存 Db2、IMS 和 VSAM 變更數據訊息。 它可以每秒接收和處理數百萬則訊息。 傳送至事件中樞的數據可以使用即時分析提供者或自定義配接器來轉換和儲存。
• Apache Kafka 是開放原始碼分散式事件串流平臺，用於高效能數據管線、串流分析、數據整合和任務關鍵性應用程式。 它可以輕鬆地與 Qlik 數據整合整合，以儲存 Db2 變更數據。
• Azure Data Lake Storage Azure Data Lake Storage 提供用來儲存已處理內部部署變更記錄數據的數據湖。
• Azure Databricks 是以 Apache Spark 為基礎的雲端式數據工程工具。 它可以處理和轉換大量數據。 您可以使用機器學習模型來探索數據。 作業可以用 R、Python、Java、Scala 和 Spark SQL 撰寫。

儲存體

• Azure 儲存體是一套適用於資料、應用程式和工作負載的大規模擴展且安全性高的雲端服務。 該服務包括 Azure Files、Azure 表儲存體和 Azure 佇列儲存體。 Azure 檔案儲存體 通常是移轉大型主機工作負載的有效工具。
• Azure Cosmos DB 是完全受控的 NoSQL 資料庫服務，具有適用於 MongoDB 和 Cassandra 的開放原始碼 API。 可能的應用程式是將大型主機非表格式數據遷移至 Azure。

監視

• Azure 監視器 提供全方位的解決方案，可從雲端和內部部署環境收集、分析及處理遙測數據。 包括：
  • Application Insights，用於分析和呈現遙測。
  • 監視記錄，其會從受監視的資源收集及組織記錄和效能數據。 來自不同來源的數據，例如來自 Azure 服務的平台記錄、虛擬機代理程式的記錄和效能數據，以及來自應用程式的使用量和效能數據，可以合併成單一工作區，以便一起分析。 分析使用複雜的查詢語言，能夠快速分析數百萬筆記錄。
  • Log Analytics，可查詢監視記錄。 功能強大的查詢語言可讓您聯結來自多個數據表的數據、匯總大量數據集，以及使用最少的程式代碼執行複雜的作業。

替代項目

• 此圖顯示安裝在內部部署的 Qlik，這是建議的最佳做法，可讓其與內部部署數據源保持接近。 替代方法是在 Azure 虛擬機上安裝雲端中的 Qlik。
• Qlik 資料整合 可以直接傳遞至 Databricks，而不需要通過 Kafka 或事件中樞。
• Qlik 數據整合無法直接復寫至 Azure Cosmos DB，但您可以使用事件來源架構，將 Azure Cosmos DB 與事件中樞整合。

案例詳細資料

許多組織都使用大型主機和中層系統來執行要求高需求且重要的工作負載。 大部分的應用程式都會使用一或多個資料庫，而且大部分的資料庫都是由許多應用程式共用，通常是在多個系統上。 在這類環境中，現代化至雲端表示必須將內部部署數據提供給雲端式應用程式。 因此，數據復寫會成為重要的現代化策略。

Qlik 資料整合 平臺包含 Qlik 複寫，其會執行數據複寫。 它會使用異動數據擷取 （CDC） 將內部部署資料存放區即時復寫至 Azure。 變更數據可能來自 Db2、IMS 和 VSAM 變更記錄。 此復寫技術可消除不方便批次大量載入。 此解決方案會使用 Qlik 的內部部署實例，即時將內部部署數據源複寫至 Azure。

潛在使用案例

此解決方案可能適用於：

• 需要將數據變更從大型主機或中型系統複寫至 Azure 資料庫的混合式環境。
• 在線資料庫從 Db2 移轉至 Azure SQL 資料庫，停機時間很少。
• 從各種內部部署數據存放區到 Azure 的數據復寫，以進行匯總和分析。

考量

這些考量能實作 Azure Well-Architected Framework 的支柱，其為一組指導原則，可以用來改善工作負載的品質。 如需更多資訊，請參閱 Microsoft Azure 結構完善的架構。

可靠性

可靠性可確保您的應用程式符合您對客戶的承諾。 如需詳細資訊，請參閱 可靠性的設計檢閱檢查清單。

• 您可以在高可用性叢集中設定 Qlik 資料整合。
• Azure 資料庫服務支援區域備援，而且可設計成在中斷或維護期間故障轉移至次要節點。

安全性

安全性可提供保證，以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊，請參閱 安全性的設計檢閱檢查清單。

• ExpressRoute 會從內部部署提供私人且有效率的 Azure 連線，但您可以改用 站對站 VPN。
• 您可以使用 Microsoft Entra ID 來驗證 Azure 資源。 許可權可以透過角色型訪問控制來管理。
• Azure 支援 各種安全性選項中的資料庫服務，例如：
  • 待用數據加密。
  • 動態數據遮罩。
  • 永遠加密的資料庫。
• 如需有關設計安全解決方案的一般指引，請參閱 Azure 安全性文件。

成本優化

成本優化是考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱 成本優化的設計檢閱檢查清單。

使用 Azure 定價計算機來預估實作的成本。

卓越營運

卓越營運涵蓋部署應用程式的作業程式，並讓它在生產環境中執行。 如需詳細資訊，請參閱 Operational Excellence的設計檢閱檢查清單。

• 您可以結合監視器的 Application Insights 和 Log Analytics 功能來監視 Azure 資源的健康情況。 您可以設定警示，以便主動管理。
• 如需 Azure 中復原的指引，請參閱 設計可靠的 Azure 應用程式。

效能效率

效能效率是工作負載調整的能力，以符合使用者以有效率的方式滿足其需求。 如需詳細資訊，請參閱 效能效率的設計檢閱檢查清單。

Databricks、Data Lake Storage 和其他 Azure 資料庫具有自動調整功能。 如需詳細資訊，請參閱 自動調整。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主要作者：

• Nithish Aruldoss | 工程架構師
• Ashish Khandelwal |首席工程架構管理員

若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。

下一步

• Qlik 資料整合 平臺
• 釋放新的 Azure 分析計劃 （PDF 資料工作表）
• 什麼是 Azure ExpressRoute？
• 什麼是 VPN 閘道？
• 什麼是 Microsoft Entra 識別碼？
• Azure 事件中樞 — 巨量數據串流平臺和事件擷取服務
• Azure Data Lake Storage Gen2 簡介
• 核心 Azure 儲存體 服務簡介
• 什麼是 Azure SQL 資料庫
• 歡迎使用 Azure Cosmos DB
• Azure 監視器概觀
• 什麼是 Application Insights？
• Azure 監視器記錄概觀 (機器翻譯)
• Azure 監視器中的記錄查詢
• 與我們連絡 （選取以建立電子郵件）

相關資源

• 將大型主機和中型主機資料現代化
• 在 Azure 上重新設計大型主機批次應用程式
• 在 Azure 中複寫和同步化大型主機資料
• 大型主機存取 Azure 資料庫
• Azure 上的大型主機檔案複寫和同步