共用方式為


雲端規模分析簡介

雲端規模分析建置在 Azure 登陸區域上,以簡化部署和治理。 Azure 登陸區域的主要目的是確保當您在 Azure 上部署應用程式或工作負載時,必要的基礎結構已就緒。 部署雲端規模分析登陸區域之前,您需要先完成適用於 Azure 的 雲端採用架構,以部署具有平臺登陸區域的 Azure 登陸區域架構

針對主權工作負載,Microsoft提供 主權登陸區域 (SLZ),這是企業級 Azure 登陸區域的變體。 SLZ 適用於需要進階主權控制的組織。 您可以針對此 Azure 登陸區域變體部署雲端規模分析。

雲端規模分析牽涉到部署至應用程式登陸區域。 這些區域通常位於登陸區域管理群組之下。 政策會影響到Microsoft提供的範例範本。

您可以將這些範例範本用於您的資料湖倉和數據網格 部署。

雲端規模分析評估

企業通常會在開始定義特定使用案例或專案的技術詳細數據,或端對端雲端規模分析之前,先尋求清楚或規範的指引。 當企業制定其整體數據策略時,確保將目前使用範圍內的所有必要和策略原則納入考慮,可能會很困難。

為了加快實施此端到端的洞察的速度,同時考慮到這些挑戰,Microsoft 已針對雲端級分析開發了指導性方案。 它符合 開發雲端規模分析計劃中討論的主要主題。

雲端規模分析建置在雲端採用架構上,並套用 Azure Well-Architected 架構的原則。 雲端採用架構提供雲端作業模型、參考架構和平台範本的規範指引和最佳做法。 本指南以來自我們一些最具挑戰性、複雜且複雜的環境的實際體驗為基礎。

雲端規模分析可協助您準備建置和運作登陸區域,以裝載和執行分析工作負載。 您會在增強的安全性、治理和合規性的基礎上建置登陸區域。 登陸區域可調整且模組化,但支援自主和創新。

數據架構的歷程記錄

在 20 世紀 80 年代末,引進了數據倉儲第 1 代。 此模型會結合來自整個企業的不同數據源。 在 2000 年代末,第 2 代出現了,引進了 Hadoop 和數據湖等巨量數據生態系統。 2010年代中期引進了雲端數據平臺:串流數據擷取,例如 Kappa 或 Lambda 架構。 在 2020 年代初,引進了 Data Lakehouse、數據網格、數據網狀架構,以及以數據為中心的作業模式。

儘管有這些進展,許多組織仍然使用集中式整合型平臺:第 1 代。 此系統運作良好,最多一點。 不過,由於相互依賴的程式、緊密結合的元件和超特定小組,可能會發生瓶頸。 擷取、轉換和載入 (ETL) 作業可能會變得突出且降低傳遞時間軸。

數據倉儲和數據湖仍然很有價值,在整體架構中扮演重要角色。 下列文件強調當您使用這些傳統做法進行調整時可能發生的一些挑戰。 這些挑戰特別與複雜的組織相關,其中數據源、需求、小組和輸出會變更。

移至雲端規模分析

您目前的分析數據架構和作業模型可以包含數據倉儲、數據湖和數據湖屋結構、數據織體或數據網格。

每個數據模型都有自己的優點和挑戰。 雲端規模分析可協助您將目前的方法轉移至數據管理,以便隨著基礎結構而演進。

您可以支援任何數據平臺和案例,以建立端對端雲端規模分析架構,做為基礎並允許調整。

新式數據平臺和所需的結果

第一個步驟是藉由反覆建置可調整且敏捷的新式數據平臺,來啟用您的數據策略,以迎接您的挑戰。

在不必因為處理服務票證和滿足競爭的商業需求而不知所措的情況下,當您實作新式數據平台時,您可以扮演更諮詢的角色,因為這樣可釋放您的時間專注於更有價值的工作。 您可以使用平臺和系統來提供企業營運,以自助數據和分析需求。

以下是初始焦點的建議區域:

  • 改善數據品質、促進信任,並取得深入解析,以做出數據驅動的商務決策。
  • 在整個組織中大規模實作整體數據、管理和分析。
  • 建立健全的數據控管,以啟用企業營運的自助和彈性。
  • 在完全整合的環境中維護安全性和法律合規性。
  • 使用妥善架構、可重複、模組化模式的現用解決方案,快速建立進階分析功能的基礎。

治理您的分析資產

第二個考慮是決定貴組織如何實作數據控管。

資料治理是確保您在商務作業、報表和分析中使用的資料可被發現、準確、受信任以及能受到保護的過程。

對於許多公司來說,預期數據和 AI 將提升競爭優勢。 因此,主管們渴望贊助 AI 專案,以達成成為數據驅動的目標。 不過,若要讓 AI 有效,它必須使用受信任的數據。 否則,決策的準確性可能會受到影響,決策可能會延遲,或動作可能會遺漏,這可能會影響結果。 公司不希望其數據的品質不佳。 在您檢閱數字轉型對數據的影響之前,修正數據品質可能很簡單。

數據分散在混合式多重雲端和分散式數據環境的組織難以找出其數據所在位置,並加以控管。 未處理的數據可能會對企業產生相當大的影響。 數據品質不佳會影響商務作業,因為數據錯誤會導致程式錯誤和延遲。 數據品質不佳也會影響商務決策,以及保持合規的能力。 確保數據來源的品質通常是優先考量,因為在分析系統中修正品質問題比在資料擷取階段早期套用數據品質規則更為複雜且成本更高。 若要協助您追蹤及控管數據活動,數據控管必須包含:

  • 數據探索。
  • 數據品質。
  • 政策制定。
  • 數據共用。
  • 元數據。

保護您的分析資產

數據控管的另一個主要驅動因素是數據保護。 數據保護可協助您確保符合法規法規,並可防止數據外洩。 數據隱私權和越來越多的數據外泄使得數據保護成為首要任務。 數據外洩突顯出敏感數據的風險,例如可識別的個人客戶數據。 數據隱私權違規或數據安全性缺口的後果可能包括:

  • 品牌形象嚴重受損。
  • 失去客戶信心和市場份額。
  • 股價的降低,這會影響項目關係人對投資和高管工資的回報。
  • 因稽核或合規性失敗而造成重大財務處罰。
  • 法律訴訟。
  • 漏洞的次要影響,例如,客戶可能會成為身份盜用的受害者。

在大多數情況下,公開報價的公司必須宣告違規行為。 如果發生違規事件,客戶可能會責怪公司,而不是駭客。 客戶可能會抵制公司幾個月,或可能永遠不會回來。

不符合有關數據隱私權的法規立法可能會導致重大財務處罰。 控管您的數據可協助您避免這些風險。

作業模型和優點

採用新式數據策略平臺不只是變更貴組織所使用的技術。 它也會變更組織的運作方式。

雲端規模分析提供指引,可協助您組織和訓練員工,包括:

  • 角色、角色和責任定義。
  • 敏捷式、垂直和跨網域小組的建議結構。
  • 透過 Microsoft Learn 訓練資源,包括 Azure 數據和 AI 認證。

在現代化過程中持續與終端用戶參與互動也很重要,當您繼續發展您的平臺並導入新的使用案例時。

架構

Azure 登陸區域代表環境的策略設計路徑和目標技術狀態。 其可讓部署和控管更容易,以便改善靈活度和合規性。 它們還能確保在將新的應用程式或工作負載添加到您的環境時,適當的基礎設施已經準備就緒。 Azure 資料管理和資料登陸區域,整合了 Microsoft 軟體即服務(SaaS)治理和分析解決方案,是根據這些基本原則設計的,且結合雲端規模分析的其他元素時,可以幫助實現:

  • 自助服務。
  • 延展性。
  • 快速開始。
  • 安全。
  • 隱私。
  • 優化作業。

數據管理登陸區域

數據管理登陸區域為整個組織平臺的集中式數據控管和管理提供了基礎。 它也有助於與整個數位環境的數據進行通訊,匯入多重雲端和混合式基礎結構的數據。

數據管理登陸區域支援許多其他數據管理和控管功能,例如:

  • 數據目錄。
  • 數據品質管理。
  • 數據分類。
  • 數據譜系。
  • 數據模型存放庫。
  • API 目錄。
  • 數據共享和合約。

提示

如果您使用資料目錄、資料品質管理或數據譜系功能的合作夥伴解決方案,它們應該位於資料管理登陸區域中。 或者,您可以將 Microsoft Purview 部署為 SaaS 解決方案,同時連線到數據管理登陸區域和數據登陸區域。

資料登陸區域

數據著陸區讓數據更接近使用者,並支援自助服務,同時透過與數據管理著陸點的連線來維護一致的管理和治理。

除了數據產品和視覺化等自定義項目之外,它們還提供標準服務,例如網絡、監控和數據擷取和處理。

數據登陸區域是啟用平臺延展性的關鍵。 視組織的大小和需求而定,您可以從一或多個登陸區域開始。

當您決定單一和多個登陸區域時,請考慮區域相依性和數據落地需求。 例如,是否有需要數據留在特定位置的當地法律或法規?

無論您的初始決策為何,您都可以視需要新增或移除資料登陸區域。 如果您從單一登陸區域開始,建議您規劃延伸至多個登陸區域,以避免未來需要移轉。

注意

部署Microsoft Fabric 的位置,數據登陸區域會裝載非 SaaS 解決方案,例如 Data Lake 和其他 Azure 數據服務。

如需登陸區域的詳細資訊,請參閱 適用於雲端規模分析的 Azure 登陸區域。

結論

閱讀本檔集之後,特別是治理、安全性、作業和最佳做法小節,建議您使用部署範本來設定概念證明環境。 這些範本,以及架構指引,可讓您實際操作一些 Azure 和Microsoft SaaS 技術。 如需詳細資訊,請參閱 用戶入門檢查清單

下一步