將雲端規模分析整合到您的雲端採用策略
使用 Azure 雲端採用架構中的
本文包含影響更廣泛策略之雲端規模分析案例的考慮。
實作雲端規模分析之前,請先規劃數據策略。 您可以從單一使用案例開始著手,或者可以有一組較大的使用案例需要優先順序。 擁有策略可協助您建立流程,並啟動關於您需要專注於之支柱的最初對話。
為數據策略排定業務成果的優先順序
擁有成功的數據策略可讓您發揮競爭優勢。 您應該一律將數據策略與所需的商務成果保持一致。 大部分的業務成果都可以分類為下列四個類別之一:
賦予員工權力: 為您的員工提供客戶、裝置和機器的實時知識。 此知識可協助他們有效率地共同作業,以靈活度滿足客戶或商務需求。
與客戶互動: 提供受到品牌啟發的豐富、個人化和聯機體驗。 善用數據和洞察的力量,推動顧客在每個顧客旅程階段中提升忠誠度。
優化作業: 提升整個組織的資訊流動。 同步處理您的商務程式,並使用數據驅動方法來讓每個互動變得有價值。
轉換您的產品和開發生命週期: 收集服務和供應專案的遙測數據。 使用遙測數據來排定發行的優先順序或建立新功能,並持續評估有效性和採用。
將業務成果放在優先順序之後,請檢查您目前的專案和長期策略性計劃,並據此加以分類。 請考慮將四種業務成果類別結合成一個基於複雜度和影響的矩陣格式。 此外,請考慮新增架構要素,以協助您深入瞭解您的案例。
釋放策略價值
建置數據驅動文化,以一致、前瞻性、敏捷且明智的方式推動業務向前發展,具有一些固有的複雜性和基礎現實。 在您進入部署階段之前,請專注於形成一致的數據策略,以協助您達成所需的業務成果。
雲端規模分析與 以創新為中心的動機一致。 下列常見驅動程式會促使客戶將此案例整合到其雲端採用策略中:
- 可調整的分析架構,可讓您建置企業數據平臺
- 自助,可讓使用者進行數據探索、數據資產建立和產品開發
- 具有可重複使用數據資產、數據社群、安全第三方交換和就地共用的數據導向文化
- 使用原則、通用身分識別、機密性和加密,以信賴方式共享數據
- 改善客戶體驗和參與
- 產品或服務的轉換
- 市場因新產品或服務而顛覆
下圖包含重要主題,可協助您在自己的策略中實現這些動機。 仔細分析這些主題,以及它們如何促成一致的數據策略。 此外,請考慮其如何挖掘數據的戰略價值,並促進持續的業務增長。
「數據策略是使用數據作為資產並推動業務向前發展的基礎。 這不是解決數據問題的臨時方案。 這是一個長期的指導計劃,可定義人員、流程和技術,以解決數據挑戰。
建立您的策略是一個步驟。 在企業級執行您的策略,對貴組織現有的文化、人員、流程和技術選擇構成巨大挑戰。 付諸實行需要承諾,並在組織的各個層級都要有明確的責任歸屬。
提高效率
雲端的靈活度需要組織快速適應,並將效率提升到所有業務領域。 根據 關於 Gartner新興風險的報告,儘管組織繼續關注並投資數字計劃,但其中三分之二的組織顯示出企業弱點,未能達到預期。
將數據管理實施
許多組織已慢慢分散中央IT,以啟用靈活度。 組織想要快速創新,並以自助方式存取整個企業的統一數據,可協助他們符合具有挑戰性的商務需求。
企業無法利用其數據的完整潛力有許多原因。 這可能是因為業務部門各自為政,其中每個團隊都使用不同的工具和標準進行數據分析。 或者可能是因為無法將關鍵效能指標連結至整體商務目標。
數據大眾化可協助您將價值傳回業務,並達成具有挑戰性的業務成長目標。
- 瞭解並排定 LOB 需求優先順序。
- 將數據分散到網域,以啟用擁有權,並讓數據更接近使用者。
- 部署自助數據產品,以推動深入解析和商業價值。
對於數據控管,您必須在數據民主化的分散式世界中取得適當的平衡。 如果您過於嚴格地強制執行治理,則可以扼殺創新。 不過,如果您沒有至少一些核心原則和流程,您最終可能會有數據孤島。 這些孤立的系統可能會損害貴組織的聲譽和潛在收益。 全方位數據治理方法是您以一致且有效的方式釋放數據策略價值的基礎。
缺乏經過深思熟慮的數據策略會導致不得不立即行動,並迅速開始為組織提供價值。 藉由根據先前提及的主要主題採取行動,或將它們當做架構內的戰略原則,來解決目前的商務問題。 使用這些主要主題也可以協助您建立整體數據策略,以反覆進行驗證,但仍提供及時的結果。 商務和技術領導者必須開發從數據產生價值所需的策略和思維,並以簡化、結構化的方式快速調整規模。
如需詳細資訊,請參閱 什麼是數據控管?。
開發數據驅動文化特性
若要建置成功的數據策略,您需要數據驅動文化特性。 開發一種持續促進開放、共同參與的文化。 在此類型的文化中,您的整個員工都可以學習、溝通及改善組織的商務成果。 培養數據導向文化也會增強每位員工基於數據產生影響或影響力的能力。
您的旅程起點取決於您的組織、產業,以及您目前沿著成熟度曲線的位置。 下圖顯示範例成熟度模型,概述組織的 AI 使用方式的成熟度層級:
層級 0
數據不會以程序設計方式和一致的方式加以利用。 組織的數據焦點來自應用程式開發的觀點。
在層級 0 中,組織通常會有非計劃性分析專案。 每個應用程式都是專門化為滿足特定的資料和利害關係人的需求。 每個應用程式也有重要的程式代碼基底和工程小組,許多都經過IT外部設計。 用例啟用與分析彼此獨立。
層級 1
在層級 1 中,小組正在形成,並正在建立策略,但分析仍會進行部門化。 組織通常擅長傳統的數據擷取和分析。 對於雲端規模方法,它可能會有某種程度的承諾。 例如,它可能已經從雲端存取數據。
層級 2
組織的創新平臺幾乎已準備就緒。 工作流程已就緒以處理數據品質。 組織可以回答幾個「原因」問題。
在第二級,組織正積極搜尋一種端到端的資料策略,以利用集中管理的資料湖存放區來控制資料存放區的蔓延,並改善資料的探索能力。 組織已準備好應用智慧型應用程式,以將計算功能整合至集中管控的數據湖。 這些智慧型手機應用程式可降低隱私權風險、計算成本,以及對重要數據同盟複本的需求。
在此層級,組織也已準備好使用多租戶、集中託管、共用的資料服務來執行常見的資料計算任務。 這些共享數據服務能讓您迅速從資料科學驅動的智能服務中獲取洞見。
層級 3
組織會使用整體數據方法。 與數據相關的專案會整合在業務成果內。 組織會使用分析平台進行預測。
在第 3 級,組織會從數據資產和應用程式開發的角度釋放數位創新潛能。 基礎數據服務已就緒,包括數據湖和共用數據服務。
整個組織內的多個小組成功傳遞關鍵商務工作負載、關鍵商務使用案例,以及可衡量的結果。 新的共享數據服務會使用遙測來識別。 IT 是整個公司小組的信任顧問,使用受信任且連線的端對端數據策略來協助改善重要的商務程式。
層級 4
在層級 4 中,整個組織會使用架構、標準、企業和數據驅動文化。 可以在實際運作中觀察到來自分析或自動化方面的自動化、數據驅動的反饋迴圈和卓越中心。
開發符合業務的目標
確定符合商業願景的優先順序,並保持“大、開小做、行動快速”的意識形態是成功的關鍵。 挑選正確的使用案例不一定總是需要經過漫長而困難的審核過程。 在任何業務單位中,它可能是一個持續的問題,其中有足夠的數據來驗證其投資報酬率、更多胃口和輕鬆的購買。 情況會迅速改變,這就是大多數組織難以啟動的原因。
瞭解數據屬性
若要建立強式數據策略,您必須了解數據的運作方式。 了解數據的核心特性可協助您建置處理數據的原則做法。
數據快速移動,但其速度無法違反物理規律。 數據必須符合當地法律及其所屬產業的法律規範。
數據不會自行變更,但如果不採取措施減輕這類挑戰,就很容易發生變更和意外遺失。 采取反貪污措施,並應用於控制措施、資料庫和儲存裝置,以便應對無法預見的變更。 此外,請確定您已設定監視、稽核、警示和下游程式。
數據本身不會產生任何見解或產生任何值。 若要取得深入解析或提取價值,您必須將您大部分或所有的數據進行處理,透過四個個別步驟:
- 攝入
- 存儲
- 加工
- 分析學
這四個步驟中的每一個步驟都有自己的原則、程式、工具和技術。
扣留您的數據資產和相關見解可能會影響社會經濟、政治、研究和投資決策。 組織必須能夠以安全且負責任的方式提供深入解析。 您產生或取得的所有資料都必須經過資料分類程序,除非另有明確說明。 加密是處理待用和傳輸中機密數據的黃金標準。
數據、應用程式和服務都有自己的吸引力,但數據的吸引力最大。 與艾薩克·牛頓爵士的傳奇蘋果不同,數據並不具備像質量那樣影響周圍物體的性質。 相反地,它具有延遲和吞吐量,可加速您的分析流程。 延遲、輸送量和易於存取通常需要重複數據,儘管這不是理想的選擇。 適當地設定您的人員、程式、工具和技術,以便您將這類需求與組織的數據原則進行平衡。
架構建構會控管您可以處理數據的速度。 建構可透過軟體、硬體和網路的創新來促進。 一些架構考慮如下:
- 設定數據分配
- 分區
- 快取技術
- 批次與串流處理
- 平衡後端和客戶端處理
定義您的數據策略
使用數據作為建立更好產品和更高價值服務的競爭優勢並不是一個新的概念。 不過,雲端運算所啟用的數據量、速度和各種數據都是史無前例的。
雲端中新式數據分析平台的設計包含安全性、治理、監視、隨選調整、數據作業和自助。 了解這些面向之間的互動,是將偉大的數據策略與良好的數據策略區別開來的關鍵。 使用雲端採用架構之類的工具,以確保架構的凝聚力、完整性和最佳做法。
若要有效,您的數據策略必須包含數據控管的布建。 下圖顯示數據生命週期的主要階段,著重於數據控管作為其焦點:
下列各節說明在決定數據策略層級的設計原則時,應該使用的考慮。 專注於從您的數據傳遞業務成果和價值。
數據擷取
數據擷取的重要考慮是,您能夠以安全且符合規範的方式快速建置數據管線,從需求到生產環境。 重要元素包括元數據導向、自助和低程式碼技術,可充實您的資料湖。
建置管線時,請考慮設計以及您處理數據、分發數據和調整計算的能力。 您也必須確保擁有正確的 DevOps 支援,以便進行管線的持續整合與交付。
Azure Data Factory 之類的工具支援大量內部部署數據源、軟體即服務 (SaaS) 數據源,以及其他來自其他公用雲端的數據源。
存儲
在實體和邏輯層中標記並組織您的數據。 Data Lake 是所有新式數據分析架構的一部分。 您的組織必須套用適當的數據隱私權、安全性和合規性需求,以符合您運作的所有數據分類和產業合規性需求。 編目和自助服務促進組織層級的數據民主化,這能推動您的創新發展,同時在正確的訪問權限控制下進行。
為您的工作負載選擇正確的記憶體。 即使您第一次未能正確配置存儲,雲端仍然允許您快速應對失敗並重新開始您的旅程。 使用您的應用程式需求來選擇最佳的資料庫。 請務必考慮您在選擇分析平台時處理批次和串流數據的能力。
數據處理
您的數據處理需求會隨著每個工作負載而有所不同。 大部分的大型數據處理都包含即時和批處理的元素。 大多數企業也有時間序列處理需求的元素,而且需要處理企業搜尋功能的自由格式文字。
在線事務處理 (OLTP) 提供最受歡迎的組織處理需求。 某些工作負載需要特殊處理,例如高效能運算 (HPC),有時稱為「大型計算」。這些工作負載會使用許多CPU或 GPU 型電腦來解決複雜的數學工作。
針對特定特製化工作負載,客戶可以保護 Azure 機密運算等執行環境,協助使用者在公用雲端平臺內使用數據時保護數據。 需要此狀態才能有效率地處理。 數據會在受信任的執行環境 (TEE) 內受到保護,也稱為記憶體保護區。 TEE 可針對任何外部檢視和修改,保護程式代碼和數據。 TEE 可讓您定型 AI 模型,而不犧牲數據機密性,即使您使用不同的組織的數據源也一樣。
分析處理
擷取、轉換、載入 (ETL) 建構與在線分析處理 (OLAP) 和數據倉儲需求有關。 企業對齊的數據模型和語意模型可讓組織實作商務規則和關鍵效能指標(KPI)通常會在分析程序中實作。 其中一個實用的功能是自動架構漂移偵測。
數據策略摘要
採取有原則的方法來處理其他考量,例如數據治理和負責任的 AI,從長遠來看會帶來益處。
在Microsoft,我們遵循四個核心原則:公平性、可靠性和安全性、隱私權和安全性,以及包容性。 透明度和問責的兩個基本原則都鞏固了這四個核心原則。
我們藉由開發資源和治理系統,將原則和負責任的 AI 付諸實踐。 我們的一些指導方針涵蓋了人機互動、對話式 AI、無障礙設計、AI 公平性檢查清單,以及數據集的工作表。
我們也開發了一組工具,可協助其他人瞭解、保護和控制創新階段的 AI。 這些工具是多領域共同作業努力的結果,可加強和加速負責任的 AI。 共同作業跨越了軟體工程與開發、社會科學、使用者研究、法律和原則。
為了改善共同作業,我們開放原始碼的許多工具,例如 InterpretML 和 Fairlearn。 他人可以參與和發展這些開放原始碼工具。 我們也透過 Azure Machine Learning 將工具民主化。
轉型為數據驅動的組織是新常態中提供競爭優勢的關鍵。 我們想要協助我們的客戶從僅限應用程式的方法轉向應用程式與數據導向的方法。 著重於應用程式和數據的方法有助於建立端對端數據策略,確保目前和未來使用案例的可重複性和延展性會影響業務成果。
促進承諾、溝通和參與
讓數據策略成功所涉及的所有關鍵角色,都必須清楚了解採用的方法和常見的商務目標。 您的主要角色可能包括領導小組(C 層級)、業務單位、IT、營運和交付小組。
通訊是此架構最重要的部分之一。 您的組織必須設計一個流程,以便在不同角色間進行有效的溝通。 溝通有助於您有效地在當前專案中傳達。 它也會建立一個論壇,協助所有參與人員保持最新狀態,並專注於為未來建立整體數據策略的整體目標。
在下列兩個群組之間的互動是必不可少的。
- 設計和實作數據策略的小組成員
- 參與、取用和運用數據的小組成員(例如根據數據做出決策和創造結果的業務單位)
換句話說,若缺乏用戶參與,所建立的數據策略和相關數據平臺在相關性和採用方面可能面臨挑戰。
兩個策略流程可協助您在此框架中順利實現:
- 形成卓越中心
- 採用敏捷式傳遞方法
如需詳細資訊,請參閱 開發雲端規模分析的計劃。
提供價值
當您以標準化和結構化的方式,根據成功準則傳遞數據產品時,該傳遞會驗證您的反覆架構。 此外,使用學習持續創新可協助您建立業務信心並擴大數據策略目標。 此流程能夠在您的組織內更清晰且更快速地推行。
同樣適用於您的數據平臺。 當您有一個設定,讓多個小組相當自主地運作時,您應該向網格方向前進。 達成是個反覆的過程。 在許多情況下,它需要對組織設定、整備程度和業務一致性進行重大變更。
後續步驟
閱讀下列文章,以尋找雲端採用旅程的指引,並讓您的雲端採用案例成功: