Azure 上的 AI 工作負載
本指南解決設計 AI 工作負載的架構挑戰,著重於不具決定性的功能、數據和應用程式設計和作業。這些建議是以 Azure 架構完善的架構架構 (WAF) 原則為基礎,並包含成功 Azure 實作的深入解析。
這些文章適用於工作負載擁有者和技術項目關係人,例如架構設計人員、開發主管和IT領導者。 特殊 AI 和數據角色,例如數據科學家,也應該注意此指引,因為跨各種角色和小組的共同作業是關鍵層面。
注意
Microsoft Azure 提供各種 AI 服務,可整合至您的工作負載或加以建置。 根據您的業務需求,您可以選擇完全受控的 SaaS 解決方案、PaaS 解決方案,或建置您自己的 AI 解決方案。 此處未涵蓋特定的 Azure 服務及其功能。 針對這些,我們建議參考個別的產品檔。
此外,某些 AI 工作負載不在範圍內,例如:
- 透過低程式代碼和無程式代碼供應項目實現的工作負載,例如 Microsoft Copilot Studio。
- 需要高效能運算的工作負載。
- 未實作衍生式或歧視 AI 使用案例的工作負載。
什麼是 AI 工作負載?
在 WAF 的內容中,AI 工作負載符合預測性、歧視性或產生式工作的需求。 其著重於道德功能、適應快速演進的 AI 技術,以及保持相關且可解釋性。 WAF 要素應該在每個決策點套用,以確保系統可靠、安全、有效率且符合成本效益。
AI 工作負載與傳統工作負載不同,因為它們會以不具決定性的行為取代部分工作負載中的決定性功能,以針對固定結果不切實際的情況加以解決。 相反地,它們會將程式代碼和數據合併成實體或 模型,讓傳統系統無法提供的獨特體驗。
開始設計策略之前,請先考慮這些重點。
熟悉廣泛的模型類別
Generative AI 會使用機器學習來自主建立新內容。 其中包含可使用用戶數據自定義的語言模型,或做為 Azure OpenAI 等服務使用的語言模型。 例如,GPT 是一種語言模型,專門模擬人類交談語言,非常適合聊天和自然語言體驗。
使用案例:Generative AI 可以產生文章、劇本、藝術、產生綜合數據來平衡數據集,以及讓聊天機器人更具人類性。
區分 AI 會使用明確的程式設計,根據規則和演算法執行特定工作。 它可以分為:
模型型。 根據先前觀察執行的定型來尋找模式的預測系統,以進行預測,但無法建立新內容或自行調整。
非模型型。 遵循預先定義規則來與系統互動的自發代理程式,例如視頻遊戲字元。
使用案例:辨別 AI 用於預測性分析、建議系統和詐騙偵測。
這一系列文章涵蓋不同的 AI 工作負載,並視需要專注於特定類型,例如語言模型。
重要
在產生和歧視模型之間選擇時,請考慮您需要完成的工作。 產生模型會建立新的數據,而辨別模型則會根據特徵來分類現有的數據。 針對分類或回歸工作,挑選符合作業的模型。 例如,可以分類的語言模型可能比只分類一個多用途的語言模型。
評估組建與購買選項
如果一般回應是可接受的,則使用不透明處理的預先建置模型或 AI 服務型解決方案應該足以應付您的工作負載。 但是,如果您需要企業特定的數據或具有合規性需求,則必須建立自定義模型。
在自定義模型、預先建置模型或服務之間選擇時,請考慮下列因素:
數據控制。 自定義模型可讓您更充分掌控敏感數據。 預先建置的模型較容易進行一般工作。
自訂。 自定義模型更適合獨特的需求。 預先建置的模型可能缺乏彈性。
成本與維護。 自定義模型需要持續維護和資源。 預先建置的模型通常具有較低的初始成本和較少的基礎結構負擔。
效能: 預先建置的服務提供優化的基礎結構和延展性。 其適用於低延遲或高延展性需求。
專業知識。 自定義模型需要熟練的團隊。 如果專業知識有限,預先建置的模型可以更快速地部署,且更容易使用。
重要
建立和維護您自己的模型需要大量的資源、時間和專業知識。 在決定之前,請務必徹底研究。 通常,選擇預先建置的模型或受控服務是較佳的選項。
常見的挑戰為何?
計算成本。 由於計算需求高,AI 函式的成本可能很高,而且計算需求會隨著工作負載設計而有所不同。 瞭解您的需求,並選擇正確的服務來管理成本。
安全性和合規性需求。 現成的解決方案可能無法符合您的安全性和合規性需求。 研究避免不必要的負擔的選項。
數據量。 以各種格式處理大型數據量時,面臨著保護敏感性資訊和有效率處理的挑戰。 優化記憶體、處理和傳輸成本應該是持續的活動。
模型衰變。 模型可能會隨著時間而降低,導致結果不正確。 測試 AI 系統由於隨機性而具有挑戰性。
技能挑戰。 新的 AI 工作負載可能需要特殊角色和需要大量訓練的新作業程式。
AI 創新的速度。 採用最新的技術可能很誘人,以保持尖端。 仔細評估新技術,以確保他們改善用戶體驗,並不只是為了最新狀態而增加複雜度。
道德需求。 您必須清楚判斷您的使用案例是否為 AI 的道德目標。 在整個規劃和實作階段中維護道德標準是必要的,以確保您正在建置負責任的系統。
如何使用本指南?
✔ 從 設計方法開始,其概述技術與作業領域的原理和周期性主題。 這種系統化方法有助於定義需求和設計策略。 當面臨不確定的選擇以與工作負載的整體目標保持一致時,請重新流覽此方法。 它也提供與項目關係人共同作業的架構,以證明技術決策的合理性,並納入客戶意見反應以進行持續改善。
✔ 繼續進行設計原則,以了解設計方法如何與核心架構完善的架構支柱保持一致,並考慮成長演進。 共同評估所有支柱的基本原則,包括取捨。
✔ 專注於 對您的解決方案有最大影響的設計區域 。 每個區域都包含可引導您完成設計決策的考慮和建議。
✔ 使用評定檢閱工具來評估生產環境中優化 AI 工作負載的整備程度。
典型的架構模式和設計區域
此架構強調整合不同的元件,以在 AI 驅動解決方案中啟用有效率的數據處理、模型優化和即時應用程式部署。 其中包含各種模組,例如數據源、數據處理、模型定型、模型部署和使用者介面,說明數據如何從初始集合流經系統到最終用戶互動。
下表描述與該模式相關的一些重要設計區域。
設計領域 |
---|
應用程式設計。 瞭解 AI 工作負載特有的考慮,這些工作負載可能對您現有的應用程式設計標準產生重大影響。 |
應用程式平臺。 決定用來支援 AI 工作負載函式的最佳平臺,例如模型裝載、模型定型和推斷。 |
定型數據設計。 設計數據擷取、前置處理、保留和治理主題的策略,以處理模型定型數據。 |
基礎數據設計。 設計策略以優化可搜尋性和擷取,同時符合您地面數據的安全性與合規性需求。 |
數據平臺。 判斷最佳裝載平臺,以處理工作負載所使用的大量數據和可能許多格式。 |
機器學習作業和 Generative AI 作業。 建立新式DevOps做法,以支援您的機器學習或衍生式 AI 函式和系統。 |
工作負載作業。 使用新方法將作業實務現代化,並新增特殊角色和訓練。 |
測試和評估。 開發測試和評估策略,透過針對 AI 工作負載特別針對的計量來測量精確度、精確度、敏感度和特定度等特性。 |
工作負載角色。 瞭解角色如何參與 AI 工作負載的完整生命週期,以協助確保您的小組完全能夠建置和支援它。 |
負責任的 AI。 AI 為新的產品和服務帶來了令人難以置信的機會,但它也帶來相當大的風險。 特別注意將 AI 解決方案發行給公眾的用戶體驗和道德影響。 |
提示
每個架構決策都牽涉到一系列考慮,以及一組公認的妥協,以平衡架構的不同層面。 這些取捨會以這個圖示 表示。