概念 - 小型和大型語言模型
在本文中，了解小型和大型語言模型，包括何時使用模型，以及如何使用模型搭配 Azure Kubernetes Service (AKS) 上的 AI 和機器學習工作流程。
什麼是語言模型？
語言模型是用於自然語言處理 (NLP) 工作的強大機器學習模型，例如文字產生和情感分析。 這些模型會根據特定內容中出現的單字或單字序列機率來代表自然語言。
傳統語言模型已用於受監督的設定中，以供研究之用，這些模型會針對特定工作，在標示良好的文字資料集上定型。 預先定型的語言模型提供無障礙方式讓您開始使用 AI，且近年來已更廣泛地受到使用。 這些模型是使用深度神經網路從網際網路使用大規模文字主體進行定型，並可針對特定工作微調較小型的資料集。
語言模型的大小取決於其參數數目或權數，以決定模型如何處理輸入資料及產生輸出。 參數會在定型過程中學習，方法是調整模型層內的權數，以將模型預測與實際資料之間的差異降到最低。 模型擁有的參數越多，其複雜性和表達性也就越高，但定型及使用上的計算成本也比較昂貴。
一般而言，小型語言模型的參數少於 100 億個，而大型語言模型則有大於 100 億個參數。 例如，新的 Microsoft Phi-3 模型系列有三個不同尺寸的版本：迷你 (38 億個參數)、小型 (70 億個參數) 和中型 (140 億個參數)。
使用小型語言模型的時機
優點
如果您需要下列模型，小型語言模型是不錯的選擇：
- 定型和執行速度更快且更具成本效益：模型需要的資料和計算能力較少。
- 易於部署和維護：模型儲存體和記憶體使用量較小。
- 較不容易過度學習，也就是當模型了解定型資料的雜訊或特定模式，且無法將新資料一般化時。
- 可解譯且可解釋：模型需要了解及分析的參數和元件較少。
使用案例
小型語言模型適用於需要下列用途的使用案例：
- 有限的資料或資源，且您需要快速且簡單的解決方案。
- 妥善定義或縮小工作，且在輸出中不需要太多創造力。
- 高精確度和低召回工作，且您重視正確性和品質勝過涵蓋範圍和數量。
- 敏感性或受管制的工作，您必須確保模型的透明度和責任。
下表列出一些熱門、高效能的小型語言模型：
| 模型系列 | 模型大小 (參數數目) | 軟體授權 |
|---|---|---|
| Microsoft Phi-3 | Phi-3-mini (38 億)，Phi-3-small (70 億) | MIT 授權 |
| Microsoft Phi-2 | Phi-2 (27 億) | MIT 授權 |
| Falcon | Falcon-7B (70 億) | Apache 2.0 授權 |
使用大型語言模型的時機
優點
如果您需要下列模型，大型語言模型是不錯的選擇：
- 強大且具表達性：模型可以擷取資料中更複雜的模式和關聯性。
- 一般且可調整：模型可以處理更廣泛的工作，並跨領域轉移知識。
- 健全且一致：模型可以處理嘈雜或不完整的輸入，並避免常見的錯誤和偏差。
使用案例
大型語言模型適用於需要下列用途的使用案例：
- 豐富的資料和資源，且您有預算可建置及維護複雜的解決方案。
- 低精確度和高召回工作，且您重視涵蓋範圍和數量勝過正確性和品質。
- 具有挑戰性或探索性的工作，且您需要運用模型的能力來學習和調整。
下表列出一些熱門、高效能的大型語言模型：
| 模型系列 | 模型大小 (參數數目) | 軟體授權 |
|---|---|---|
| Microsoft Phi-3 | Phi-3-medium (140 億) | MIT 授權 |
| Falcon | Falcon-40B (400 億) | Apache 2.0 授權 |
在 AKS 上試驗小型和大型語言模型
Kubernetes AI 工具鏈運算子 (KAITO) 是開放原始碼運算子，可將 Kubernetes 叢集中的小型和大型語言模型部署自動化。 AKS 的 KAITO 附加元件可簡化上線，並減少 AKS 叢集上開放原始碼模型的推斷時間。 附加元件會自動佈建適當大小的 GPU 節點，並將相關聯的推斷伺服器設定為所選模型的端點伺服器。
如需詳細資訊，請參閱使用 AI 工具鏈運算子在 AKS 上部署 AI 模型。 若要開始針對推斷工作流程使用一系列支援的小型和大型語言模型，請參閱 KAITO 模型 GitHub 存放庫。
重要
整個 AKS 文件和範例都會提及開放原始碼的軟體。 您部署的軟體會從 AKS 服務等級協定、有限擔保和 Azure 支援 中排除。 當您搭配 AKS 使用開放原始碼技術時，請參閱個別社群和專案維護人員所提供的支援選項，以開發計畫。
例如，Ray GitHub 存放 庫 描述數個因回應時間、用途和支援層級而異的平臺。
Microsoft負責建置我們在 AKS 上部署的開放原始碼套件。 該責任包括擁有組建、掃描、簽署、驗證和 Hotfix 程式的完整擁有權，以及控制容器映像中的二進位檔。 如需詳細資訊，請參閱 AKS 弱點管理和 AKS 支援涵蓋範圍。
下一步
若要深入了解 AKS 上的容器化 AI 和機器學習工作負載，請參閱下列文章：
