共用方式為

開始在 Windows 應用程式中使用 AI 支援的功能和 APIs

  • 發行項

Windows Copilot Runtime 提供各種 AI 支援的功能和 APIs，可讓您利用 AI 功能，而不需要尋找、執行或優化您自己的 Machine Learning （ML） 模型。 在 Copilot+ 電腦上提供電源 Windows Copilot Runtime 的模型會隨時在本機和背景中執行。

使用 AI 功能時，建議您檢閱：在 Windows上開發負責任的產生式 AI 應用程式和功能。

適用於 Windows 應用程式的 Windows Copilot Runtime 功能和 APIs

Windows Copilot Runtime 包含下列功能和 AI 支援的 APIs（在 Windows App SDK 中），由在 Windows 裝置上本機執行的模型提供。

  • Phi 矽：尚未供應。 Phi 矽 APIs 將在 Windows App SDK中出貨。 與支援 ChatGPT 的 OpenAI 大型語言模型 （LLM） 類似，Phi 是由 Microsoft Research 開發的小型語言模型 （SLM），在本機裝置上執行語言處理工作。 Phi Silica 專為具備神經處理單元（NPU）的 Windows 裝置設計，可讓文字生成和對話功能直接在裝置上以高效能、硬體加速的方式運行。

  • Text Recognition 使用 OCR：尚未提供。Text RecognitionAPIs（也稱為光學字元辨識或 OCR）將在 Windows App SDK中提供。 這些 APIs 可讓您辨識影像中的文字，以及將不同類型的檔（例如掃描的紙張檔、PDF 檔案或數位相機所擷取的影像）轉換成本機裝置上可編輯和可搜尋的數據。

  • 映像處理 APIs：尚未提供。 AI 增強的映像處理 APIs 將會在 Windows App SDK中提供。 這些 APIs 執行各種動作，例如智慧調整影像，以及識別影像中的物件。

  • Studio Effects：適用於 Windows 11 版本 22H2 或更新版本（組建 22623.885+），位於 Copilot+ 計算機上。 具有相容類神經處理單元 （NPU） 的 Windows 裝置，Studio Effects 整合到內建裝置相機和麥克風設定中。 套用利用 AI 的特殊效果，包括：背景模糊、眼部接觸校正、自動框架、直向光線校正、創意篩選或語音焦點來篩選背景噪音。

  • Recall：可以透過安裝 Copilot+ 的個人電腦在 Windows 測試人員計劃中進行預覽。Recall 讓使用者能夠快速從過去的活動找到項目，例如文件、影像、網站等。 開發人員可以使用 Recall，將情境資訊新增至基礎向量資料庫，以豐富使用者的 體驗。 這項整合可協助使用者挑選他們在應用程式中離開的位置，改善App參與度，以及使用者與App之間的順暢流程。

  • Live Caption Translations 協助 Windows 上的所有人，包括耳聾或聽障人士，透過檢視口語內容的輔助字幕來進一步瞭解音訊（即使音訊內容與系統慣用的語言不同）。

適用於 Windows 應用程式的雲端式 AI 支援 APIs

您可能也有興趣使用於雲端上執行模型的 APIs，來為您的 Windows 應用程式新增 AI 功能。 Microsoft 或 OpenAI 提供的一些雲端式 AI 支援的 APIs 範例包括：

  • 將 OpenAI 聊天完成新增至您的 WinUI 3 /Windows 應用程式 SDK 傳統型應用程式：如何將雲端式 OpenAI ChatGPT 完成功能整合到 WinUI 3 /Windows 應用程式 SDK 傳統型應用程式的教學課程。

  • 將 DALL-E 新增至您的 WinUI 3 / Windows 應用程式 SDK 傳統型應用程式：如何將雲端式 OpenAI DALL-E 映射產生功能整合到 WinUI 3 / Windows 應用程式 SDK 傳統型應用程式的教學課程。

  • 使用 .NET MAUI 和 ChatGPT 建立建議應用程式：如何建立範例建議應用程式，以將雲端式 OpenAI ChatGPT 完成功能整合到 .NET MAUI 應用程式中。

  • 將 DALL-E 新增至 .NET MAUI Windows 傳統型應用程式：如何將雲端式 OpenAI DALL-E 映射產生功能整合到 .NET MAUI 應用程式中的教學課程。

  • Azure OpenAI 服務：如果您想要讓 Windows 應用程式存取 OpenAI 模型，例如 GPT-4、GPT-4 Turbo with Vision、GPT-3.5-Turbo、DALLE-3 或 Embeddings 模型系列，以及 Azure 新增的安全性和企業功能，您可以在此 Azure OpenAI 檔中找到指引。

  • Azure AI 服務：Azure 提供一套完整的 AI 服務，可透過 REST APIs 和用戶端連結庫 SDK 提供熱門的開發語言。 如需詳細資訊，請參閱每個服務的文件。 這些雲端式服務可協助開發人員和組織使用現成且預先建置且可 APIs 自定義的和模型，快速建立智慧、尖端、市場就緒和負責任的應用程式。 範例應用程式包含適用於對話、搜尋、監視、翻譯、語音、視覺和決策制定的自然語言處理。

在 Windows 應用程式中使用本機與雲端式 AI 支援的 APIs 考慮

當您決定在 Windows 應用程式中使用依賴在本機執行 ML 模型與雲端的 API 時，有幾個優點和缺點需要考慮。

  • 資源可用性

    • 本機裝置： 執行模型取決於所使用的裝置上可用的資源，包括 CPU、GPU、NPU、記憶體和記憶體和記憶體容量。 如果裝置沒有高計算能力或足夠的記憶體，這可能會受到限制。 小型語言模型（SLM），例如 Phi，更適合在裝置本機使用。
    • 雲端： Azure 等雲端平臺提供可調整的資源。 您可以視需要使用計算能力或記憶體，並只支付您所使用的費用。 大型語言模型（LLM），如 OpenAI 語言模型，需要更多的資源，但也更強大。

  • 數據隱私權和安全性

    • 本機裝置： 由於數據會保留在裝置上，因此在本機執行模型可以更安全且更私人。 數據安全性的責任取決於使用者。
    • 雲端： 雲端提供者提供強大的安全性措施，但數據必須傳輸到雲端，在某些情況下可能會引發數據隱私權考慮。

  • 輔助功能與共同作業

    • 本機裝置： 除非手動共用，否則只能在裝置上存取模型和數據。 這有可能讓模型數據的共同作業更具挑戰性。
    • 雲端： 模型和數據可以透過因特網連線從任何地方存取。 這在共同作業案例中可能更好。

  • 成本

    • 本機裝置： 在裝置的初始投資之外，沒有額外的成本。
    • 雲端： 雖然雲端平臺是以隨用隨付模型運作，但成本可以根據使用的資源和使用量持續時間來累積。

  • 維護和更新

    • 本機裝置： 使用者負責維護系統和安裝更新。
    • 雲端： 雲端服務提供者會處理維護、系統更新和新功能更新，減少使用者的維護額外負荷。

請參閱 在本機執行小型語言模型與雲端 中的大型語言模型，以深入瞭解在本機執行小型語言模型 （SLM） 與在雲端中執行大型語言模型 （LLM） 之間的差異。