Windows Copilot Runtime の概要
Windows Copilot Runtime では、独自の Machine Learning (ML) モデルを検索、実行、最適化することなく、AI 機能を活用できる、さまざまな AI に基づく機能と APIs が提供されています。 Copilot+ PC で Windows Copilot Runtime を動かすモデルは、常にローカル環境とバックグラウンドで動作します。
Windows アプリの Windows Copilot Runtime 機能と APIs
Windows Copilot Runtime には、Windows デバイスでローカルに実行されているモデルを利用した、次の機能と AI ベースの APIs (Windows App SDK) が含まれています。
ファイシリカ:まだ利用できません。 Phi Silica APIs は、Windows App SDKに付属します。 ChatGPT を強化する OpenAI の GPT Large Language Model (LLM) と同様に、Phi はローカル デバイスで言語処理タスクを実行するために Microsoft Research によって開発された小さな言語モデル (SLM) です。 Phi Silica は、ニューラル処理ユニット (NPU) を備えた Windows デバイス向けに特別に設計されており、テキスト生成機能と会話機能を、デバイス上で直接高パフォーマンスでハードウェアで高速化された方法で実行できます。
OCRを使用した
: まだ使用できません。 (光学式文字認識または OCR とも呼ばれます) は、 Windows App SDK に付属します。 これらの APIs、画像内のテキストの認識と、さまざまな種類のドキュメント (スキャンされた紙のドキュメント、PDF ファイル、デジタル カメラでキャプチャされた画像など) を、ローカル デバイス上の編集可能で検索可能なデータに変換できます。イメージング APIs: はまだ使用できません。 AI 強化イメージング APIs は、Windows App SDKに付属します。 これらの APIs は、画像をインテリジェントにスケーリングしたり、イメージ内のオブジェクトを識別したりなど、さまざまなアクションを実行します。
Studio Effects: Copilot+ PC 上の Windows 11 バージョン 22H2 以降 (ビルド 22623.885 以降) で使用できます。互換性のあるニューラル処理ユニット (NPU) を持つ Windows デバイス、Studio Effects を組み込みのデバイス カメラとマイクの設定に統合します。 背景ぼかし、アイコンタクト補正、自動フレーミング、縦ライト補正、クリエイティブ フィルター、音声フォーカスなど、AI を利用する特殊効果を適用して背景ノイズを除外します。
Recall: Copilot+ PC の Windows Insider Program を使用してプレビューできます。Recall を使用すると、ユーザーはドキュメント、画像、Web サイトなど、過去のアクティビティからすばやく見つけることができます。 開発者は、User Activity APIを使用して、基になるベクター データベースにコンテキスト情報を追加することで、アプリでユーザーの Recall エクスペリエンスを強化できます。 この統合は、ユーザーがアプリで中断した場所を選択するのに役立ち、Windows とアプリの間のアプリエンゲージメントとユーザーのシームレスなフローが向上します。
Live Caption Translationsは、聴覚に障碍のあるユーザーを含むWindowsのすべてのユーザーが、音声コンテンツの字幕を表示することでオーディオをよりよく理解するのを支援します(オーディオ コンテンツがシステムの優先言語とは異なる言語である場合でも)。
独自の ML モデルを統合する
AI ベースの Windows Copilot RuntimeAPIsに加えて、Machine Learning (ML) モデルを使用してアプリを強化する方法に関するツールとガイダンスも用意されています。
AI ToolkitVisual Studio Code ではONNX Runtime、PyTorch、WebNN などのフレームワークを使用して独自の ML モデルを統合し、ハードウェア アクセラレーションにアクセスして、DirectML を使用してパフォーマンスを向上させ、スケーリングすることができます。
詳細情報:
- Windows アプリケーションで ML モデルを活用する方法
- Web 上のオープン ソース ML モデルがある場所
- Windows アプリで使用する ML モデルを最適化する方法
- 独自の顧客データを使用して ML モデルを微調整する方法
- AI 機能を使用してパフォーマンスを向上させるためにハードウェア アクセラレータを利用する方法
責任ある AI プラクティス
デバイス上の生成 AI モデルを使用して、 AI を責任を持ってアプリを開発し、Windows Copilot Runtime ローカル コンテンツの安全機能を強化するのに役立てます。例えば、有害なコンテンツのデバイス上の分類エンジンや既定のブロックリストを利用します。 Microsoft では、Windows 上のローカル モデルを使用して、安全で信頼できる AI エクスペリエンスを構築するためのサポート開発者に優先順位を付けます。 Windows デバイス上で実行されるアプリケーションと AI 支援機能を作成する際に適用する責任ある開発プラクティスの詳細については、「windows での責任ある生成型 AI アプリケーションと機能の開発ガイダンス」を参照してください。
関連項目
Phi Silica、小型だが強大なデバイスに搭載されたSLM (Windows ブログ)
Windows 上の AI サンプル ギャラリー: Windows アプリに AI を統合する方法を示すサンプル。
Windows での AI の使用に関する FAQ: Windows コンテキストでの AI の使用に関連する用語と概念に関してよく寄せられる質問。"DirectML とは"、"ONNX とは"、"ORT とは"、"NPU とは"、"SLM とは"、"推論とは"、"微調整とは" など。
ONNX Runtime Generative AI を使用して、Windows アプリで Phi3 やその他の言語モデルを使ってみる