Udostępnij za pośrednictwem

omówienie Windows Copilot Runtime

  • Artykuł

Windows Copilot Runtime oferuje różne funkcje oparte na sztucznej inteligencji i APIs, które umożliwiają korzystanie z funkcji sztucznej inteligencji bez konieczności znajdowania, uruchamiania lub optymalizowania własnego modelu uczenia maszynowego . Modele zasilające Windows Copilot Runtime na komputerach Copilot+ działają lokalnie i w tle przez cały czas.

Windows Copilot Runtime funkcje i APIs dla aplikacji systemu Windows

Windows Copilot Runtime obejmuje następujące funkcje oraz oparte na sztucznej inteligencji APIs (w SDK zestawie aplikacji Windows ), wspierane przez modele działające lokalnie na urządzeniu z systemem Windows.

  • Phi Silica: Jeszcze nie jest dostępna. Phi Silica APIs będzie dostarczana w zestawie Windows App SDK . Podobnie jak model OpenAI GPT Large Language Model (LLM), który obsługuje ChatGPT, Phi to mały model językowy (SLM) opracowany przez firmę Microsoft Research dla wykonywania zadań przetwarzania języka na urządzeniu lokalnym. Silica Phi została specjalnie zaprojektowana dla urządzeń z systemem Windows z jednostką przetwarzania neuronowego (NPU), umożliwiając generowanie tekstu i funkcje konwersacji w sposób o wysokiej wydajności, przyspieszany sprzętowo bezpośrednio na urządzeniu.

  • z OCR: Wciąż niedostępna. (określany również jako optyczne rozpoznawanie znaków lub OCR) zostanie dostarczony w Windows App SDK. Te APIs umożliwiają rozpoznawanie tekstu na obrazie i konwersję różnych typów dokumentów (takich jak zeskanowane dokumenty papierowe, pliki PDF lub obrazy przechwycone przez aparat cyfrowy) na dane edytowalne i przeszukiwalne na urządzeniu lokalnym.

  • Imaging APIs: Jeszcze nie jest dostępne. Obrazowanie rozszerzone o sztuczną inteligencję APIs będzie dostarczane w zestawie Windows App SDK . Te APIs wykonują różne akcje, takie jak inteligentne skalowanie obrazów i identyfikowanie obiektów w obrazach.

  • Studio Effects: Dostępne w systemie Windows 11, wersja 22H2 lub nowsza (kompilacja 22623.885 lub nowsza), na komputerach Copilot+ pc. urządzenia z systemem Windows z zgodnymi jednostkami przetwarzania neuronowego (NPU) integrują Studio Effects z wbudowanymi ustawieniami aparatu i mikrofonu urządzenia. Zastosuj efekty specjalne korzystające ze sztucznej inteligencji, takie jak: Rozmycie tła, Korekta kontaktu wzrokowego, Automatyczne kadrowanie, Korekta oświetlenia portretowego, Filtry kreatywne lub Skupienie na głosie w celu filtrowania szumu tła.

  • Recall: Dostępne w wersji zapoznawczej za pośrednictwem programu Windows Insider na komputerach Copilot+.Recall pozwala użytkownikom szybko znajdować rzeczy z wcześniejszych działań, takie jak dokumenty, obrazy, witryny internetowe i inne. Deweloperzy mogą wzbogacić doświadczenie Recall użytkownika dzięki swojej aplikacji, dodając informacje kontekstowe do bazowej bazy danych wektorów przy użyciu interfejsu API aktywności użytkownika . Ta integracja pomoże użytkownikom kontynuować pracę tam, gdzie przerwali w Twojej aplikacji, poprawiając zaangażowanie użytkowników oraz zapewniając płynne przejście między systemem Windows a aplikacją.

  • Tłumaczenia napisów na żywo pomagają wszystkim użytkownikom systemu Windows, w tym osobom głuchym lub niedosłyszącym, lepiej zrozumieć dźwięk poprzez wyświetlanie napisów do treści mówionych (nawet jeśli zawartość audio jest w innym języku niż preferowany język systemu).

Integrowanie własnych modeli uczenia maszynowego

Oprócz narzędzi i wskazówek opartych na sztucznej inteligencji, które są zawarte w Windows Copilot RuntimeAPIs, posiadamy również instrukcje dotyczące ulepszania aplikacji przy użyciu modeli uczenia maszynowego (ML).

AI Toolkit w programie Visual Studio Code umożliwia integrację własnych modeli uczenia maszynowego przy użyciu struktur, takich jak ONNX Runtime, PyTorch lub WebNN, oraz uzyskiwanie dostępu do przyspieszania sprzętowego w celu uzyskania lepszej wydajności i skalowania za pomocą DirectML.

Dowiedz się więcej:

Praktyki dotyczące odpowiedzialnej sztucznej inteligencji

Odpowiedzialne tworzenie aplikacji za pomocą sztucznej inteligencji przy użyciu Windows Copilot Runtime modeli sztucznej inteligencji generowanych na urządzeniach w celu ułatwienia wymuszania lokalnych funkcji bezpieczeństwa zawartości, takich jak aparaty klasyfikacji urządzeń dla szkodliwej zawartości i domyślna lista zablokowanych. Firma Microsoft ustala priorytety dla deweloperów w celu tworzenia bezpiecznych, godnych zaufania środowisk sztucznej inteligencji z lokalnymi modelami w systemie Windows. Dowiedz się więcej na temat odpowiedzialnych praktyk programistycznych, które mają być stosowane podczas tworzenia aplikacji i funkcji wspomaganych przez sztuczną inteligencję uruchamianych na urządzeniach z systemem Windows, w opracowywanie odpowiedzialnych aplikacji i funkcji sztucznej inteligencji w systemie Windows wskazówki.

Zobacz też