Freigeben über

Windows Copilot Runtime Übersicht

  • Artikel

Windows Copilot Runtime bietet eine Vielzahl von KI-unterstützten Features und APIs, mit denen Sie KI-Funktionalität nutzen können, ohne Ihr eigenes Modell für maschinelles Lernen (ML) finden, ausführen oder optimieren zu müssen. Die Modelle, die die Windows Copilot Runtime auf Copilot+-PCs laufen immer lokal und im Hintergrund.

Windows Copilot Runtime Merkmale und APIs für Windows-Anwendungen

Windows Copilot Runtime umfasst die folgenden Funktionen und KI-unterstützten APIs (in the Windows-Anwendungs-SDK) die von Modellen betrieben werden, die lokal auf dem Windows-Gerät laufen.

  • Phi Silica: Noch nicht verfügbar. The Phi Silica APIs wird im Windows App SDKausgeliefert. Ähnlich wie das GPT Large Language Model (LLM) von OpenAI, das ChatGPT unterstützt, ist Phi ein von Microsoft Research entwickeltes Small Language Model (SLM), um Sprachverarbeitungsaufgaben auf einem lokalen Gerät auszuführen. Phi Silika ist speziell für Windows-Geräte mit einer Neural Processing Unit (NPU) konzipiert, sodass Textgenerierungs- und Unterhaltungsfeatures auf leistungsstarke, hardwarebeschleunigte Weise direkt auf dem Gerät ausgeführt werden können.

  • Text Recognition mit OCR: Noch nicht verfügbar. Die Text RecognitionAPIs (auch als Optical Character Recognition (OCR) bezeichnet) wird in der Windows-Anwendungs-SDK. Diese APIs ermöglichen die Erkennung von Text in einem Bild und die Konvertierung verschiedener Dokumenttypen, wie gescannte Papierdokumente, PDF-Dateien oder Bilder, die von einer Digitalkamera erfasst werden, in bearbeitbare und durchsuchbare Daten auf einem lokalen Gerät.

  • Bildgebung APIs: Noch nicht verfügbar. Die KI-unterstützte Bildgebung APIs wird in der Windows-Anwendungs-SDK. Diese APIs führen eine Vielzahl von Aktionen aus, wie z. B. die intelligente Skalierung von Bildern und das Identifizieren von Objekten innerhalb von Bildern.

  • Studio Effects: Verfügbar in Windows 11, Version 22H2 oder neuer (Build 22623.885+), auf Copilot+ PCs. Windows-Geräte mit kompatiblen Neural Processing Units (NPUs) integrieren Studio Effects in die Kamera- und Mikrofoneinstellungen des Geräts ein. Wenden Sie Spezialeffekte an, die KI verwenden, einschließlich: Hintergrundunschärfe, Augenkontaktkorrektur, automatische Rahmung, Porträtlichtkorrektur, kreative Filter oder Sprachfokus, um Hintergrundgeräusche zu filtern.

  • Recall: Für die Vorschau über das Windows-Insider-Programm auf Copilot+ PCs verfügbar.Recall ermöglicht es Benutzern, schnell Elemente aus ihren früheren Aktivitäten zu finden, z. B. Dokumente, Bilder, Websites und mehr. Entwickler können die Recall-Erfahrung des Benutzers mit ihrer App bereichern, indem sie der zugrunde liegenden Vektordatenbank kontextbezogene Informationen mit der -Benutzeraktivitäts-APIhinzufügen. Diese Integration hilft Benutzern, genau dort weiterzumachen, wo sie in Ihrer App aufgehört haben, wodurch das Engagement in der App verbessert und ein nahtloser Übergang zwischen Windows und Ihrer App ermöglicht wird.

  • Live-Untertitelübersetzungen helfen allen Benutzern unter Windows, einschließlich gehörloser oder schwerhöriger Personen, das Audio besser zu verstehen, indem sie Untertitel gesprochener Inhalte anzeigen (auch wenn der Audioinhalt in einer anderen Sprache als der bevorzugten Systemsprache ist).

Integrieren Eigener ML-Modelle

Zusätzlich zur KI-unterstützung Windows Copilot RuntimeAPIsverfügen wir über Tools und Anleitungen zur Verbesserung Ihrer App mithilfe von Machine Learning (ML)-Modellen.

AI Toolkit In Visual Studio Code können Sie eigene ML-Modelle mithilfe von Frameworks wie ONNX RuntimePyTorch oder WebNN integrieren und auf Hardwarebeschleunigung zugreifen, um eine bessere Leistung und Skalierung über DirectML zu erzielen.

Weitere Informationen:

Verantwortungsvolle KI-Praktiken

Apps verantwortungsvoll mit KI entwickeln mit Windows Copilot Runtime generative KI-Modelle auf dem Gerät, die bei der Durchsetzung lokaler Sicherheitsfunktionen für Inhalte helfen, z. B. geräteinterne Klassifizierungssysteme für schädliche Inhalte und eine Standard-Blockierliste. Microsoft priorisiert Entwickler dabei, sichere, vertrauenswürdige KI-Erfahrungen mit lokalen Modellen unter Windows zu erstellen. Erfahren Sie mehr über verantwortungsvolle Entwicklungsmethoden, die Sie anwenden können, wenn Sie Anwendungen und KI-unterstützte Features erstellen, die auf Windows-Geräten ausgeführt werden, in der Anleitung zum Entwickeln verantwortlicher generativer KI-Anwendungen und -Features unter Windows .

Weitere Informationen