Freigeben über

Beginnen Sie mit KI-gestützten Features und APIs in Ihrer Windows-App

  • Artikel

Windows Copilot Runtime bietet eine Vielzahl von KI-unterstützten Features und APIs, mit denen Sie auf KI-Funktionen zugreifen können, ohne Ihr eigenes Machine Learning (ML)-Modell zu finden, auszuführen oder zu optimieren. Die Modelle, die Windows Copilot Runtime auf Copilot+ PCs antreiben, laufen stets lokal und im Hintergrund.

Wenn Sie KI-Features verwenden, empfehlen wir Ihnen, den folgenden Abschnitt zu lesen: Entwicklung verantwortungsbewusster generativer KI-Anwendungen und Features unter Windows.

Windows Copilot Runtime Features und APIs für Windows-Apps

Windows Copilot Runtime umfasst die folgenden Features und KI-unterstützten APIs (im Windows App SDK), die von Modellen angetrieben werden, die lokal auf dem Windows-Gerät ausgeführt werden.

  • Phi Silica: Noch nicht verfügbar. The Phi Silica APIs wird im Windows App SDKausgeliefert. Ähnlich wie das GPT Large Language Model (LLM) von OpenAI, das ChatGPT unterstützt, ist Phi ein von Microsoft Research entwickeltes Small Language Model (SLM), um Sprachverarbeitungsaufgaben auf einem lokalen Gerät auszuführen. Phi Silika ist speziell für Windows-Geräte mit einer Neural Processing Unit (NPU) konzipiert, sodass Textgenerierungs- und Unterhaltungsfeatures auf leistungsstarke, hardwarebeschleunigte Weise direkt auf dem Gerät ausgeführt werden können.

  • Text Recognition mit OCR-: Noch nicht verfügbar. Die Text RecognitionAPIs (auch als optische Zeichenerkennung oder OCR bezeichnet) wird im Windows App SDKausgeliefert. Diese APIs ermöglichen die Erkennung von Text in einem Bild und die Konvertierung verschiedener Dokumenttypen (z. B. gescannte Papierdokumente, PDF-Dateien oder Bilder, die von einer Digitalkamera erfasst werden) in bearbeitbare und durchsuchbare Daten auf einem lokalen Gerät.

  • Imaging APIs: Noch nicht verfügbar. Das KI-gesteuerte Imaging APIs wird im Windows App SDK verfügbar sein. Diese APIs führen eine Vielzahl von Aktionen aus, wie intelligente Skalierung von Bildern und Identifizierung von Objekten innerhalb von Bildern.

  • Studio Effects: Verfügbar in Windows 11, Version 22H2 oder höher (Build 22623.885+), auf Copilot+ PCs. Windows-Geräte mit kompatiblen Neural Processing Units (NPUs) integrieren Studio Effects in die integrierten Gerätekamera- und Mikrofoneinstellungen. Wenden Sie Spezialeffekte an, die KI verwenden, einschließlich: Hintergrund blur, Augenkontaktkorrektur, automatische Framing, Hochformatkorrektur, Kreative Filter oder Sprachfokus zum Filtern von Hintergrundgeräuschen.

  • Recall: Für die Vorschau über das Windows-Insider-Programm auf Copilot+ PCs verfügbar.Recall ermöglicht es Benutzern, schnell Dinge aus ihren früheren Aktivitäten zu finden, z. B. Dokumente, Bilder, Websites und mehr. Entwickler können die Recall-Erfahrung des Benutzers mit ihrer App erweitern, indem sie kontextbezogene Informationen zur zugrunde liegenden Vektordatenbank mit der Benutzeraktivitäts-API hinzufügen. Diese Integration hilft Benutzern, an der Stelle, an der sie in Ihrer App aufgehört haben, aufzuholen, um das Engagement der App und den nahtlosen Fluss des Benutzers zwischen Windows und Ihrer App zu verbessern.

  • Liveuntertitelübersetzungen: Hilft allen Benutzern unter Windows, einschließlich gehörlosen oder schwerhörigen Personen, Audio besser zu verstehen, indem Untertitel für gesprochene Inhalte angezeigt werden (auch wenn sich der Audioinhalt in einer anderen Sprache als die bevorzugte Sprache des Systems befindet).

Cloud-basierte, KI-unterstützte APIs für Windows-Apps

Möglicherweise sind Sie auch daran interessiert, APIs zu verwenden, um Modelle in der Cloud auszuführen und KI-Funktionen zu unterstützen, die Ihrer Windows-App hinzugefügt werden können. Zu den von Microsoft oder OpenAI angebotenen cloudbasierten KI-basierten APIs Beispielen gehören:

  • Fügen Sie Ihrer WinUI 3/Windows App SDK-Desktop-App OpenAI-Chat-Fertigstellungen hinzu: Ein Lernprogramm zum Integrieren der cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

  • Fügen Sie IHRER WinUI 3/Windows App SDK-Desktop-App DALL-E DALL-E-Desktop-App DALL-E ein Lernprogramm zur Integration der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App hinzu.

  • Erstellen Sie eine Empfehlungs-App mit .NET MAUI und ChatGPT: Ein Lernprogramm zum Erstellen einer Beispielempfehlungs-App, die die cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine .NET MAUI-App integriert.

  • Fügen Sie IHRER .NET MAUI Windows-Desktop-App DALL-E DALL-E ein Lernprogramm zum Integrieren der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine .NET MAUI-App hinzu.

  • Azure OpenAI-Dienst: Wenn Ihre Windows-App auf OpenAI-Modelle zugreifen soll, z. B. GPT-4, GPT-4 Turbo mit Vision, GPT-3.5-Turbo, DALLE-3 oder die Embeddings-Modellreihe, mit den zusätzlichen Sicherheits- und Unternehmensfunktionen von Azure, finden Sie Anleitungen in dieser Azure OpenAI-Dokumentation.

  • Azure AI Services: Azure bietet eine gesamte Suite von KI-Diensten, die über REST- APIs und Clientbibliotheks-SDKs in beliebten Entwicklungssprachen verfügbar sind. Weitere Informationen finden Sie in der Dokumentation zu den einzelnen Diensten. Diese cloudbasierten Dienste helfen Entwicklern und Organisationen, schnell intelligente, modernste, marktfähige und verantwortungsvolle Anwendungen mit sofort einsatzbereiten und vorgefertigten und anpassbaren und anpassbaren APIs Anwendungen zu erstellen. Beispielanwendungen sind die Verarbeitung natürlicher Sprache für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Visions- und Entscheidungsfindung.

Überlegungen zur Verwendung lokaler und cloudbasierter KI in Ihrer Windows-App APIs

Bei der Entscheidung zwischen der Verwendung einer API in Ihrer Windows-App, die auf der lokalen Ausführung eines ML-Modells im Vergleich zur Cloud basiert, gibt es mehrere Vor- und Nachteile.

  • Ressourcenverfügbarkeit

    • Lokales Gerät: Das Ausführen eines Modells hängt von den ressourcen ab, die auf dem verwendeten Gerät verfügbar sind, einschließlich CPU, GPU, NPU, Arbeitsspeicher und Speicherkapazität. Dies kann begrenzt werden, wenn das Gerät keine hohe Rechenleistung oder ausreichendEn Speicher hat. Kleine Sprachmodelle (SLMs), wie Phi, eignen sich besser für die lokale Verwendung auf einem Gerät.
    • Cloud: Cloudplattformen wie Azure bieten skalierbare Ressourcen an. Sie können beliebig viel Rechenleistung oder Speicher verwenden und nur für ihre Nutzung bezahlen. Große Sprachmodelle (LLMs), wie die OpenAI-Sprachmodelle, erfordern mehr Ressourcen, sind aber auch leistungsstärker.

  • Daten, Datenschutz und Sicherheit

    • Lokales Gerät: Da Daten auf dem Gerät neu Standard werden, kann das lokale Ausführen eines Modells sicherer und privater sein. Die Verantwortung der Datensicherheit liegt auf dem Benutzer.
    • Cloud: Cloudanbieter bieten robuste Sicherheitsmaßnahmen, aber Daten müssen in die Cloud übertragen werden, was in einigen Fällen Datenschutzbedenken auslösen kann.

  • Barrierefreiheit und Zusammenarbeit

    • Lokales Gerät: Auf das Modell und die Daten kann nur auf dem Gerät zugegriffen werden, es sei denn, sie werden manuell freigegeben. Dies hat das Potenzial, die Zusammenarbeit an Modelldaten schwieriger zu machen.
    • Cloud: Auf das Modell und die Daten kann von überall aus mit Internetverbindung zugegriffen werden. Dies kann für Szenarien für die Zusammenarbeit besser sein.

  • Kosten

    • Lokales Gerät: Es gibt keine zusätzlichen Kosten, die über die anfängliche Investition im Gerät hinausgehen.
    • Cloud: Während Cloudplattformen mit einem pay-as-you-go-Modell arbeiten, können sich Die Kosten basierend auf den verwendeten Ressourcen und der Nutzungsdauer ansammeln.

  • Wartung und Updates

    • Lokales Gerät: Der Benutzer ist dafür verantwortlich, das System zu Standard und Updates zu installieren.
    • Cloud: Wartung, Systemupdates und neue Featureupdates werden vom Clouddienstanbieter behandelt, wodurch Standard Aufwand für den Benutzer reduziert wird.

Weitere Informationen zum lokalen Ausführen eines kleinen Sprachmodells im Vergleich zu einem großen Sprachmodell in der Cloud finden Sie unter "Lokales Ausführen eines SLM(Small Language Model)" im Vergleich zur Ausführung eines LLM (Large Language Model) in der Cloud.