Freigeben über

WebNN-Übersicht

  • Artikel

Die Web Neural Network (WebNN)-API ist ein neuer Webstandard, der es Web-Apps und Frameworks ermöglicht, tiefe neuronale Netzwerke mit GPUs, CPUs oder dedizierten AI-Beschleunigern wie NPUs zu beschleunigen. Die WebNN-API nutzt die DirectML-API unter Windows, um auf die systemeigenen Hardwarefunktionen zuzugreifen und die Ausführung neuraler Netzwerkmodelle zu optimieren.

Da die Verwendung von AI/ML in Apps beliebter wird, bietet die WebNN-API die folgenden Vorteile:

  • Leistungsoptimierungen – Durch die Verwendung von DirectML ermöglicht WebNN es Web-Apps und Frameworks, die besten verfügbaren Hardware- und Softwareoptimierungen für jede Plattform und jedes Gerät zu nutzen, ohne komplexen und plattformspezifischen Code zu benötigen.
  • Low Latency – In-Browser-Verarbeitung unterstützt neue Anwendungsfälle mit lokalen Medienquellen wie Echtzeit-Videoanalyse, Gesichtserkennung und Spracherkennung, ohne dass Daten an Remoteserver gesendet werden müssen und auf Antworten gewartet werden muss.
  • Erhaltung der Privatsphäre – Benutzerdaten bleiben auf dem Gerät erhalten und behalten den Datenschutz bei, da Web-Apps und Frameworks vertrauliche oder persönliche Informationen nicht zur Verarbeitung in Clouddienste hochladen müssen.
  • hohe Verfügbarkeit – Keine Abhängigkeit vom Netzwerk nach der anfänglichen Zwischenspeicherung von Ressourcen für Offlinefälle, da Web-Apps und Frameworks neurale Netzwerkmodelle lokal ausführen können, auch wenn die Internetverbindung nicht verfügbar oder unzuverlässig ist.
  • Niedrige Serverkosten - Auf Clientgeräten zu rechnen bedeutet, dass keine Server erforderlich sind, was den Web-Apps hilft, die Betriebs- und Wartungskosten der Ausführung von KI/ML-Diensten in der Cloud zu reduzieren.

KI/ML-Szenarien, die von WebNN unterstützt werden, umfassen generative KI, Personenerkennung, Gesichtserkennung, semantische Segmentierung, Skeletterkennung, Stilübertragung, Superauflösung, Bildbeschriftung, maschinelle Übersetzung und Rauschunterdrückung.

Anmerkung

Die WebNN-API befindet sich noch in Arbeit, mit GPU- und NPU-Unterstützung in einem Vorschaustadium. Die WebNN-API sollte derzeit nicht in einer Produktionsumgebung verwendet werden.

Frameworkunterstützung

WebNN ist als Back-End-API für Webframeworks konzipiert. Für Windows empfehlen wir, ONNX Runtime Webzu verwenden. Dies bietet eine vertraute Erfahrung bei der nativen Verwendung von DirectML und ONNX-Runtime, sodass Sie eine konsistente Erfahrung beim Bereitstellen von KI im ONNX-Format über Web- und systemeigene Anwendungen hinweg haben können.

WebNN-Anforderungen

Sie können Informationen zu Ihrem Browser überprüfen, indem Sie in der Adressleiste Ihres Chromium-Browsers zu about://version navigieren.

Hardware Webbrowser Windows-Version ONNX-Runtime-Webversion Treiberversion
GPU WebNN erfordert einen Chromium-Browser*. Verwenden Sie die neueste Version von Microsoft Edge Beta. Mindestversion: Windows 11, Version 21H2. Mindestversion: 1.18 Installieren Sie den neuesten Treiber für Ihre Hardware.
NPU WebNN erfordert einen Chromium-Browser*. Verwenden Sie die neueste Version von Microsoft Edge Canary. Weitere Informationen zum Deaktivieren der GPU-Blockliste finden Sie weiter unten. Mindestversion: Windows 11, Version 21H2. Mindestversion: 1.18 Intel-Treiberversion: 32.0.100.2381. Weitere Informationen zum Aktualisieren des Treibers finden Sie in den häufig gestellten Fragen.

Diagramm der Struktur hinter der Integration von WebNN in Ihre Web-App

Anmerkung

Chromium-basierte Browser können derzeit WebNN unterstützen, hängen jedoch vom Implementierungsstatus des jeweiligen Browsers ab.

Anmerkung

Starten Sie für die NPU-Unterstützung Edge über die Befehlszeile mit der folgenden Kennzeichnung: msedge.exe --disable_webnn_for_npu=0

Modellunterstützung

GPU (Vorschau):

Bei der Ausführung auf GPUs unterstützt WebNN derzeit die folgenden Modelle:

WebNN funktioniert auch mit benutzerdefinierten Modellen, solange die Operatorunterstützung ausreicht. Überprüfen Sie den Status der Operatoren hier.

NPU (Vorschau):

Auf Intel Core®™ Ultra-Prozessoren mit Intel® AI Boost NPU unterstützt WebNN:

Häufig gestellte Fragen

Wie kann ich ein Problem mit WebNN ablegen?

Für allgemeine Probleme mit WebNN geben Sie bitte ein Problem in unserem WebNN Developer Preview GitHub-

Bei Problemen mit ONNX Runtime Web oder dem WebNN-Ausführungsanbieter gehen Sie zu ONNXRuntime Github.

Wie kann ich Probleme mit WebNN debuggen?

Die WebNN W3C Spec enthält Informationen zur Fehlerverteilung, in der Regel über DOM-Ausnahmen. Das Protokoll am Ende der about://gpu kann auch hilfreiche Informationen haben. Für weitere Probleme geben Sie bitte ein Problem wie oben verlinkt ein.

Unterstützt WebNN andere Betriebssysteme?

Derzeit unterstützt WebNN das Windows-Betriebssystem am besten. Versionen für andere Betriebssysteme sind in Bearbeitung.

Welche Hardware-Back-Ends sind derzeit verfügbar? Werden bestimmte Modelle nur mit bestimmten Hardware-Back-Ends unterstützt?

Informationen zur Unterstützung für Operatoren finden Sie in WebNN unter Implementierungsstatus von WebNN-Operationen | Web Machine Learning.

Was sind die Schritte zum Aktualisieren des Intel-Treibers für den NPU-Support (Vorschau)?

  1. Suchen Sie den aktualisierten Treiber auf Intels Treiber-Website.
  2. Entkomprimen Sie die ZIP-Datei.
  3. Drücken Sie WIN+R, um das Dialogfeld "Ausführen" zu öffnen.
  4. Geben Sie "devmgmt.msc" in das Textfeld ein.
  5. Drücken Sie die EINGABETASTE, oder klicken Sie auf 'OK'.
  6. Öffnen Sie im Geräte-Manager den Knoten "Neurale Prozessoren".
  7. Klicken Sie mit der rechten Maustaste auf den NPU-Treiber, den Sie aktualisieren möchten.
  8. Wählen Sie im Kontextmenü "Treiber aktualisieren" aus.
  9. Wählen Sie "Meinen Computer nach Treibern durchsuchen" aus.
  10. Wählen Sie "Ich kann aus einer Liste der verfügbaren Treiber auf meinem Computer auswählen" aus.
  11. Drücken Sie die Schaltfläche "Datenträger haben"
  12. Drücken Sie die Schaltfläche "Durchsuchen".
  13. Navigieren Sie zu dem Ort, an dem Sie die oben genannte ZIP-Datei dekomprimiert haben.
  14. Drücken Sie OK.