Обзор WebNN
API веб-нейронной сети (WebNN) — это новый веб-стандарт, позволяющий веб-приложениям и платформам ускорить глубокие нейронные сети с помощью gpu, ЦП или специально созданных акселераторов ИИ, таких как NP. API WebNN использует API DirectML в Windows для доступа к собственным возможностям оборудования и оптимизации выполнения моделей нейронной сети.
Поскольку использование искусственного интеллекта и машинного обучения в приложениях становится более популярным, API WebNN предоставляет следующие преимущества:
- Оптимизация производительности. Используя DirectML, WebNN позволяет веб-приложениям и платформам использовать лучшие возможности оптимизации оборудования и программного обеспечения для каждой платформы и устройства, не требуя сложного и конкретного кода платформы.
- Низкая задержка . Вывод в браузере помогает включить новые варианты использования с локальными источниками мультимедиа, такими как анализ видео в режиме реального времени, обнаружение лиц и распознавание речи, без необходимости отправлять данные на удаленные серверы и ждать ответов.
- Сохранение конфиденциальности — данные пользователей остаются на устройстве и сохраняют конфиденциальность пользователей, так как веб-приложения и платформы не должны передавать конфиденциальные или персональные данные в облачные службы для обработки.
- Высокий уровень доступности — отсутствие зависимости от сети после первоначального кэширования ресурсов в автономном режиме, так как веб-приложения и платформы могут локально запускать модели нейронной сети, даже если подключение к Интернету недоступно или ненадежно.
- Низкие затраты на сервер — вычисления на клиентских устройствах не требуются серверы, что помогает веб-приложениям сократить затраты на эксплуатацию и обслуживание служб искусственного интеллекта и машинного обучения в облаке.
Ai/ML, поддерживаемый WebNN, включают генеривные ИИ, обнаружение людей, обнаружение лиц, семантические сегментации, обнаружение скелетов, передача стилей, супер разрешение, подпись изображения, машинный перевод и подавление шума.
Примечание.
API WebNN по-прежнему выполняется, с поддержкой GPU в состоянии предварительной версии и поддержка NPU в ближайшее время. В настоящее время API WebNN не следует использовать в рабочей среде.
Поддержка платформы
WebNN разработан в качестве серверного API для веб-платформ. Для Windows рекомендуется использовать веб-сайт среды выполнения ONNX. Это дает знакомый интерфейс для использования DirectML и ONNX Runtime в собственном коде, чтобы обеспечить согласованное развертывание ИИ в формате ONNX в веб-приложениях и собственных приложениях.
Требования к WebNN
Вы можете проверка сведения о браузере, перейдя к about://version в адресной строке браузера chromium.
| Оборудование | Веб-браузеры | Версия Windows | Веб-версия среды выполнения ONNX | Версия драйвера |
|---|---|---|---|---|
| GPU | Для WebNN требуется браузер Chromium*. Используйте последнюю версию бета-версии Microsoft Edge. | Минимальная версия: Windows 11 версии 21H2. | Минимальная версия: 1.18 | Установите последний драйвер для оборудования. |
Примечание.
Браузеры на основе Chromium в настоящее время могут поддерживать WebNN, но будут зависеть от состояния реализации отдельного браузера.
Поддержка моделей
GPU (предварительная версия):
При запуске на gpu, WebNN в настоящее время поддерживает следующие модели:
- Стабильное диффузионное турбо
- Стабильная диффузия 1,5
- Whisper-base
- MobileNetv2
- Сегментирование всех компонентов
- ResNet
- Эффективная сеть
- SqueezeNet
WebNN также работает с пользовательскими моделями до тех пор, пока поддержка операторов достаточна. Проверьте состояние операторов здесь.
Вопросы и ответы
Разделы справки файл проблемы с WebNN?
Для общих проблем с WebNN отправьте проблему на веб-сайте WebNN Developer Preview GitHub
Для проблем с веб-средой выполнения ONNX или поставщиком выполнения WebNN перейдите на сайт ONNXRuntime Github.
Разделы справки проблемы отладки с WebNN?
Спецификация WebNN W3C содержит сведения о распространении ошибок, как правило, с помощью исключений DOM. Журнал в конце about://gpu также может содержать полезные сведения. Для дальнейших проблем отправьте файл проблемы, как описано выше.
Поддерживает ли WebNN другие операционные системы?
В настоящее время WebNN лучше всего поддерживает операционную систему Windows. Выполняется версия операционных систем Mac.
Какие аппаратные внутренние компоненты сейчас доступны? Поддерживаются ли некоторые модели только с определенными аппаратными внутренними устройствами?
Сведения о поддержке операторов в WebNN см. в разделе "Состояние реализации операций WebNN" | Веб-Машинное обучение.