Поделиться через

Обзор Windows Copilot Runtime

  • Статья

Windows Copilot Runtime предлагает различные функции, поддерживаемые ИИ, и APIs, которые позволяют использовать функции ИИ без необходимости находить, запускать или оптимизировать собственную модель машинного обучения (ML). Модели, обеспечивающие работу Windows Copilot Runtime на компьютерах Copilot+, работают локально и в фоновом режиме.

Windows Copilot Runtime функции и APIs для приложений Windows

Windows Copilot Runtime включает в себя следующие функции и поддерживаемый ИИ APIs (в пакете SDK для приложений Windows ), основанный на моделях, работающих локально на устройстве Windows.

  • Phi Silica: пока недоступно.APIs Phi Silica будет поставляться в пакет SDK для приложений Windows. Аналогично большой языковой модели GPT от OpenAI (LLM), которая обеспечивает работу ChatGPT, Phi — это небольшая языковая модель (SLM), разработанная подразделением Microsoft Research для выполнения задач обработки языка на локальном устройстве. Phi Silica специально предназначен для устройств Windows с нейронным процессором (NPU), что позволяет функциям генерации текста и общения работать в высокопроизводительном, аппаратно ускоренном режиме непосредственно на устройстве.

  • Text Recognition сOCR, пока недоступно.Text RecognitionAPIs (также называемое оптическим распознаванием символов или OCR) будет включено в Windows App SDK. Эти APIs позволяют распознать текст в изображении и преобразовать различные типы документов (например, сканированные бумажные документы, PDF-файлы или изображения, захваченные цифровой камерой) в редактируемые и доступные для поиска данные на локальном устройстве.

  • APIs визуализации: пока недоступно.APIsAPIs СИ будет отправляться в пакет SDK для приложений Windows. Эти APIs выполняют различные действия, такие как умное масштабирование изображений и определение объектов в изображениях.

  • Studio Effects: доступны в Windows 11 версии 22H2 или более поздней (сборка 22623.885+), на компьютерах Copilot+ устройствах Windows с совместимыми единицами нейронной обработки (NPUs) интегрируются Studio Effects в встроенные параметры камеры устройства и микрофона. Примените специальные эффекты, которые используют ИИ, включая фоновое размытие, исправление зрительного контакта, автоматическое обрамление, коррекция портретного освещения, творческие фильтры или фокусировка на голосе для фильтрации фонового шума.

  • Recall: доступно для предварительного просмотра через программу Windows Insiders на компьютерах Copilot+.Recall позволяет пользователям быстро находить вещи из своей прошлой активности, например документы, изображения, веб-сайты и т. д. Разработчики могут расширить Recall взаимодействия пользователя с приложением, добавив контекстную информацию в базовую базу данных векторов с API действий пользователей. Эта интеграция поможет пользователям выбрать место, в котором они остались в вашем приложении, что улучшает вовлеченность в приложение и обеспечивает беспрепятственный переход пользователей между Windows и вашим приложением.

  • автоматические переводы субтитров помогают всем пользователям Windows, включая глухих и слабослышащих, лучше понимать аудио посредством субтитров для устного контента (даже если аудиоконтент на языке, отличном от предпочтительного языка системы).

Интеграция собственных моделей машинного обучения

Помимо ИИWindows Copilot RuntimeAPIs, у нас есть средства и рекомендации по улучшению приложения с помощью моделей Машинное обучение (ML).

AI Toolkit В Visual Studio Code вы можете интегрировать собственные модели машинного обучения с помощью таких платформ, как ONNX RuntimePyTorch или WebNN, и получить доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML.

Подробнее:

Рекомендации по ответственному использованию искусственного интеллекта

Разработка приложений с ответственным подходом к ИИ с использованием Windows Copilot Runtime генеративных моделей ИИ на устройстве, которые помогают обеспечивать безопасность локального контента, таких как системы классификации вредного содержимого на устройстве и список блокировки по умолчанию. Корпорация Майкрософт определяет приоритеты, поддерживающие разработчиков для создания безопасных и надежных возможностей искусственного интеллекта с локальными моделями в Windows. Дополнительные сведения о ответственных методиках разработки, которые применяются при создании приложений и функций с поддержкой искусственного интеллекта, которые выполняются на устройствах Windows, в руководстве по разработке приложений и функций ответственного искусственного интеллекта в Windows .

См. также