Windows Copilot Runtime Обзор
Windows Copilot Runtime — это набор средств, которые предоставляют разработчикам возможность создавать интерфейсы искусственного интеллекта в Windows и для Windows, включая новые способы взаимодействия с операционной системой.
Чтобы Windows Copilot Runtime APIs разработчики приложений Windows могли получать доступ к функциям ИИ, которые выполняются локально в операционной системе, без необходимости находить, запускать или оптимизировать собственную модель Машинное обучение (ML). Windows Copilot RuntimeAPIs предназначен для доступности в выпуске пакета SDK для приложений Windows 1.7, запланированного на январь 2025 г. Дополнительные сведения о пакете SDK для приложений Windows.
Фи Силика входит в число этих APIs. Языковая модель на устройстве, созданная Microsoft Research, Phi Silica предлагает множество одинаковых возможностей, найденных в крупных языковых моделях (LLMs), но более компактным и эффективным, чтобы он мог работать локально в Windows.
Text Recognition, или оптическое распознавание символов (OCR), которое распознает и извлекает текст в изображении, будет доступно в качестве API, работающего в соответствии с Phi Silica.
Recall, функция поиска с поддержкой искусственного интеллекта, которая делает прошлые действия на устройстве Windows, доступной для поиска, чтобы вы могли выбрать место, где вы ушли, независимо от того, используется ли приложение, редактирование документа или реагирование на сообщение электронной почты.
Studio Effects Улучшает возможности камеры и звука устройств Windows с совместимыми единицами нейронной обработки (NPUs) для применения фоновых эффектов с использованием искусственного интеллекта, коррекции контакта глаз, автоматического обрамления, голосового фокуса, размытия, освещения и творческих фильтров, выполняемых на устройстве NPU для обеспечения быстрой скорости производительности.
Трансляции субтитров помогают всем пользователям в Windows, включая тех, кто глухий или труднослышаемый, лучше понять звук, просматривая субтитры речевого содержимого, даже если звуковое содержимое находится на языке, отличном от предпочтительного языка системы.
Интеграция собственных моделей машинного обучения
Помимо ИИWindows Copilot RuntimeAPIs, у нас есть средства и рекомендации по улучшению приложения с помощью моделей Машинное обучение (ML).
AI Toolkit В Visual Studio Code вы можете интегрировать собственные модели машинного обучения с помощью таких платформ, как ONNX RuntimePyTorch или WebNN, и получить доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML.
Подробнее:
- Как приложения Windows могут использовать модели машинного обучения?
- Где можно найти открытый код модели машинного обучения в Интернете?
- Разделы справки оптимизировать модель машинного обучения для использования в приложении Windows?
- Как настроить модель машинного обучения с собственными пользовательскими данными?
- Как использовать аппаратное ускорение для повышения производительности с помощью функций ИИ?
Ответственные ИИ pracitces и примеры
Разработка приложений с помощью искусственного интеллекта с помощью Windows Copilot Runtime моделей создания искусственного интеллекта на устройстве, которые помогают применять локальные функции безопасности содержимого, такие как подсистемы классификации на устройстве для вредного содержимого и список блокировок по умолчанию. Корпорация Майкрософт определяет приоритеты, поддерживающие разработчиков для создания безопасных и надежных возможностей искусственного интеллекта с локальными моделями в Windows. Дополнительные сведения о ответственных методиках разработки, которые применяются при создании приложений и функций с поддержкой искусственного интеллекта, которые выполняются на устройствах Windows, в руководстве по разработке приложений и функций ответственного искусственного интеллекта в Windows .
Дополнительные ресурсы для разработчиков, заинтересованных в интегрированных функциях ИИ или моделях с приложением Windows, включают:
ИИ в коллекции примеров Windows: примеры, демонстрирующие способы интеграции ИИ в приложения Windows.
Часто задаваемые вопросы об использовании ИИ с Windows: часто задаваемые вопросы о терминологии и понятиях, связанных с использованием ИИ в контексте Windows, в которых рассматриваются такие вопросы, как "Что такое DirectML?", "Что такое ONNX?", "Что такое ORT?", "Что такое NPU?", "Что такое SLM?", "Что такое вывод?" и т. д.
Начало работы с моделями ONNX в приложении WinUI с помощью ONNX Runtime