Начните использовать функции на базе ИИ и APIs в приложении для Windows

Windows Copilot Runtime предлагает различные функции, поддерживаемые ИИ, и APIs, которые позволяют использовать функции ИИ без необходимости находить, запускать или оптимизировать собственную модель машинного обучения (ML). Модели, обеспечивающие работу Windows Copilot Runtime на компьютерах Copilot+, выполняются локально и в фоновом режиме.

При использовании функций ИИ мы рекомендуем изучить: разработку ответственных приложений и функций искусственного интеллекта в Windows.

Windows Copilot Runtime функции и APIs для приложений Windows

Windows Copilot Runtime включает следующие функции и APIs с поддержкой ИИ (в пакете SDK для приложений Windows) на основе моделей, работающих локально на устройстве Windows.

• Phi Silica: пока недоступно. Phi Silica APIs будет включено в пакет SDK для приложений Windows. Аналогично модели GPT большого языка OpenAI ( LLM), которая позволяет ChatGPT, Phi — это небольшая языковая модель (SLM), разработанная Microsoft Research для выполнения задач обработки языка на локальном устройстве. Phi Silica специально разработан для устройств Windows с нейронным процессором (NPU), что позволяет генерировать текст и использовать функции диалога с высокой производительностью, ускоряя работу на аппаратном уровне непосредственно на устройстве.

• Text Recognition сOCR: пока недоступно.Text RecognitionAPIs (также называемое оптическое распознавание символов или OCR) будет выпущен в Windows App SDK. Эти APIs позволяют распознать текст в изображении и преобразовать различные типы документов (например, сканированные бумажные документы, PDF-файлы или изображения, захваченные цифровой камерой) в редактируемые и доступные для поиска данные на локальном устройстве.

• APIsвизуализации: пока недоступно.APIsAPIs СИ будет отправляться в пакет SDK для приложений Windows. Эти APIs выполняют различные действия, такие как интеллектуальное масштабирование изображений и определение объектов в изображениях.

• Studio Effects: доступны в Windows 11 версии 22H2 или более поздней (сборка 22623.885+), на компьютерах Copilot+ устройствах Windows с совместимыми единицами нейронной обработки (NPUs) интегрируются Studio Effects в встроенные параметры камеры устройства и микрофона. Примените специальные эффекты, которые используют ИИ, включая фоновый размытие, исправление контакта глаз, автоматическое обрамление, исправление книжного света, творческие фильтры или фокус голоса для фильтрации фонового шума.

• Recall: доступно для предварительного просмотра через программу Windows Insiders на компьютерах Copilot+.Recall позволяет пользователям быстро находить вещи из их прошлой активности, такие как документы, изображения, веб-сайты и т. д. Разработчики могут обогатить пользовательский Recall опыт с приложением, добавив контекстную информацию в векторную базу данных, используя API активности пользователей . Эта интеграция поможет пользователям выбрать место, в котором они остались в приложении, что улучшает взаимодействие с приложениями и простой поток пользователей между Windows и приложением.

• Живые переводы субтитров помогают всем пользователям Windows, включая глухих и слабослышащих, лучше понимать аудио, просматривая субтитры речевого контента (даже если аудио содержимое на другом языке, нежели предпочтительный язык системы).

Облачное решение на базе ИИ APIs для приложений Windows

Вы также можете заинтересоваться использованием APIs, запускающих модели в облаке для обеспечения работы функций искусственного интеллекта, которые можно добавить в приложение Windows. Ниже приведены некоторые примеры облачных ИИ APIs , поддерживаемых корпорацией Майкрософт или OpenAI:

• Добавление завершений чата OpenAI в классическое приложение WinUI 3/ Windows App SDK. Руководство по интеграции возможностей завершения OpenAI ChatGPT в классическое приложение Пакета SDK для приложений WinUI 3/ Windows App SDK.

• Добавьте DALL-E в классическое приложение WinUI 3/ Windows App SDK: руководство по интеграции возможностей создания образов OpenAI DALL-E в классическое приложение WinUI 3/ Windows App SDK.

• Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT. Руководство по созданию примера приложения рекомендаций, которое интегрирует возможности завершения OpenAI ChatGPT в приложение .NET MAUI.

• Добавьте DALL-E в классическое приложение .NET MAUI Для Windows: руководство по интеграции облачных возможностей создания образов OpenAI DALL-E в приложение .NET MAUI.

• Служба Azure OpenAI: если вы хотите, чтобы ваше приложение Для Windows доступ к моделям OpenAI, таким как GPT-4, GPT-4 Turbo с vision, GPT-3.5-Turbo, DALLE-3 или серии моделей Внедрения, с добавленными возможностями безопасности и предприятия Azure, вы можете найти рекомендации в этой документации по Azure OpenAI.

• Службы ИИ Azure: Azure предлагает целый набор служб ИИ, доступных с помощью APIs пакетов SDK rest и клиентской библиотеки на популярных языках разработки. Дополнительные сведения см. в документации по каждой службе. Эти облачные службы помогают разработчикам и организациям быстро создавать интеллектуальные, передовые, готовые к рынкам и ответственные приложения с готовыми и предварительно созданными и настраиваемыми APIs моделями. Примеры приложений включают обработку естественного языка для бесед, поиска, мониторинга, перевода, речи, зрения и принятия решений.

Рекомендации по использованию локальных и облачных ИИ, поддерживаемых APIs в приложении Windows

При выборе между использованием API в приложении Windows, который использует модель машинного обучения локально, а не в облаке, существует несколько преимуществ и недостатков, которые следует учитывать.

• Доступность ресурса

  • Локальное устройство: выполнение модели зависит от ресурсов, доступных на используемом устройстве, включая ЦП, GPU, NPU, память и емкость хранилища. Это может быть ограничение, если устройство не имеет высокой вычислительной мощности или достаточного хранилища. Небольшие языковые модели (SLM), такие как Phi, более идеально подходят для локального использования на устройстве.
  • Облако: облачные платформы, такие как Azure, предлагают масштабируемые ресурсы. Вы можете использовать столько вычислительной мощности или хранилища, сколько вам нужно, и платить только за то, что вы используете. Для больших языковых моделей (LLM), таких как языковые модели OpenAI, требуются дополнительные ресурсы, но и более мощные.

• Конфиденциальность и безопасность данных

  • Локальное устройство: так как данные остаются на устройстве, работа модели локально может быть более безопасной и частной. Ответственность за безопасность данных зависит от пользователя.
  • Облако: поставщики облачных служб предлагают надежные меры безопасности, но данные необходимо передать в облако, что может вызвать проблемы конфиденциальности данных в некоторых случаях.

• Специальные возможности и совместная работа

  • Локальное устройство: модель и данные доступны только на устройстве, если не предоставлен общий доступ вручную. Это может сделать совместную работу с данными модели более сложной.
  • Облако: модель и данные могут быть доступны в любом месте с подключением к Интернету. Это может быть лучше для сценариев совместной работы.

• Стоимость

  • Локальное устройство: нет дополнительных затрат за рамки первоначальных инвестиций на устройство.
  • Облако. Хотя облачные платформы работают с моделью оплаты по мере использования, затраты могут накапливаться на основе используемых ресурсов и длительности использования.

• Обслуживание и обновления

  • Локальное устройство: пользователь отвечает за обслуживание системы и установку обновлений.
  • Облако: обслуживание, обновления системы и новые обновления компонентов обрабатываются поставщиком облачных служб, что снижает затраты на обслуживание для пользователя.

Дополнительные сведения о различиях между запуском небольшой языковой модели (SLM) локально и большой языковой моделью (LLM) в облаке см. в статье "Запуск небольшой языковой модели( SLM) и большая языковая модель (LLM) в облаке.