Обзор разработки в Unreal
Внимание
Корпорация Майкрософт и Unreal прекратила поддержку Unreal Engine для HoloLens 2. Клиенты могут продолжать использовать Unreal Engine для разработки приложений для HoloLens 2, но поддержка прекращена (исправления ошибок, обновления содержимого или техническая поддержка). Существующие приложения будут продолжать работать в последней версии Unreal 4. Приложения для HoloLens 2 можно также разрабатывать с помощью Unity.
Начало работы с приложениями смешанной реальности — это большая задача. Отпугивать здесь может необходимость осваивать новые понятия, платформы и ультрасовременные периферийные устройства. Но если вы уже разрабатываете в Unreal, для вас есть хорошие новости. Unreal Engine 5 имеет полную поддержку устройств Windows Смешанная реальность (VR) и HoloLens 2 (AR).
Последние выпуски Unreal Engine 4.27+ включают:
- Подключаемый модуль Windows Смешанная реальность (WMR), замененный подключаемым модулем OpenXR и Microsoft OpenXR (Marketplace или GitHub)
- OpenXR предлагает четность функций с WMR
- Унифицированный API для кроссплатформенной разработки
- OpenXR доступен для создания приложения в ядре — полный набор функций, доступный с подключаемым модулем Microsoft OpenXR
- Выпуск обновлений подключаемого модуля Microsoft OpenXR при готовности вместо обновлений в подсистеме
- Использование подключаемого модуля средств графики для Unreal для улучшения визуальной точности приложений Смешанная реальность при сохранении производительности
- Подключаемый модуль HoloLensAR удален в Unreal 5.0
- Поддержка средств блокировки мира (5.0+)
- Поддержка привязок объектов Azure (4.27+)
Дополнительные сведения см. в заметках о выпуске Unreal Engine 5.0.
Если же вы новичок в разработке с использованием Unreal, советуем сначала изучить наши материалы. Изучите ресурсы Unreal и найдите ресурсы в Unreal Marketplace. Вы также можете найти поддержку на форумах смешанной реальности и документации Unreal. Эти ресурсы помогут вам присоединиться к сообществу разработчиков и специалистов по решению задач на сегодняшнем рынке смешанной реальности.
Внимание
Ознакомьтесь с нашим руководством по переносу, если у вас есть существующий проект Unreal, который вы хотите перенести на иммерсивные гарнитуры, например Reverb G2.
Этапы разработки
Используйте следующие контрольные точки, чтобы реализовать свои игры и приложения Unreal в мире смешанной реальности. Если вы еще не изучили пример приложения для создания голограмм, рекомендуем скачать его. Пример поможет вам ознакомиться с основами пользовательских интерфейсов смешанной реальности.
1. Начало работы
Сначала необходимо установить инструменты для разработки на HoloLens 2. Затем изучите нашу серию руководств, чтобы получить базовое представление об инструментарии Смешанной реальности (надлежащим образом настроенной среде разработки для приложений смешанной реальности) и работающем проекте MRTK в Unreal. В Unreal 4.26 вы также можете разрабатывать приложения OpenXR для HoloLens 2.
| Контрольная точка | Результат |
|---|---|
| Установка последних средств | Скачивание и установка последней версии Unreal Engine и настройка проекта для смешанной реальности. |
| Настройка проекта | Получить последнюю версию Unreal Engine и MRTK |
| Создание первого приложения для HoloLens в Unreal | Начало разработки в Unreal и на HoloLens путем создания простого приложения смешанной реальности. |
| Серия учебников HoloLens 2 | Настройка среды для разработки приложений смешанной реальности в Unreal, создание первого приложения с помощью MRTK и развертывание его на устройстве HoloLens 2. |
| Начало работы с OpenXR в Unreal | Установите и включите следующий подключаемый модуль из Unreal Engine Marketplace:Подключаемый модуль Microsoft Windows Mixed Reality должен быть отключен. Полный список поддерживаемых сейчас функций в OpenXR приведен ниже. |
2. Основные компоненты
Ряд основных функций смешанной реальности не описан в нашей серии руководств. Эти стандартные блоки доступы в качестве отдельных функций и в Mixed Reality Toolkit. Скорее всего, вам потребуются только некоторые из них, но мы все равно рекомендуем заранее ознакомиться с их возможностями. Изучив стандартные блоки, приведенные ниже, вы сможете использовать набор функций, которые можно интегрировать в проект смешанной реальности.
Mixed Reality Toolkit для Unreal — это набор подключаемых модулей, призванных ускорить разработку в Unreal. В состав каждого из подключаемых модулей входят примеры кода, документация и компоненты, которые помогут вам в реализации иммерсивного взаимодействия с пользователем.
UX Tools для Unreal — первый выпускаемый подключаемый модуль. Сейчас его поддерживает только HoloLens 2. Подключаемый модуль включает в себя код на C++, схемы и примеры активов общих функций UX для имитации ввода, взаимодействий с помощью руки, притяжения к поверхности и много другого.
Graphics Tools для Unreal — это подключаемый модуль для игр на UE с кодом, схемами и примерами активов. Он призван помочь в улучшении графики приложений смешанной реальности с минимальным влиянием на производительность.
| Функция | Возможности |
|---|---|
| Моделирование входных данных | Использование ввода с помощью мыши и клавиатуры в редакторе для имитации виртуального шлема (HMD) и функций отслеживания рук |
| Взаимодействие с рукой | Взаимодействие с компонентами пользовательского интерфейса с помощью выраженного ввода движениями рук |
| Кнопка с возможностью нажатия | Задание состояния схем кнопок через низкоуровневые компоненты |
| Манипулятор. | Перемещение и вращение субъекта с помощью ввода манипулированием одной или двумя руками |
| Отслеживание. | Сохранение субъекта или компонента в поле зрения другого компонента |
Примечание.
Дополнительные сведения см. в репозитории UX Tools для Unreal на GitHub.
3. Дополнительные функции
Другие ключевые функции, которые играют важную роль в приложениях смешанной реальности, доступны без установки дополнительных пакетов или настройки. Такие функции можно добавить в проекты Unreal с установленным набором MRTK или без него. Изучив расширенные функции, вы сможете создавать более сложные приложения смешанной реальности.
| Функция | Возможности |
|---|---|
| Камера HoloLens | Получение визуального содержимого смешанной реальности и физического мира из приложения, выполняющегося на устройстве HoloLens. |
| QR-коды | Отрисовка QR-кодов в виде голограмм с использованием системы координат в физическом расположении каждого кода. |
| WinRT | Создание отдельного двоичного файла с кодом WinRT, который может использоваться системой сборки Unreal. |
4. Потоковая передача и развертывание на устройстве
Если в ходе разработки вы хотите протестировать приложение на устройстве HoloLens, вы можете выполнить его потоковую передачу непосредственно со своего компьютера через Unreal Editor или с помощью пакетного исполняемого файла Windows.
Если вы впервые развертываете приложение Unreal на HoloLens 2, вам потребуется скачать вспомогательные файлы из Epic Launcher. После установки этих файлов вы можете выполнить развертывание из Unreal Editor или с портала устройств.
5. Добавление служб
На этом этапе разработки вам, возможно, потребуется добавить службы или получить помощь в коммерческой разработке. Интеграция облачных служб Azure позволяет значительно расширить возможности ваших проектов. Мы подготовили несколько основных ресурсов, которые расширят ваши знания о смешанной реальности.
Пространственные привязки Azure (ASA) — это кросс-платформенная служба, позволяющая создавать приложения смешанной реальности с поддержкой пространственных данных. С помощью Пространственных привязок Azure вы можете картировать, сохранять голографическое содержимое и предоставлять к нему доступ на различных устройства и в реальном масштабе.
6. Альтернативные варианты с возможностью малокодовой разработки (Low-code)
Microsoft Dynamics 365 Guides — это приложение смешанной реальности для Microsoft HoloLens, которое позволяет операторам обучаться в ходе работы, предоставляя при необходимости голографические инструкции. Такие карточки инструкций визуально привязаны к месту выполнения работы и могут включать изображения, видео и трехмерные голографические модели.
Дальнейшие действия
Разработчику всегда будет чем заняться, особенно при изучении нового инструмента или пакета SDK. В приведенных ниже разделах вы найдете информацию для более опытных разработчиков, а также полезные ресурсы, которые помогут вам, если у вас возникнут трудности. Учтите, что эти темы и ресурсы не имеют определенного порядка, поэтому вы можете изучать их в любой последовательности.
Отладка
Если вы хотите выполнить отладку приложения с помощью Visual Studio, когда оно работает на устройстве, следуйте этим инструкциям.
Производительность
При разработке для смешанной реальности необходимо учитывать требования к производительности, которые зависят от платформы. Приложение HoloLens 2 должно обрабатывать 60 кадров в секунду, чтобы голограммы работали стабильно и с приемлемым временем отклика. Повысить производительность в приложениях Unreal можно, выполнив наши рекомендации.
Поддерживаемые возможности
| Функция HoloLens 2 | Самая ранняя поддерживаемая версия Unreal Engine | Поддерживается в OpenXR (4.26 и более поздней версии) |
|---|---|---|
| Поддержка ARM64 | 4,23 | ✔️ |
| Потоковая передача с компьютера | 4,23 | ✔️ |
| Пространственное сопоставление | 4,23 | ✔️ |
| Отслеживание рук и суставов | 4,23 | ✔️ |
| Отслеживание взгляда | 4,23 | ✔️ |
| Голосовой ввод | 4,23 | ✔️ |
| Пространственные привязки | 4,23 | ✔️ |
| Доступ к камере | 4,23 | ✔️ |
| QR-коды | 4,23 | ✔️ |
| Пространственный звук | 4,23 | ✔️ |
| Планарные координаты LSR при потоковой передаче | 4.24 | |
| Примеры приложений | 4.24 | ✔️ |
| Мобильное многоразовое представление: производительность достигает 60 fps | 4.25 | ✔️ |
| Потоковая передача из упакованного классического приложения | 4.25.1 | ✔️ |
| Пространственные привязки Azure для HoloLens 2 | 4.25 | ✔️ |
| Поддержка Mixed Reality UX Tools | 4.25 | ✔️ |
| Документация и руководства для разработчиков | 4.25 | ✔️ |
| Системная клавиатура | 4.26 | ✔️ |
| Подключаемый модуль медиапроигрывателя HoloLens | 4.26 | ✔️ |
| Пространственные привязки Azure для iOS и Android | 4.26 | |
| Подключаемый модуль Microsoft OpenXR с расширениями OpenXR для отдельных поставщиков | 4.26 | ✔️ |
| Потоковая передача из Azure в HoloLens 2 | 4.26 | ✔️ |
| обеспечение соответствия для упакованных приложений с помощью комплекта сертификации приложений для Windows; | 4.26 | ✔️ |
| поддержка контроллера HP Reverb G2. | 4.26 | ✔️ |