Поделиться через

Настройка нового проекта OpenXR с помощью MRTK

  • Статья

Самый простой способ настроить проект Unity для смешанной реальности — с помощью набора средств Смешанная реальность (MRTK). MRTK для Unity — это кроссплатформенный набор средств разработки с открытым кодом, предназначенный для упрощения создания удивительных приложений смешанной реальности.

Инфографика, показывающая некоторые функции набора средств Смешанная реальность.

MRTK предоставляет кросс-платформенную систему ввода, базовые компоненты и общие строительные блоки для пространственных взаимодействий. Это поможет ускорить разработку приложений для гарнитур Microsoft HoloLens, Windows Смешанная реальность иммерсивной гарнитуры (VR) и многих других устройств VR/AR. Проект направлен на сокращение барьеров для входа, что позволяет всем создавать приложения смешанной реальности и вносить свой вклад в сообщество по мере роста.

MRTK поддерживает широкий спектр платформ, в том числе:

  • Microsoft HoloLens;

  • Microsoft HoloLens 2

  • гарнитуры смешанной реальности Windows Mixed Reality;

  • гарнитуры смешанной реальности OpenVR (HTC Vive / Oculus Rift);

  • отслеживание рук Ultraleap.

  • Android и iOS устройства

Примечание.

Недавно мы представили MRTK3, третье поколение Microsoft Смешанная реальность Toolkit for Unity, построенное на основе системы управления XR Unity и набора средств взаимодействия XR, с более эффективной поддержкой различных устройств, совместимых с OpenXR, и новым языком разработки. Дополнительные сведения см. в документации по MRTK3.

Примечание.

Вы также можете настроить новый проект OpenXR без MRTK.

Другие параметры конфигурации, отличные от OpenXR, для рассмотрения

Windows XR: Корпорация Майкрософт не рекомендует использовать подключаемый модуль Windows XR для новых проектов в Unity 2020. Вместо этого следует использовать подключаемый модуль OpenXR Смешанная реальность. Однако если вы используете Unity 2019 и вам нужен AR Foundation 2.0 для совместимости с устройствами ARCore/ARKit, этот подключаемый модуль обеспечивает эту поддержку.

Устаревшая версия XR:

Если вы все еще находитесь в Unity 2019 или более ранней версии, корпорация Майкрософт рекомендует использовать поддержку устаревшей встроенной XR.

Если вы запускаете новый проект, рекомендуется установить Unity 2020 и использовать подключаемый модуль OpenXR Смешанная реальность.

Начало работы с OpenXR: создание проекта Unity

  1. Запустите Unity Hub.

  2. На вкладке Проекты щелкните Создать проект.

    Снимок экрана: Unity Hub на вкладке

  3. Щелкните раскрывающийся список Новый проект и выберите нужную версию редактора.

    Снимок экрана: Unity Hub с раскрывающимся списком версии редактора.

  4. Выбранный шаблон должен представлять собой 3D Core.

  5. В поле Имя проекта введите имя проекта, например, MRTK Tutorial.

  6. В поле Расположение щелкните значок папки, а затем перейдите к папке, в которой необходимо сохранить проект, и выберите ее. Кроме того, можно создать новую папку.

    Снимок экрана Unity Hub, на котором выделены поля

  7. Нажмите Создать проект. Откроется проект в Unity.

    Снимок экрана: проект, открытый в Unity.

Внимание

При работе в Windows есть ограничение для MAX_PATH в 255 символов. Эти ограничения влияют на Unity. Может произойти сбой компиляции, если длина пути к файлу превышает 255 символов. Поэтому рекомендуется хранить проект Unity как можно ближе к корневому каталогу диска.

Настройка целевого объекта сборки

  1. В строке меню выберите File>Build Settings... (Файл > Параметры сборки...).

    Чтобы создать приложение для Windows Смешанная реальность, необходимо выбрать целевой объект сборки. Параметры сборки для универсальная платформа Windows (UWP) предназначены для любого устройства, включая иммерсивные гарнитуры, такие как HP Reverb G2. Это лучший выбор, если вы строите для HoloLens 2; Однако если вы используете виртуальную машину для настольных компьютеров, рекомендуется использовать автономную платформу ПК, Mac и Linux.

  2. Выполните одно из следующих действий:

    Если вы используете виртуальную реальность для настольных компьютеров, выполните следующие действия.

    • Сохраните автономную платформу ПК, Mac и Linux , выбранную по умолчанию в новом проекте Unity:

    Снимок экрана: окно параметров сборки, открытое в редакторе unity с выделенным компьютером, Mac и автономной платформой

    Если вы нацелены на HoloLens 2:

    • В разделе "Платформа" выберите универсальная платформа Windows. Убедитесь, что активны следующие параметры:

    Тип сборки: проект D3D.

    Целевая версия пакета SDK: последняя установленная версия.

    Минимальная версия платформы 10.0.10240.0.

    Версия Visual Studio: последняя установленная версия.

    Снимок экрана: окно параметров сборки, открытое в редакторе unity с выделенным универсальная платформа Windows.

  3. Нажмите кнопку Сменить платформу. При смене платформы Unity отображает индикатор выполнения.

  4. По завершении процесса смены платформы закройте окно Параметры сборки.

Скачивание и установка средства компонента Смешанная реальность

Подключаемый модуль OpenXR Смешанная реальность поставляется в виде пакета для Unity. Лучший способ обнаружения, обновления и импорта пакетов компонентов — с помощью средства Смешанная реальность компонентов. Вы можете искать пакеты по имени или категории, просматривать их зависимости и проверять предлагаемые изменения в файле манифеста проектов перед импортом.

  1. Скачайте последнюю версию средства Mixed Reality Feature Tool из Центра загрузки Майкрософт.

  2. После завершения скачивания перейдите к исполняемому файлу MixedRealityFeatureTool.exe, а затем используйте его для запуска средства компонента Смешанная реальность.

    Снимок экрана: открытие MixedRealityFeatureTool.

Импорт пакетов Смешанная реальность Toolkit и OpenXR

  1. В Mixed Reality Feature Tool выберите Start.

    Снимок начального экрана в Mixed Reality Feature Tool.

  2. Нажмите кнопку обзора (это кнопка с трем точками на рисунке ниже), перейдите к проекту и откройте его.

    Открытие вашего проекта

    Примечание.

    Поле пути проекта в инструменте должно содержать значение, поэтому по умолчанию он вставляет обратную косую черту ("_").

    После выбора папки средство проверяет, является ли она допустимой папкой проекта Unity.

    Снимок экрана Project Path

  3. Выберите Discover Features (Обнаружение компонентов).

    Примечание. Может потребоваться подождать несколько секунд, пока средство обновит пакеты из каналов.

  4. На странице Discover Features обратите внимание на то, что имеется список из шести групп пакетов.

    Основные группы пакетов в Mixed Reality Feature Tool

  5. Нажмите кнопку "+" слева от Mixed Reality Toolkit (0 of 10), а затем выберите последнюю версию Mixed Reality Toolkit Foundation.

    Примечание.

    Пакет Mixed Reality Toolkit Foundation является единственным пакетом, который необходимо импортировать и настроить, чтобы использовать MRTK в проекте. Этот пакет включает в себя основные компоненты для создания приложения смешанной реальности.

  6. Нажмите кнопку "+" слева от элемента Platform Support (0 of 5) и выберите последнюю версию Mixed Reality OpenXR Plugin.

    Снимок экрана: выбор пакетов в Mixed Reality Feature Tool.

  7. Выполнив выбор, щелкните Get Features (Получить компоненты).

  8. Выберите Validate (Проверить), чтобы проверить выбранные пакеты. Вы увидите диалоговое окно с текстом No validation issues were detected (Проблемы при проверке не обнаружены). После этого щелкните ОК.

  9. На странице Import Features (Импорт компонентов) в левом столбце в списке Components (Компоненты) отображаются только что выбранные пакеты. В правом столбце Required dependencies (Обязательные зависимости) нет ни одной зависимости. Чтобы узнать больше о них, щелкните ссылку Details (Сведения) для любого из этих элементов.

  10. Когда вы будете готовы продолжить, выберите Import (Импорт). На странице Review and Approve (Проверка и утверждение) можно просматреть сведения о пакетах.

  11. Выберите Утвердить.

  12. Вернитесь в редактор Unity и щелкните пустую область в пользовательском интерфейсе. Появится индикатор выполнения, показывающий, что выполняется импорт пакетов.

Настройка параметров серверной части ввода

  1. После импорта пакета Unity появится предупреждение о том, нужно ли включить серверные части, перезагрузив редактор. Выберите Да.

    Снимок экрана с параметром перезапуска Unity.

Настройка проекта для HoloLens 2 с помощью проверки проекта (MR OpenXR 1.6+)

Если вы разрабатываете для классической виртуальной реальности, пропустите этот раздел и перейдите к разделу "Настройка проекта для классической виртуальной реальности".

  1. В строке меню щелкните Смешанная реальность > Параметры > проверки проекта HoloLens 2 (UWP), чтобы включить правила проверки для HoloLens 2. Для подключаемых модулей MR OpenXR до версии 1.9 доступны пункт меню Смешанная реальность > Project > Apply рекомендуемые параметры проекта для HoloLens 2.
  2. В всплывающем окне проверки проекта убедитесь, что вы находитесь на вкладке платформы UWP (на логотипе Windows) и нажмите кнопку "Исправить все ", чтобы устранить проблемы с проверкой. Обратите внимание, что могут возникнуть проблемы, которые остаются после нажатия кнопки "Исправить все". В этом случае попробуйте снова нажать кнопку "Исправить все ", игнорировать все проблемы, помеченные как "сцена конкретной" (если таковые имеются), и идти по остальным проблемам (если таковые имеются), чтобы узнать, есть ли какие-либо предлагаемые изменения, которые вы хотите внести.
  3. Проект почти готов к развертыванию HoloLens 2 на этом этапе. Перейдите к настройке параметров проигрывателя для следующего шага.

Настройка проекта для HoloLens 2 вручную

Если вы разрабатываете для классической виртуальной реальности, пропустите этот раздел и перейдите к разделу "Настройка проекта для классической виртуальной реальности".

  1. Убедитесь, что окно параметров проекта открыто. Если нет, в строке меню выберите "Изменить>параметры проекта".

  2. В окне "Параметры проекта" убедитесь, что вы находитесь на странице управления подключаемым модулем XR и на вкладке универсальная платформа Windows.

    Снимок экрана: окно параметров проекта с открытой страницей управления подключаемым модулем XR и вкладкой универсальной платформы Windows.

  3. Убедитесь, что выбран параметр инициализация XR при запуске , а затем в разделе "Поставщики подключаемых модулей" нажмите кнопку OpenXR.

    Снимок экрана: окно параметров проекта в универсальная платформа Windows с выбранным параметром

  4. Подключаемый модуль OpenXR загружается, а затем под OpenXR отображаются несколько элементов. Выберите группу функций Microsoft HoloLens.

    Снимок экрана: окно параметров проекта с подключаемым модулем OpenXR и выделенной группой компонентов Microsoft HoloLens.

Обратите внимание, что рядом с OpenXR есть желтый треугольник предупреждения. Это означает, что у вас есть несовместимые параметры, которые необходимо устранить. Чтобы узнать, как устранить эту проблему, пропустите следующий раздел о настройке виртуальной реальности и перейдите к следующему разделу, чтобы устранить несовместимые параметры.

Настройка проекта для классической виртуальной реальности с помощью проверки проекта (MR OpenXR 1.9+)

  1. В строке меню щелкните Смешанная реальность > Параметры > проверки проекта Win32 (автономное приложение), чтобы включить правила проверки для классического приложения XR.
  2. Во всплывающем окне проверки проекта убедитесь, что вы находитесь на вкладке автономной платформы и нажмите кнопку "Исправить все ", чтобы устранить проблемы с проверкой. Обратите внимание, что могут возникнуть проблемы, которые остаются после нажатия кнопки "Исправить все". В этом случае попробуйте снова нажать кнопку "Исправить все ", игнорировать все проблемы, помеченные как "сцена конкретной" (если таковые имеются), и идти по остальным проблемам (если таковые имеются), чтобы узнать, есть ли какие-либо предлагаемые изменения, которые вы хотите внести.

Настройка проекта для классической виртуальной реальности вручную

  1. Убедитесь, что окно параметров проекта открыто. Если нет, перейдите в строку меню, выберите "Изменить>параметры проекта".

  2. В окне параметров проекта убедитесь, что вы находитесь на странице управления подключаемым модулем XR и на вкладке "Автономный компьютер Mac и Linux".

    Снимок экрана: окно параметров проекта, открытое на вкладке

  3. Убедитесь, что выбран параметр инициализация XR при запуске , а затем в разделе "Поставщики подключаемых модулей" нажмите кнопку OpenXR.

    Снимок экрана: окно параметров проекта на вкладке

  4. Загрузится подключаемый модуль OpenXR, а затем в разделе OpenXR появятся два элемента. Выберите первую группу компонентов Windows Смешанная реальность.

    Снимок экрана: окно

Обратите внимание, что рядом с OpenXR появился желтый треугольник предупреждения. Это означает, что у вас есть несовместимые параметры, которые необходимо устранить. Чтобы узнать, как устранить эту проблему, перейдите к следующему разделу, чтобы устранить несовместимые параметры.

Разрешение несовместимых параметров

Внимание

Изображения в этом разделе отображают параметры на вкладке универсальная платформа Windows. Однако инструкции одинаковы для вкладки виртуальной реальности для рабочего стола, за исключением того, где указано.

  1. Наведите указатель мыши на желтый треугольник предупреждения рядом с OpenXR, а затем прочитайте сообщение во всплывающем ведении, а затем выберите треугольник.

    Снимок экрана: предупреждение о несовместимых параметрах.

  2. В окне OpenXR Project Validation (Проверка проекта OpenXR) указано несколько проблем. Нажмите кнопку Fix All (Исправить все). ПРИМЕЧАНИЕ. Этот список может выглядеть по-разному в зависимости от того, в какой вкладке вы находитесь.

    Снимок экрана: кнопка Fix All (Исправить все) в окне проверки проекта OpenXR.

  3. Одна из проблем останется — необходимо добавить по крайней мере один профиль взаимодействия. Для этого щелкните Edit (Изменить). Откроется раздел параметров подключаемого модуля OpenXR в окне Project Settings (Параметры проекта).

    Снимок экрана: окно параметров проекта с отображаемыми параметрами OpenXR.

  4. В области Interaction Profiles (Профили взаимодействия) обратите внимание на кнопку со знаком "плюс" (+).

    Снимок экрана: кнопка Add Interaction Profile (Добавить профиль взаимодействия).

  5. Нажмите кнопку три раза, каждый раз выбирая другой профиль:

    Eye Gaze Interaction Profile (Профиль взаимодействия с помощью взгляда);

    Microsoft Hand Interaction Profile (Профиль взаимодействия с помощью рук Майкрософт);

    Microsoft Motion Controller Profile (Профиль контроллера движений Майкрософт).

    Снимок экрана: профили взаимодействия, которые следует добавить.

    Если рядом с Eye Gaze Interaction Profile или любым другим профилем появится желтый треугольник, выберите треугольник, а затем в окне OpenXR Project Validation нажмите кнопку Fix (Исправить). Завершив работу, закройте окно OpenXR Project Validation.

    Снимок экрана: кнопка Fix (Исправить) для профиля взаимодействия Eye Gaze.

  6. В окне Project Settings (Параметры проекта) в разделе OpenXR Feature Groups (Группы функций OpenXR) убедитесь, что выбраны следующие компоненты:

    Если вы находитесь на вкладке Виртуальной реальности для настольных компьютеров:

    Windows Mixed Reality

    Отслеживание рук

    Motion Controller Model (Модель контроллера движений)

    Снимок экрана: группы функций OpenXR для вкладки

    Если вы находитесь на вкладке универсальная платформа Windows:

    Microsoft HoloLens

    Отслеживание рук

    Motion Controller Model (Модель контроллера движений)

    Снимок экрана: выбранные компоненты для OpenXR.

  7. Щелкните раскрывающийся список Depth Submission Mode (Режим отправки глубины), а затем выберите Depth 16 Bit (Глубина 16 бит).

    Снимок экрана: выбранный режим глубины отправки

    Совет

    Уменьшение формата глубины до 16-разрядной версии не является обязательным, однако это может повысить производительность графики в проекте. Подробные сведения приведены в разделе Совместное использование буфера глубины (HoloLens).

    Примечание.

    Параметр Render Mode (Режим рендеринга), находящийся непосредственно над параметром Depth Submission Mode, по умолчанию равен Single Pass Instanced (Один проход). В приложениях смешанной реальности сцена отображается дважды, один раз для каждого глаза. Результат — стереоскопичность. Это удваивает объем необходимых вычислений, поэтому важно выбрать наиболее эффективный путь отрисовки в Unity, чтобы сэкономить время ЦП и GPU. В этом случае лучшим вариантом является визуализация в один проход — рекомендуется включить ее по умолчанию для каждого проекта. Дополнительные сведения см. в документации по Unity.

Настройка параметров проигрывателя

  1. В левом столбце Project Settings (Параметры проекта) выберите Player (Проигрыватель).

  2. Обратите внимание, что в окне проигрывателя поле "Имя продукта" уже заполнено. Оно взято из имени проекта и будет отображаться в меню HoloLens.

    Снимок экрана: параметры публикации Unity с заполненным полем Project Name (Имя проекта).

    Совет

    Чтобы упростить поиск приложения во время разработки, добавьте символ подчеркивания перед именем, чтобы отсортировать его в верхней части списка.

  3. Щелкните раскрывающийся список "Параметры публикации", а затем в поле "Имя пакета" введите подходящее имя.

    Снимок экрана: параметры публикации Unity с заполненным именем пакета.

    Примечание.

    Имя пакета — это уникальный идентификатор приложения. Если вы хотите избежать перезаписи ранее установленных версий приложения с тем же именем, необходимо изменить этот идентификатор перед развертыванием приложения.

  4. Закройте окно Project Settings (Параметры проекта).

Теперь вы готовы начать разработку с OpenXR в Unity!

Примеры проектов Unity

Ознакомьтесь с репозиторием примеров Смешанная реальность OpenXR для примеров проектов unity, демонстрирующих создание приложений Unity для HoloLens 2 или Смешанная реальность гарнитур с помощью подключаемого модуля OpenXR Смешанная реальность.

См. также