Упражнение. Создание приложения для удаленного взаимодействия с голограммами на компьютере

  • 4 мин

В этом руководстве вы узнаете, как создать приложение пк для Holographic Remoting, которое позволяет подключаться к HoloLens 2 в любое время, предоставляя способ визуализации трехмерного содержимого в Смешанная реальность.

Настройка функциональных возможностей

Выберите проигрыватель в окне "Проект Параметры", разверните Параметры публикации, а затем прокрутите вниз до раздела "Возможности", а затем выберите следующее:

  • InternetClientServer;
  • PrivateNetworkClientServer;

Screenshot of Player settings.

В этом разделе вы настроите проект для потоковой передачи данных смешанной реальности на устройство HoloLens 2 с компьютера в реальном времени через подключение Wi-Fi.

Настройка сцены для удаленного взаимодействия с голограммами

  • В окне "Проект" перейдите в раздел "Активы > MRTK". Tutorials.PCHolograhicRemoting Prefabs folder, and select and drag HolographicRemoting > prefab in your scene.

    Screenshot of Configuring your scene for Holographic Remoting.

Сборка приложения на комьпютере

Ваше приложение для голографического удаленного взаимодействия готово к сборке на компьютере. Выполните приведенные ниже инструкции и внесите необходимые изменения, чтобы выполнить сборку этого приложения на своем компьютере.

1. Добавление скрипта HolographicRemote Подключение

Добавьте скрипт HolographicRemote Подключение в объект в сцене, например mrTK XR Rig. Этот скрипт предоставляет минималистичный пользовательский интерфейс для ввода IP-адреса HoloLens во время выполнения и кнопки для подключения и отключения. Он предназначен в качестве примера для подключения из кода C# в сборках. См. также раздел далее о подключении в режиме воспроизведения для ускорения тестирования.

2. Переключение платформы сборки

В строке меню выберите Файл>Параметры сборки.

  1. В окне "Сборка Параметры" выберите pc, Mac и Linux Standalone Platform и нажмите кнопку "Переключить платформу", чтобы изменить платформу сборки:

    Screenshot of Switching Build Platform.

3. Задание параметров проекта

  1. В строке меню выберите Правка > Параметры проекта > Управление подключаемыми модулями XR. Убедитесь, что вы находитесь на вкладке "Автономная среда Windows", а затем выберите "OpenXR", "Windows Смешанная реальность" и "Holographic Remoting remote app feature group".

    Screenshot of Project settings.

  2. В окне «Параметры проекта» выберите OpenXR. Убедитесь, что вы находитесь на вкладке «Windows Standalone», а затем измените Режим представления глубины с «Нет» на «Глубина 16 бит».

  3. Добавьте Профиль взаимодействия взглядом и Профиль взаимодействия Microsoft с помощью рук, нажав кнопку со знаком «плюс» (+) на вкладке «Профили взаимодействия».

    Screenshot of Eye Gaze Interaction Profile.

  4. В разделе Группы функций OpenXR> Все функции выберите Удаленное взаимодействие с приложением для управления голограммами.

    Screenshot of XR feature groups.

4. Создание проекта Unity

В строке меню выберите Файл>Параметры сборки.

  1. Нажмите кнопку "Добавить открытые сцены", чтобы добавить текущую сцену в список сцен в окне "Сборка Параметры". Затем в списке "Сборка" нажмите кнопку "Сборка":

    Screenshot of Add Open Scenes.

  2. Выберите подходящее расположение для хранения сборки, например Documents\MixedRealityLearning. Создайте новую папку и присвойте ему правильное имя, например PCHolographicRemoting- и нажмите кнопку " Выбрать папку ", чтобы запустить процесс сборки:

    Screenshot of Select Folder.

  3. Подождите, пока Unity завершит сборку.

    Screenshot of Wait for the build process.

    Дважды щелкните исполняемый файл, чтобы открыть на компьютере приложение для удаленного взаимодействия с голограммами.

    Примечание.

    Из-за некоторых известных проблем при создании приложения для удаленного взаимодействия с голограммами для UWP мы выполняем сборку как Windows Standalone для OpenXR.

Тестирование удаленного приложения для удаленного взаимодействия с голограммами

Примечание.

Выполнять сборку и тестирование на HoloLens 2 не обязательно. Вместо этого вы можете использовать для тестирования HoloLens 2 Emulator, если у вас нет устройства. Устройства можно приобрести на сайте HoloLens. com.

Чтобы подключить приложение ПК к HoloLens 2, выполните следующие действия.

1. Установите проигрыватель для удаленного воспроизведения на устройстве HoloLens 2

  1. В HoloLens 2 посетите приложение Store и найдите Holographic Remoting Player.
  2. Выберите приложение Holographic Remoting Player.
  3. Выберите " Установить", чтобы скачать и установить приложение.

2. Подключите приложение для удаленного взаимодействия с голограммами к проигрывателю для удаленного воспроизведения

  1. Запустите проигрыватель голографического удаленного взаимодействия на holoLens.
  2. Запишите IP-адрес HoloLens. Голографический проигрыватель удаленного взаимодействия будет отображать его как голограмму сразу после запуска.
  3. Откройте приложение для голографического удаленного взаимодействия на компьютере.
  4. После запуска приложения введите IP-адрес и нажмите кнопку Подключение для подключения.

Голографическое удаленное взаимодействие в режиме воспроизведения

В MRTK 3 можно пропустить шаг создания сборки, чтобы ускорить итерации разработки, вернувшись в меню Project Параметры> XR Plug-in Management>OpenXR и выбрав проверка box for Holographic Remoting for Play Mode.

Screenshot of enabling Holographic Remoting for Play Mode.

После включения этого параметра вы, скорее всего, получите ошибку проверки проекта:

Screenshot of remote host validation error.

Это связано с тем, что ПЕРЕД воспроизведением необходимо задать IP-адрес HoloLens. Чтобы задать IP-адрес, перейдите к Смешанная реальность > удаленному взаимодействию > в режиме воспроизведения и введите IP-адрес, показанный в проигрывателе Голографического удаленного взаимодействия, в поле "Имя удаленного узла".

Screenshot of remote host connection configuration.