Introducción al desarrollo con Unreal
Importante
Microsoft y Unreal han dejado de usar el motor de Unreal para HoloLens 2. Los clientes pueden seguir usando Unreal Engine para desarrollar aplicaciones para HoloLens 2, pero se ha interrumpido el soporte técnico (sin correcciones de errores, actualizaciones de contenido ni soporte técnico). Las aplicaciones existentes seguirán ejecutándose en la última versión de Unreal 4. Las aplicaciones para HoloLens 2 también se pueden desarrollar con Unity.
La introducción a las aplicaciones de realidad mixta es una gran tarea. Los nuevos conceptos, las plataformas y el hardware de vanguardia pueden parecer un obstáculo. Sin embargo, si es un desarrollador de Unreal, tiene suerte. Unreal Engine 5 tiene compatibilidad total con los dispositivos de Windows Mixed Reality (VR) y HoloLens 2 (AR).
Las versiones más recientes de Unreal Engine 4.27+ incluyen lo siguiente:
- Sustitución del complemento Windows Mixed Reality (WMR) por OpenXR y el complemento de Microsoft OpenXR (Marketplace o GitHub)
- OpenXR ofrece las mismas características que WMR.
- API unificada para el desarrollo multiplataforma.
- OpenXR disponible para la creación de aplicaciones en el motor: conjunto de características completo disponible con el complemento de Microsoft OpenXR.
- El complemento de Microsoft OpenXR actualiza la versión cuando está lista, en lugar de actualizarla en el motor.
- Use el complemento Graphics Tools for Unreal para mejorar la fidelidad visual de las aplicaciones de Mixed Reality y, al mismo tiempo, mantener el rendimiento.
- El complemento HoloLensAR se ha quitado de Unreal 5.0.
- Compatibilidad con World Locking Tools (5.0+).
- Compatibilidad con Azure Object Anchors (4.27+)
Consulte las notas de la versión de Unreal Engine 5.0 para obtener más información.
Si no está familiarizado con el desarrollo en Unreal, no empiece a ciegas. Explore los recursos de Unreal y busque recursos en el marketplace de Unreal. También puede encontrar soporte técnico en los foros de realidad mixta y en la documentación de Unreal. Estos recursos son vínculos a la comunidad de creadores y solucionadores de problemas en el mercado de realidad mixta de hoy en día.
Importante
Eche un vistazo a nuestra guía de migración si tiene un proyecto de Unreal existente que quiere utilizar con cascos envolventes, como Reverb G2.
Puntos de control de desarrollo
Use los siguientes puntos de control para incorporar sus aplicaciones y juegos de Unreal en el mundo de la realidad mixta. Si no ha explorado la aplicación de ejemplo Designing Holograms, le recomendamos que la descargue para familiarizarse con los aspectos básicos de la experiencia de usuario de realidad mixta.
1. Introducción
En primer lugar, debe instalar las herramientas para el desarrollo de HoloLens 2. A continuación, revise nuestra serie de tutoriales para adquirir conocimientos básicos sobre Mixed Reality Toolkit, un entorno de desarrollo configurado correctamente para aplicaciones de realidad mixta y un proyecto de MRTK de trabajo en Unreal. A partir de la versión 4.26 de Unreal, también tiene la opción de desarrollar una aplicación de OpenXR para HoloLens 2.
| Punto de control | Resultado |
|---|---|
| Instale las actualizaciones más recientes. | Descargue e instale la versión más reciente de Unreal Engine y configure el proyecto para la realidad mixta. |
| Configuración del proyecto | Obtenga la versión más reciente de Unreal Engine y MRTK. |
| Creación de la primera aplicación de Unreal para HoloLens | Comience su recorrido de desarrollo en Unreal y HoloLens mediante la creación de una aplicación básica de Mixed Reality. |
| Serie de tutoriales de HoloLens 2 | Prepárese para el desarrollo de realidad mixta en Unreal, compile su primera aplicación con MRTK e implemente la aplicación en HoloLens 2. |
| Introducción a OpenXR en Unreal | Instale y habilite el siguiente complemento desde Unreal Engine Marketplace:Asegúrese de que el complemento Microsoft Windows Mixed Reality esté deshabilitado. La lista completa de las características admitidas actualmente en OpenXR se incluye a continuación. |
2. Bloques de creación principales
Hay varias características clave de la realidad mixta que nuestra serie de tutoriales no cubre. Estos bloques de creación están disponibles como características independientes y a través de Mixed Reality Toolkit. Es posible que no los necesite todos a la vez, pero le recomendamos que los explore desde el principio. Después de profundizar en los principales bloques de creación que se enumeran a continuación, contará con herramientas que ofrecen muchas características y que puede integrar en sus proyectos de realidad mixta.
Mixed Reality Toolkit para Unreal es un conjunto de complementos diseñados para acelerar el desarrollo en Unreal. Cada complemento incluye componentes, ejemplos y documentación para configurar experiencias envolventes.
UX Tools para Unreal es el primer complemento que se va a publicar y actualmente solo se admite en HoloLens 2. El complemento incluye código C++, planos técnicos y recursos de ejemplo de las características comunes de la experiencia de usuario para la simulación de entradas, las interacciones con la mano, el magnetismo de superficie y mucho más.
Graphics Tools for Unreal es un complemento de juego de UE con código, planos técnicos y recursos de ejemplo creados para ayudar a mejorar la fidelidad visual de las aplicaciones de realidad mixta sin salirse de los presupuestos de rendimiento.
| Característica | Funcionalidades |
|---|---|
| Simulación de entrada | Permite usar la entrada del mouse y del teclado en el editor para simular las características del casco de realidad virtual y el seguimiento de manos. |
| Interacción con las manos | Permite interactuar con los componentes de la experiencia del usuario mediante las entradas de manos articuladas. |
| Botón presionable | Permite impulsar los planos técnicos del estado del botón a través de componentes de bajo nivel. |
| Manipulador | Permite mover y girar un actor mediante una entrada de manipulación con una o dos manos. |
| Seguimiento del comportamiento | Permite mantener un actor o componente dentro del alcance de visión de otro componente. |
Nota:
Puede explorar el repositorio de GitHub de UX Tools for Unreal para obtener más detalles.
3. Características avanzadas
Hay otras características clave que desempeñan un rol en las aplicaciones de realidad mixta disponibles sin que se requiera ningún paquete o instalación adicional. Estas características se pueden agregar a proyectos de Unreal tanto si se instala MRTK como si no. Después de profundizar en las funcionalidades más avanzadas, podrá crear aplicaciones de realidad mixta más complejas.
| Característica | Funcionalidades |
|---|---|
| Cámara de HoloLens | Capture el contenido visual de realidad mixta y del mundo real de la aplicación que se ejecuta en un dispositivo HoloLens. |
| Códigos QR | Represente códigos QR como hologramas mediante un sistema de coordenadas en la posición del mundo real de cada código. |
| WinRT | Cree un archivo binario independiente con código de WinRT que el sistema de compilación de Unreal pueda usar. |
4. Streaming e implementación en un dispositivo
Si quiere probar la aplicación en un dispositivo HoloLens mientras esta sigue en desarrollo, puede hacer streaming de ella directamente desde su PC mediante el editor de Unreal o el archivo ejecutable de Windows empaquetado.
Si esta es la primera vez que implementa una aplicación de Unreal para HoloLens 2, deberá descargar los archivos auxiliares desde el iniciador de Epic. Una vez que haya instalado los archivos, estará listo para realizar la implementación desde el editor de Unreal o el Portal de dispositivos.
5. Agregar servicios
En este momento del recorrido de desarrollo, es posible que quiera agregar servicios u obtener ayuda con la implementación comercial. La integración de Azure Cloud Services puede mejorar sus proyectos de manera significativa. Hemos recopilado algunos puntos de partida para que pueda explorar y ampliar su conocimiento de realidad mixta.
Azure Spatial Anchors (ASA) es un servicio multiplataforma que le permite crear aplicaciones de realidad mixta con reconocimiento espacial. Con Azure Spatial Anchors, puede asignar, conservar y compartir contenido holográfico en varios dispositivos a escala real.
6. Alternativas de código bajo
Microsoft Dynamics 365 Guide es una aplicación de realidad mixta para Microsoft HoloLens que permite a los operadores obtener información durante el flujo de trabajo al proporcionar instrucciones holográficas cuando y donde convenga. Estas tarjetas de instrucciones se vinculan visualmente en el lugar donde se debe realizar el trabajo y pueden incluir imágenes, vídeos y modelos holográficos 3D.
A continuación
Nunca se realiza un trabajo de desarrollador, especialmente cuando se aprende a usar una nueva herramienta o un SDK. En las secciones siguientes se le proporcionará contenido más ampliado sobre lo que ha visto en el nivel principiante, junto con recursos útiles por si se queda bloqueado. Tenga en cuenta que estos temas y recursos no están ordenados de forma secuencial, de modo que no dude en consultar los que le interesen y explorarlos.
Depuración
Si está pensando en la posibilidad de depurar la aplicación mientras se ejecuta en el dispositivo con Visual Studio, siga estas instrucciones.
Rendimiento
El desarrollo para la realidad mixta incluye puntos de control de rendimiento que dependen de la plataforma. Una aplicación de HoloLens 2 debe ejecutarse a 60 fotogramas por segundo para que los hologramas presenten estabilidad y capacidad de respuesta. Afortunadamente, tenemos recomendaciones para actualizar el rendimiento en las aplicaciones de Unreal.
Características admitidas
| Característica de HoloLens 2 | Versión anterior de Unreal Engine admitida | Compatible con OpenXR (4.26+) |
|---|---|---|
| Compatibilidad con ARM64 | 4.23 | ✔️ |
| Streaming desde un equipo | 4.23 | ✔️ |
| Asignación espacial | 4.23 | ✔️ |
| Seguimiento de manos y articulaciones | 4.23 | ✔️ |
| Seguimiento ocular | 4.23 | ✔️ |
| Entrada de voz | 4.23 | ✔️ |
| Delimitadores espaciales | 4.23 | ✔️ |
| Acceso a la cámara | 4.23 | ✔️ |
| Códigos QR | 4.23 | ✔️ |
| Audio espacial | 4.23 | ✔️ |
| LSR plana por streaming | 4.24 | |
| Aplicaciones de ejemplo | 4.24 | ✔️ |
| Vista múltiple móvil: el rendimiento alcanza los 60 fps | 4.25 | ✔️ |
| Streaming desde una aplicación de escritorio empaquetada | 4.25.1 | ✔️ |
| Azure Spatial Anchors para HoloLens 2 | 4.25 | ✔️ |
| Compatibilidad de UX Tools de Mixed Reality | 4.25 | ✔️ |
| Tutoriales y documentación para desarrolladores | 4.25 | ✔️ |
| Teclado del sistema | 4,26 | ✔️ |
| Complemento de Media Player de HoloLens | 4,26 | ✔️ |
| Azure Spatial Anchors para iOS y Android | 4,26 | |
| Complemento de Microsoft OpenXR con extensiones de OpenXR específicas del proveedor de Microsoft | 4,26 | ✔️ |
| Streaming de Azure a HoloLens 2 | 4,26 | ✔️ |
| Compatibilidad del kit para la certificación de aplicaciones en Windows para aplicaciones empaquetadas | 4,26 | ✔️ |
| Compatibilidad con el controlador de HP Reverb G2 | 4,26 | ✔️ |