A produção de Kippy's Escape

• Aplica-se a:

  HoloLens 2

Kippy, o robô, acorda e se vê preso em uma ilha. Cabe a você colocar seu chapéu de resolução de problemas para ajudá-lo a encontrar um caminho de volta para seu foguete! Prenda o seu HoloLens 2 e baixe o aplicativo da Microsoft Store ou clone o repositório do GitHub e obtenha o Kippy em casa!

Importante

Certifique-se de que está a utilizar o Unreal Engine 4.25 ou posterior se estiver a criar o Kippy's Escape a partir do repositório do GitHub.

Kippy's Escape é um aplicativo de exemplo HoloLens 2 de código aberto construído com Unreal Engine 4 e Mixed Reality UX Tools for Unreal. Neste post, vamos orientá-lo através de nosso processo desde os primeiros princípios e design visual até a implementação e otimização da experiência. Você pode encontrar mais informações sobre o desenvolvimento de aplicativos de realidade mista com o MRTK UX Tools na visão geral de desenvolvimento da Unreal.

Baixe o aplicativo da Microsoft Store no HoloLens 2

Se você tiver o dispositivo HoloLens 2, poderá baixar e instalar o aplicativo diretamente em seu dispositivo.

Primeiros princípios

Ao criar o Kippy's Escape, nosso objetivo era criar uma experiência que destacasse o suporte ao HoloLens 2 da Unreal Engine, os recursos do HoloLens 2 e o Kit de Ferramentas de Realidade Mista. Queríamos inspirar os desenvolvedores a imaginar o que eles poderiam criar com Unreal e HoloLens 2.

Criamos três princípios orientadores para a experiência: que ela precisava ser divertida, interativa e ter uma barreira baixa de entrada. Queríamos que a experiência fosse intuitiva o suficiente para que mesmo um usuário de realidade mista pela primeira vez não precisasse de um tutorial para passar por isso.

Projetando o jogo

O HoloLens 2 tem acesso a recursos de design não encontrados em nenhum outro lugar nos jogos hoje. Os objetos podem ser empurrados ou manipulados diretamente usando suas mãos ou direcionados com rastreamento ocular. Essas características-chave estão por trás de alguns dos momentos divertidos que construímos em Kippy's Escape.

Usando os recursos exclusivos do HoloLens 2 como orientação para nosso design de jogo, definimos alguns cenários de ambiente pequeno. As ilhas faziam sentido porque podiam ser ajustadas para diferentes alturas de jogadores e forneciam algumas ideias de ponte divertidas. Aterrissamos no tema da civilização antiga encontra a tecnologia de ficção científica, com a ideia de que alguém havia construído máquinas sobre ruínas aproveitando uma estranha energia fornecida por cada ilha. Cada uma das ilhas recebeu sua própria aparência, um detalhe que ajudou a criar interesse visual. Um bom equilíbrio entre modelagem e texturização manteria as chamadas de desenho baixas para o desempenho de renderização, então um visual estilizado foi projetado com isso em mente.

Alguns esboços iniciais de como seria a experiência

Renderizações da segunda ilha

Para manter nosso curto cronograma de produção, concordamos que um personagem flutuante poderia capturar intenção e emoção sem ciclos de animação rigorosos. E assim nasceu Kippy! Ele emociona algumas expressões diferentes através de seus olhos e através de efeitos sonoros vocais minimalistas para ajudar a guiar o jogador ao longo da experiência.

Kippy mostrando diferentes expressões através de seus olhos

Se o usuário demorar muito para resolver um quebra-cabeça, Kippy dará uma dica ao usuário

Além do design de personagens e ambientes, fizemos um esforço concentrado para tornar o jogo divertido. O rastreamento ocular nos permitiu disparar atributos de material e som, que destacaram peças-chave do jogo. O áudio espacial ajudou a fazer com que os níveis se sentissem em casa nos arredores do jogador. Ser capaz de pegar objetos, apertar botões e manipular controles deslizantes impulsiona o engajamento inovador dos jogadores. Era importante garantir que esses pontos de conexão parecessem naturais.

A extremidade do cabo da ponte brilha quando a mão do usuário se aproxima dele

Construindo a mecânica do jogo

Kippy's Escape depende fortemente de componentes de ferramentas de UX de realidade mista para tornar o jogo interativo - ou seja, atores de interação manual, controles de limites, manipuladores, controles deslizantes e botões.

O ator de interação com a mão permite a manipulação direta e distante de hologramas. No início de Kippy's Escape, o usuário tem a oportunidade de definir a localização do jogo. Vigas de mão que se estendem da palma da mão do usuário facilitam a manipulação de grandes hologramas que estão longe, como visto no gif abaixo.

A própria cena de espaço reservado pode ser arrastada e girada usando o componente de controle de limites do UX Tools.

Na segunda ilha, o usuário deve pegar gemas e colocá-las em seus slots correspondentes. As gemas têm manipuladores anexados a elas que permitem ao usuário pegá-las e colocá-las para baixo.

Um botão pressionável é a chave para trazer bombas para uso na terceira ilha.

Um componente deslizante aparece na quarta ilha, acionando a ponte final a ser levantada.

Otimizando para HoloLens 2

Com qualquer experiência criada para ser executada em um dispositivo móvel, ficar de olho no desempenho é fundamental. O Unreal 4.25 inclui uma grande atualização para suporte para visualização múltipla móvel, que reduz significativamente a sobrecarga de renderização e aumenta a taxa de quadros. Recomendamos verificar nossas outras configurações de desempenho recomendadas para o desenvolvimento do HoloLens 2 com o Unreal quando você estiver otimizando.

Os objetos de física ainda permanecem caros para o desempenho, então algumas soluções alternativas inteligentes foram usadas. Por exemplo, a terceira "ponte" requer explodir alguns detritos bloqueando a escada. Em vez de ter uma força impactando as pedras como objetos físicos, a detonação da bomba desencadeia uma troca, trocando as pedras estáticas por um efeito de partícula explodindo.

Também reduzimos nossas chamadas de sorteio de mais de 400 para ~260 por:

• Reduzindo a complexidade da malha
• Combinando malhas
• Removendo alguns dos nossos elementos de iluminação dinâmica iniciais

Embora provavelmente haja mais que poderíamos ter feito, sentimos que era um bom equilíbrio entre desempenho e qualidade visual.

Experimente!

Inicialize seu HoloLens 2 e baixe o aplicativo da Microsoft Store, ou clone o repositório do GitHub e crie o aplicativo você mesmo!

Sobre a equipe

João Caron Designer de Jogos Líder Jack atualmente trabalha em experiências de Realidade Mista para a Microsoft, incluindo projetos HoloLens 2, e anteriormente foi designer na equipe da plataforma HoloLens.

Wu Verão Produtor Summer trabalha na plataforma de desenvolvedores de realidade mista e lidera os esforços relacionados à Unreal Engine da equipe.

Agradecimentos especiais aos nossos amigos da Framestore por nos ajudarem a dar vida ao Kippy's Escape. Do desenvolvimento de personagens, ao design de ativos, à programação de jogos, a colaboração deles neste projeto foi fundamental.