Verrouillage mondial et ancres spatiales dans Unity
Article
L’obtention de vos hologrammes pour rester en place, se déplacer avec vous ou dans certains cas se positionner par rapport à d’autres hologrammes est une grande partie de la création d’applications de réalité mixte. Cet article vous guidera dans notre solution recommandée à l’aide de World Locking Tools, mais nous aborderons également la configuration manuelle des ancres spatiales dans vos projets Unity. Avant de passer à n’importe quel code, il est important de comprendre comment Unity gère l’espace de coordonnées et les ancres dans son propre moteur.
Systèmes de coordonnées à l’échelle mondiale
Aujourd’hui, lors de l’écriture de jeux, d’applications de visualisation de données ou d’applications de réalité virtuelle, l’approche classique consiste à établir un système de coordonnées mondial absolu auquel toutes les autres coordonnées peuvent être mappées de manière fiable. Dans cet environnement, vous pouvez toujours trouver une transformation stable qui définit une relation entre deux objets de ce monde. Si vous n’avez pas déplacé ces objets, leurs transformations relatives restent toujours identiques. Ce type de système de coordonnées global est facile à obtenir directement lors du rendu d’un monde purement virtuel où vous connaissez toute la géométrie à l’avance. Les applications VR à l’échelle de la salle établissent aujourd’hui généralement ce type de système de coordonnées à l’échelle de la salle absolue avec son origine sur le sol.
En revanche, un appareil de réalité mixte non attaché tel que HoloLens a une compréhension dynamique basée sur les capteurs du monde, en ajustant continuellement ses connaissances au fil du temps de l’environnement de l’utilisateur au fur et à mesure qu’il marche plusieurs mètres sur un étage entier d’un bâtiment. Dans une expérience à l’échelle mondiale, si vous avez placé tous vos hologrammes dans un système de coordonnées rigide naïve, ces hologrammes finiraient par dériver au fil du temps, soit en fonction du monde, soit par rapport à l’autre.
Par exemple, le casque peut croire actuellement deux emplacements dans le monde à 4 mètres d’écart, puis affiner ultérieurement cette compréhension, en apprenant que les emplacements sont en fait de 3,9 mètres à part. Si ces hologrammes avaient initialement été placés de 4 mètres à part dans un seul système de coordonnées rigides, l’un d’entre eux apparaît toujours 0,1 mètres de loin du monde réel.
Vous pouvez placer manuellement des ancres spatiales dans Unity pour maintenir la position d’un hologramme dans le monde physique lorsque l’utilisateur est mobile. Toutefois, cela sacrifie la cohérence de soi au sein du monde virtuel. Différentes ancres se déplacent constamment par rapport à l’autre, et passent également par l’espace de coordonnées global. Dans ce scénario, les tâches simples telles que la disposition deviennent difficiles. La simulation physique peut également poser problème.
World Locking Tools (WLT) vous permet de tirer le meilleur des deux mondes, en stabilisant un système de coordonnées rigide unique à l’aide d’une offre interne d’ancres spatiales réparties dans toute la scène virtuelle à mesure que l’utilisateur se déplace. WLT analyse les coordonnées de la caméra et de ces ancres spatiales chaque image. Au lieu de modifier les coordonnées de tout dans le monde pour compenser les corrections dans les coordonnées de la tête de l’utilisateur, WLT corrige simplement les coordonnées de la tête à la place.
Choisir votre approche de verrouillage mondial
Si possible, utilisez World Locking Tools pour le positionnement de l’hologramme.
World Locking Tools fournit un système de coordonnées stable qui réduit les incohérences visibles entre les marqueurs virtuels et réels. World Locking Tools verrouille la scène entière avec un pool partagé d’ancres, plutôt que de verrouiller chaque groupe d’objets avec la propre ancre individuelle du groupe.
World Locking Tools gère automatiquement la création et la gestion internes des ancres spatiales. Vous n’avez pas besoin d’interagir avec ARAnchorManager ou WorldAnchor pour conserver vos hologrammes verrouillés dans le monde.
Pour Unity 2019/2020 à l’aide d’OpenXR ou du plug-in Windows XR, utilisez ARAnchorManager.
Pour les anciennes versions d’Unity ou les projets WSA, utilisez WorldAnchor.
Pour commencer à utiliser World Locking Tools, téléchargez Mixed Reality Feature Tool. Pour en savoir plus sur les concepts de base, consultez la page de documentation principale des outils World Locking Tools pour obtenir des liens vers Vue d’ensemble, Démarrage rapide et autres rubriques utiles.
Lorsque votre projet est prêt à être exécuté, exécutez l’utilitaire de configuration de scène à partir de Mixed Reality > World Locking Tools :
Important
L’utilitaire de configuration de scène peut être réexécuté à tout moment. Par exemple, il doit être réexécuté si la cible de réalité augmentée est passée de Hérité à XR SDK. Si la scène est déjà correctement configurée, l'exécution de l'utilitaire n'a aucun effet.
Visualiseurs
Au cours du développement précoce, l’ajout de visualiseurs peut être utile pour vous assurer que WLT est configuré et fonctionne correctement. Ils peuvent être supprimés pour des raisons de performance de production ou si, pour une raison quelconque, ils ne sont plus nécessaires, en utilisant l'utilitaire Remove visualizers. Vous trouverez plus d’informations sur les visualiseurs dans la documentation des outils.
Le plug-in Mixed Reality OpenXR fournit des fonctionnalités d’ancrage de base par le biais d’une implémentation d’ARFoundation ARAnchorManager d’Unity. Pour découvrir les principes de base sur ARAnchors dans ARFoundation, consultez le manuel ARFoundation pour AR Anchor Manager.
Espace de noms :UnityEngine.XR.WSA Type :WorldAnchor
Une technique clé consiste à créer une ancre spatiale pour verrouiller un cluster d’hologrammes précisément en place dans le monde physique, quel que soit le niveau d’itinérance de l’utilisateur, puis de retrouver ces hologrammes dans les sessions ultérieures.
Dans les versions antérieures d’Unity, vous créez une ancre spatiale en ajoutant le composant WorldAnchor Unity à un GameObject.
Ajouter une ancre mondiale
Pour ajouter une ancre mondiale, appelez AddComponent<WorldAnchor>() l’objet de jeu avec la transformation que vous souhaitez ancrer dans le monde réel.
Cet objet de jeu est maintenant ancré à son emplacement actuel dans le monde physique. Vous pouvez voir que ses coordonnées du monde Unity s’ajustent légèrement au fil du temps pour garantir l’alignement physique. Voir charger une ancre mondiale pour trouver à nouveau cet emplacement ancré dans une prochaine session d’application.
Supprimer une ancre mondiale
Si vous ne souhaitez plus que le GameObject verrou soit verrouillé dans un emplacement physique et que vous n’avez pas l’intention de le déplacer, appelez Destroy le composant World Anchor.
Destroy(gameObject.GetComponent<WorldAnchor>());
Si vous souhaitez déplacer ce cadre, appelez DestroyImmediate à la GameObject place.
Une ancre mondiale peut ne pas être locatable dans le monde physique à un moment donné. Unity ne met pas à jour la transformation de l’objet ancré. Cette situation peut également se produire pendant l’exécution d’une application. Si vous ne gérez pas la modification de la locatabilité, l’objet n’apparaît pas dans l’emplacement physique correct dans le monde.
Pour être informé des modifications de locatabilité :
Abonnez-vous à l’événement OnTrackingChanged . L’événement OnTrackingChanged est appelé chaque fois que l’ancre spatiale sous-jacente change entre un état d’être locatable ou ne pas être locatable.
private void Anchor_OnTrackingChanged(WorldAnchor self, bool located)
{
// This simply activates/deactivates this object and all children when tracking changes
self.gameObject.SetActiveRecursively(located);
}
Si les ancres sont situées immédiatement, la isLocated propriété de l’ancre est définie true à la date AddComponent<WorldAnchor>() de retour. Par conséquent, l’événement OnTrackingChanged n’est pas déclenché. Un modèle plus propre consiste à appeler le OnTrackingChanged gestionnaire avec l’état initial IsLocated après l’attachement d’une ancre.
Les ancres spatiales enregistrent les hologrammes dans un espace réel entre les sessions d’application. Une fois enregistrés dans le magasin d’ancres HoloLens, les ancres spatiales sont trouvées et chargées dans différentes sessions et constituent un secours idéal en l’absence de connectivité Internet.
Important
Les ancres locales sont stockées sur l’appareil, alors que les ancres spatiales Azure sont stockées dans le cloud. Vous pouvez avoir des ancres locales et Azure dans le même projet sans conflit. Pour plus d’informations sur l’intégration de services cloud Azure pour stocker vos ancres, consultez Azure Spatial Anchors.
Par défaut, World Locking Tools restaure le système de coordonnées d’Unity par rapport au monde physique sur les sessions sur les appareils qui prennent en charge la persistance des ancres spatiales locales. Pour qu’un hologramme apparaisse dans le même endroit dans le monde physique après avoir quitté et réexécuté l’application, l’application doit uniquement restaurer la même pose sur l’hologramme.
Si l’application a besoin d’un contrôle plus fin, vous pouvez désactiver l’enregistrement automatique et le chargement automatique dans l’inspecteur et gérer la persistance à partir d’un script. Pour plus d’informations, consultez Conserver les systèmes de coordonnées spatiales.
World Locking Tools prend en charge la persistance d’ancre locale uniquement sur les appareils HoloLens. Pour les appareils Android, iOS et HoloLens, intégrez Azure Spatial Anchors pour prendre en charge la persistance et le partage d’espaces de coordonnées entre les sessions et les appareils. Pour plus d’informations et d’exemples utilisant World Locking Tools avec Azure Spatial Anchors, consultez World Locking Tools (WLT) combiné à Azure Spatial Anchors (ASA).
Une API appelée XRAnchorStore « ancres » permet de conserver les ancres entre les sessions. Il XRAnchorStore s’agit d’une représentation des ancres enregistrées sur un appareil. Vous pouvez rendre persistantes les ancres de ARAnchors la scène Unity, charger des ancres du stockage dans de nouvelles ARAnchorsancres ou supprimer des ancres du stockage.
Remarque
Vous enregistrez et chargez ces ancres sur le même appareil. Les ancres inter-appareils sont prises en charge via Azure Spatial Anchors.
Espaces de noms
Pour Unity 2020 et OpenXR :
using Microsoft.MixedReality.ARSubsystems.XRAnchorStore
ou Unity 2019/2020 + Plug-in Windows XR :
using UnityEngine.XR.WindowsMR.XRAnchorStore
Méthodes publiques
{
// A list of all persisted anchors, which can be loaded.
public IReadOnlyList<string> PersistedAnchorNames { get; }
// Clear all persisted anchors
public void Clear();
// Load a single persisted anchor by name. The ARAnchorManager will create this new anchor and report it in
// the ARAnchorManager.anchorsChanged event. The TrackableId returned here is the same TrackableId the
// ARAnchor will have when it is instantiated.
public TrackableId LoadAnchor(string name);
// Attempts to persist an existing ARAnchor with the given TrackableId to the local store. Returns true if
// the storage is successful, false otherwise.
public bool TryPersistAnchor(TrackableId id, string name);
// Removes a single persisted anchor from the anchor store. This will not affect any ARAnchors in the Unity
// scene, only the anchors in storage.
public void UnpersistAnchor(string name);
}
Obtenir une référence de magasin d’ancres
Pour charger XRAnchorStore avec Unity 2020 et OpenXR, utilisez la méthode d’extension sur XRAnchorSubsystem, le sous-système d’un ARAnchorManager :
public static Task<XRAnchorStore> LoadAnchorStoreAsync(this XRAnchorSubsystem anchorSubsystem)
Pour charger XRAnchorStore avec Unity 2019/2020 et le plug-in Windows XR, utilisez la méthode d’extension sur XRReferencePointSubsystem (Unity 2019) ou XRAnchorSubsystem (Unity 2020), le sous-système d’un ARReferencePointManager/ARAnchorManager :
// Unity 2019 + Windows XR Plugin
public static Task<XRAnchorStore> TryGetAnchorStoreAsync(this XRReferencePointSubsystem anchorSubsystem);
// Unity 2020 + Windows XR Plugin
public static Task<XRAnchorStore> TryGetAnchorStoreAsync(this XRAnchorSubsystem anchorSubsystem);
Charger un magasin d’ancres
Pour charger un magasin d’ancres dans Unity 2020 et OpenXR, accédez-y à partir du sous-système d’ARAnchorManager comme suit :
Pour voir un exemple complet de persistance/nonpersistation des ancres, consultez l’exemple Anchors -> Anchors Sample GameObject et AnchorsSample.cs script dans la [Mixed Reality OpenXR Plugin Sample Scene]((https://github.com/microsoft/OpenXR-Unity-MixedReality-Samples) :
Pour la persistance de l’hologramme dans les anciennes versions d’Unity ou les projets WSA, utilisez WorldAnchor.
Espace de noms :UnityEngine.XR.WSA.Persistence Classe :WorldAnchorStore
WorldAnchorStore crée des expériences holographiques où les hologrammes restent dans des positions réelles spécifiques entre les instances de l’application. Les utilisateurs peuvent épingler des hologrammes individuels partout où ils le souhaitent et les trouver plus tard au même endroit sur les sessions d’application.
Vous WorldAnchorStore pouvez conserver l’emplacement des ancres mondiales entre les sessions. Pour conserver les hologrammes entre les sessions, effectuez un suivi distinct de celui-ci à l’aide d’une GameObjects ancre mondiale particulière. Vous pouvez créer une racine avec une GameObject ancre mondiale et ancrer des hologrammes enfants par celui-ci avec un décalage de position local.
Pour charger des hologrammes à partir des sessions précédentes :
Obtenez le WorldAnchorStore.
Chargez les données de l’application d’ancre mondiale, ce qui vous donne l’ID de l’ancre mondiale.
Chargez l’ancre mondiale par son ID.
Pour enregistrer des hologrammes pour les sessions futures :
Obtenez le WorldAnchorStore.
Enregistrez une ancre mondiale, en spécifiant un ID.
Enregistrez les données d’application liées à l’ancre mondiale, ainsi que l’ID.
Obtenir le WorldAnchorStore
Conservez une référence au WorldAnchorStore. Vous savez donc quand il est prêt à effectuer une opération. Étant donné que cet appel est asynchrone, dès que l’application démarre, vous pouvez appeler :
WorldAnchorStore.GetAsync(StoreLoaded);
StoreLoaded est le gestionnaire lorsque le WorldAnchorStore chargement est terminé :
Vous disposez maintenant d’une référence au WorldAnchorStore, que vous pouvez utiliser pour enregistrer et charger des ancres de monde spécifiques.
Enregistrer une ancre mondiale
Pour sauver une ancre mondiale, nommez l’ancre mondiale et passez-la dans le WorldAnchorStore passé. Si vous essayez d’enregistrer deux ancres dans la même chaîne, store.Save retourne false. Supprimez l’enregistrement précédent avant d’en enregistrer un nouveau.
private void SaveGame()
{
// Save data about holograms that this world anchor positions
if (!this.savedRoot) // Only save the root once
{
this.savedRoot = this.store.Save("rootGameObject", anchor);
Assert(this.savedRoot);
}
}
Charger une ancre mondiale
Pour charger une ancre mondiale :
private void LoadGame()
{
// Saved data about holograms that this world anchor positions:
this.savedRoot = this.store.Load("rootGameObject", rootGameObject);
if (!this.savedRoot)
{
// Game root not saved. Re-place objects or start over.
}
}
Vous pouvez également utiliser store.Delete() pour supprimer une ancre que vous avez enregistrée précédemment et store.Clear() pour supprimer toutes les données précédemment enregistrées.
Énumérer les ancres existantes
Pour répertorier les ancres stockées, appelez GetAllIds.
string[] ids = this.store.GetAllIds();
for (int index = 0; index < ids.Length; index++)
{
Debug.Log(ids[index]);
}
Conserver les hologrammes pour plusieurs appareils
Vous pouvez utiliser Azure Spatial Anchors pour créer une ancre cloud durable à partir d’une ancre mondiale locale. Votre application peut localiser l’ancre cloud sur plusieurs appareils HoloLens, iOS et Android, même si les appareils ne sont pas ensemble en même temps. Étant donné que les ancres cloud sont persistantes, plusieurs appareils peuvent voir le contenu affiché par rapport à cette ancre dans le même emplacement physique au fil du temps.
Étapes suivantes
Partagez un espace de coordonnées verrouillé dans le monde :
