Systémy souřadnic
V jádru umístí aplikace hybridní reality hologramy do vašeho světa, které vypadají jako skutečné objekty a zní. To zahrnuje přesné umístění a orientaci těchto hologramů na smysluplných místech na světě, ať už je to jejich fyzická místnost nebo virtuální sféra, kterou jste vytvořili. Systém Windows poskytuje různé souřadnicové systémy reálného světa pro vyjádření geometrie – tyto systémy se označují jako prostorové souřadnicové systémy. Tyto systémy můžete použít k odůvodnění umístění hologramu, orientace, pohledového paprsku nebo polohy rukou.
Podpora zařízení
| Funkce | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Statický rámec odkazu | ✔️ | ✔️ | ✔️ |
| Připojený rámec odkazu | ✔️ | ✔️ | ✔️ |
| Referenční rámec fáze | Zatím nepodporováno | Zatím nepodporováno | ✔️ |
| Prostorové ukotvení | ✔️ | ✔️ | ✔️ |
| Prostorové mapování | ✔️ | ✔️ | ❌ |
| Porozumění scéně | ❌ | ✔️ | ❌ |
Škály prostředí hybridní reality
Aplikace hybridní reality můžete navrhovat pro širokou škálu uživatelských prostředí, od 360stupňových prohlížečů videa pomocí orientace náhlavní soupravy na plnohodnotné aplikace a hry pomocí prostorového mapování a prostorových ukotvení:
| Zkušenosti se škálováním | Požadavky | Příklad prostředí |
|---|---|---|
| Pouze orientace | Orientace náhlavní soupravy (zarovnaná závažností) | 360° prohlížeč videa |
| Seated-scale | Nad plus pozice náhlavní soupravy na základě nulové pozice | Závodní hra nebo simulátor prostoru |
| Stálé měřítko | Nad stupňovinou podlahou | Akční hra, kde se kačer a dodge na místě |
| Velikost místnosti | Nad hranici plus hranici mnohoúhelníku | Puzzle hra, kde chodíte kolem puzzle |
| Světové měřítko | Prostorové kotvy (a obvykle prostorové mapování) | Hra s nepřáteli přicházejícími z vašich skutečných stěn, jako je RoboRaid |
Výše uvedené možnosti se škálují podle modelu vnoření panenky. Klíčovým principem návrhu pro Windows Mixed Reality je tato: daná náhlavní souprava podporuje aplikace vytvořené pro škálování cílového prostředí a všechny menší škálování.
| Sledování 6DOF | Definovaná podlaha | Sledování 360° | Definované hranice | Prostorové ukotvení | Maximální možnosti |
|---|---|---|---|---|---|
| No | - | - | - | - | Pouze orientace |
| Ano | No | - | - | - | Usazený |
| Ano | Ano | No | - | - | Stojící – vpřed |
| Ano | Ano | Ano | No | - | Stojící - 360° |
| Ano | Ano | Ano | Ano | No | Místnost |
| Ano | Ano | Ano | Ano | Ano | Svět |
V HoloLensu zatím není podporovaný rámec fáze odkazu. Aplikace v holoLensu v současné době potřebuje k vyhledání podlahy a stěn uživatele použít prostorové mapování nebo porozumění scéně.
Prostorové souřadnicové systémy
Všechny 3D grafické aplikace používají kartézské souřadnicové systémy k odůvodnění umístění a orientace virtuálních objektů. Tyto souřadnicové systémy vytvářejí tři kolmé osy: X, Y a Z. Každý objekt, který přidáte do scény, bude mít ve svém souřadnicovém systému pozici XYZ. Systém Windows volá souřadnicový systém, který má skutečný význam ve fyzickém světě, prostorový souřadnicový systém, který vyjadřuje své souřadnicové hodnoty v metrech. To znamená, že objekty umístěné dvě jednotky od sebe na ose X, Y nebo Z se při vykreslení v hybridní realitě zobrazí dva metry od sebe. Když to znáte, můžete snadno vykreslit objekty a prostředí ve skutečném měřítku.
Obecně platí, že kartézské souřadnicové systémy se označují jako kartézské souřadnicové systémy jako "pravá ruka" nebo "levá ruka", protože můžete použít ruční pozice k označení směrů os XYZ. V obou souřadnicových systémech ukazuje kladná osa X vpravo a kladná osa Y ukazuje nahoru. Rozdílem mezi těmito dvěma je to, že v systému souřadnic s pravou rukou ukazuje osa Z směrem k vám, zatímco v souřadnicovém systému s levým rukou od vás boduje osa Z.
Prostorové souřadnicové systémy ve Windows (a proto windows Mixed Reality) jsou vždy v pravém rohu.
[! POZNÁMKY]
- Unity a Unreal používají souřadnicový systém s levou rukou.
- I když jsou souřadnice s levým a pravým tlačítkem myši nejběžnější systémy, existují i jiné souřadnicové systémy používané v 3D softwaru. Například není neobvyklé, že 3D modelovací aplikace používají souřadnicový systém, ve kterém osa Y ukazuje směrem k prohlížeči nebo od něj a osa Z ukazuje nahoru.
Vytvoření prostředí jen pro orientaci nebo sesaděné
Klíčem k holografickému vykreslování je změna zobrazení hologramů vaší aplikace pro každý snímek při pohybu uživatelem tak, aby odpovídalo předpovězené pohybu hlavy. Pomocí statického rámce odkazu můžete vytvářet prostředí sesazení, která respektují změny pozice hlavy a orientace hlavy uživatele.
Určitý obsah musí ignorovat aktualizace pozice hlavy a zůstat pevně na zvoleném nadpisu a vzdálenosti od uživatele vždy. Primárním příkladem je 360stupňové video: protože video je zachyceno z jedné pevné perspektivy, zničilo by iluzi pro pozici zobrazení, která se bude pohybovat na základě obsahu, i když se orientace zobrazení změní, když se uživatel podívá kolem. Takové prostředí jen pro orientaci můžete vytvářet pomocí připojeného rámce odkazu.
Statický rámec odkazu
Souřadnicový systém poskytovaný statickým rámcem odkazu umožňuje udržovat pozice objektů v blízkosti uživatele co nejstabilnější na základě světa a současně respektovat změny v pozici hlavy uživatele.
Pro prostředí sesazených v herním stroji, jako je Unity, je statický rámec odkazu to, co definuje "světový původ" motoru. Objekty, které jsou umístěny na určitou světovou souřadnici, používají statický rámec odkazu k definování jejich pozice v reálném světě pomocí stejných souřadnic. Obsah, který zůstane na světě, i když uživatel prochází kolem, se označuje jako světem uzamčený obsah.
Aplikace obvykle vytvoří jeden statický rámec odkazu při spuštění a po celou dobu života aplikace použije svůj souřadnicový systém. Jako vývojář aplikace v Unity můžete jednoduše začít umísťovat obsah podle původu, který bude na počáteční pozici a orientaci uživatele. Pokud se uživatel přesune na nové místo a chce pokračovat ve svém prostředí sesazeným prostředím, můžete v této lokalitě získat nejnovější světový původ.
Vzhledem k tomu, že se systém v průběhu času dozví více o prostředí uživatele, může určit, že vzdálenosti mezi různými body v reálném světě jsou kratší nebo delší než systém dříve věřil. Pokud hologramy vykreslujete v statickém rámci odkazu pro aplikaci na HoloLensu, kde uživatelé putují přes oblast o šířce asi 5 metrů, může vaše aplikace pozorovat posun v pozorované poloze těchto hologramů. Pokud vaše prostředí obsahuje uživatele, kteří procházejí více než 5 metrů, vytváříte prostředí na světě, které bude vyžadovat další techniky, které budou vyžadovat, aby hologramy zůstaly stabilní, jak je popsáno níže.
Připojený rámec odkazu
Připojený rámec odkazu se při procházení přesune s uživatelem s pevným nadpisem definovaným při prvním vytvoření rámce aplikace. Díky tomu se uživatel pohodlně podívá na obsah umístěný v daném rámci odkazu. Obsah vykreslený tímto relativním způsobem se nazývá obsah uzamčený tělem .
Pokud náhlavní souprava nedokáže zjistit, kde je na světě, poskytuje připojený rámec odkazu jediný souřadnicový systém, který se dá použít k vykreslení hologramů. To je ideální pro zobrazení náhradního uživatelského rozhraní, aby uživateli řekl, že jeho zařízení nemůže najít na světě. Aplikace, které jsou sesazené nebo vyšší, by měly obsahovat záložní řešení jen pro orientaci, která uživateli pomůže znovu začít, s uživatelským rozhraním podobným rozhraním, které se zobrazuje na domovské stránce hybridní reality.
Vytvoření stálého prostředí nebo prostředí na úrovni místnosti
Pokud chcete na imerzivní náhlavní soupravě přejít nad rámec useděných sluchátek a vytvořit prostředí s trvalým měřítkem, můžete použít prostorový rámec odkazu.
Pokud chcete zajistit prostředí na úrovni místnosti a umožnit uživatelům, aby se procházeli v rámci předem definované hranice 5 metrů, můžete také zkontrolovat hranice fází.
Referenční rámec fáze
Při prvním nastavení imerzivní náhlavní soupravy definuje uživatel fázi, která představuje místnost, ve které bude mít hybridní realitu. Fáze minimálně definuje původ fáze, prostorový souřadnicový systém zacentrovaný na zvolené pozici podlahy uživatele a orientaci dopředu, kde má v úmyslu zařízení používat. Umístěním obsahu do souřadnicového systému této fáze do roviny Y=0 můžete zajistit, aby se hologramy zobrazovaly pohodlně na podlaze, když uživatel stojí a poskytuje uživatelům prostředí ve velkém měřítku.
Hranice fází
Uživatel může také volitelně definovat hranice fází, oblast v místnosti, ve které se vymazali, aby se mohli pohybovat v hybridní realitě. Pokud ano, aplikace může pomocí těchto hranic vytvořit prostředí pro škálování místnosti, aby se zajistilo, že hologramy jsou vždy umístěné tam, kde se k nim uživatel může dostat.
Vzhledem k tomu, že referenční rámec fáze poskytuje jeden pevný souřadnicový systém, ve kterém se má umístit podlahový relativní obsah, je to nejjednodušší cesta pro přenos aplikací s trvalým měřítkem a prostorovým měřítkem vyvinutých pro náhlavní soupravy virtuální reality. Stejně jako u těchto platforem VR může jeden souřadnicový systém stabilizovat obsah pouze v průměru asi 5 metrů (16 stop) před efekty páky způsobit obsah daleko od středu, aby se výrazně posouvat při úpravě systému. K překročení 5 metrů jsou potřeba prostorové kotvy.
Vytvoření prostředí na světě
HoloLens umožňuje skutečné prostředí na světě , které uživatelům umožňují procházet více než 5 metrů. Pokud chcete vytvořit světovou aplikaci, budete potřebovat nové techniky nad rámec těch, které se používají pro prostředí v místnosti.
Proč nelze použít jeden pevný souřadnicový systém nad 5 metrů
Při psaní her, aplikací pro vizualizaci dat nebo aplikací virtuální reality je dnes typickým přístupem vytvořit jeden absolutní souřadnicový systém světa, ke kterému se všechny ostatní souřadnice můžou spolehlivě mapovat. V daném prostředí můžete vždy najít stabilní transformaci, která definuje vztah mezi libovolnými dvěma objekty na daném světě. Pokud jste tyto objekty nepřesunuli, jejich relativní transformace zůstanou vždy stejné. Tento druh globálního souřadnicového systému funguje dobře při vykreslování čistě virtuálního světa, kde znáte veškerou geometrii předem. Dnes aplikace VR na úrovni místností obvykle vytvářejí tento druh absolutního souřadnicového systému na úrovni místnosti s jeho původem na podlaze.
Naproti tomu zařízení s hybridní realitou, jako je HoloLens, má dynamické porozumění světu řízené senzory, a průběžně upravuje své znalosti v průběhu času okolí uživatele, protože prochází mnoho metrů přes celé patro budovy. Pokud byste v prostředí na světě umístili všechny hologramy do jednoho tuhého souřadnicového systému, tyto hologramy by se nutně posunovaly v průběhu času, a to buď na základě světa, nebo k sobě navzájem.
Náhlavní souprava může například v současné době uvěřit, že dvě umístění na světě jsou 4 metry od sebe, a pak později upřesnit, že pochopení, že umístění jsou ve skutečnosti 3,9 metrů od sebe. Pokud byly tyto hologramy původně umístěny 4 metry od jednoho tuhého souřadnicového systému, jeden z nich by pak vždy vypadal 0,1 metrů od skutečného světa.
Prostorové ukotvení
Windows Mixed Reality řeší problém popsaný v předchozí části tím, že vám umožní vytvořit prostorové kotvy pro označení důležitých bodů na světě, kde uživatel umístil hologramy. Prostorová kotva představuje důležitý bod na světě, který by systém měl v průběhu času sledovat.
S tím, jak se zařízení učí o světě, mohou tyto prostorové kotvy podle potřeby upravit jejich pozici podle potřeby, aby každá kotva zůstala přesně tam, kde byla umístěna na základě skutečného světa. Umístěním prostorové kotvy na místo, kde uživatel umístí hologram a pak umístí hologram na základě jeho prostorové ukotvení, můžete zajistit, aby hologram zachoval optimální stabilitu, a to i v případě, že uživatel přetékal přes desítky metrů.
Tato kontinuální úprava prostorových ukotvení založených na sobě je klíčovým rozdílem mezi souřadnicovými systémy od prostorových ukotvení a statickými snímky odkazu:
Hologramy umístěné ve statickém rámečku odkazu mají pevný vztah k sobě navzájem. Vzhledem k tomu, že uživatel prochází dlouhými vzdálenostmi, může se souřadnicový systém rámce lišit na základě světa, aby se zajistilo, že hologramy vedle uživatele budou stabilní.
Hologramy umístěné ve fázi odkazu také udržují pevný vztah k sobě navzájem. Na rozdíl od statického rámce zůstává rámeček fáze vždy pevně na místě na základě svého definovaného fyzického původu. Obsah vykreslený v souřadnicovém systému fáze nad rámec hranice 5 měřičů se však zobrazí stabilní pouze v době, kdy uživatel stojí v rámci této hranice.
Hologramy umístěné pomocí jedné prostorové kotvy se mohou posunovat na základě hologramů umístěných pomocí jiné prostorové kotvy. To umožňuje systému Windows zlepšit své znalosti o poloze jednotlivých prostorových ukotvení, i když například jedna kotva musí upravit sama sebe doleva a jiná kotva musí upravit doprava.
Na rozdíl od statického referenčního rámce, který vždy optimalizuje stabilitu u uživatele, je prostorový rámec odkazu a prostorové kotvy zajištěna stabilita blízko jejich původu. To pomáhá těmto hologramům zůstat přesně v čase, ale také to znamená, že hologramy vykreslené příliš daleko od jejich původu souřadnicového systému budou mít stále silnější účinky pákových ramen. Důvodem je, že malé úpravy pozice a orientace fáze nebo ukotvení jsou zvětšeny úměrné vzdálenosti od této kotvy.
Dobrým pravidlem palce je zajistit, aby cokoli, co vykreslujete na základě vzdáleného souřadnicového systému prostorové kotvy, je asi 3 metry od jeho původu. V případě původu blízké fáze je vykreslení vzdáleného obsahu v pořádku, protože jakákoli zvýšená poziční chyba ovlivní pouze malé hologramy, které se v zobrazení uživatele moc nepřesouvají.
Trvalost prostorového ukotvení
Prostorové ukotvení také umožní aplikaci zapamatovat si důležité umístění i po pozastavení aplikace nebo vypnutí zařízení.
Uložením na disk prostorových ukotvení, které vaše aplikace vytvoří, a pak je znovu načíst později tím, že je uložíte do úložiště prostorových ukotvení vaší aplikace. Při ukládání nebo načítání ukotvení zadáte klíč řetězce, který bude pro vaši aplikaci smysluplný, abyste ho později identifikovali. Tento klíč si můžete představit jako název souboru ukotvení. Pokud chcete k této ukotvení přidružit další data, například 3D model, který uživatel umístil do tohoto umístění, uložte ho do místního úložiště vaší aplikace a přidružte ho ke zvolenému klíči.
Díky zachování ukotvení do storu můžou uživatelé umístit jednotlivé hologramy nebo umístit pracovní prostor, do kterého bude aplikace umísťovat různé hologramy, a pak tyto hologramy najít později, kde je očekávají, a to v průběhu mnoha použití vaší aplikace.
Vyhněte se obsahu zamčenému hlavou
Důrazně nedoporučujeme vykreslovat obsah uzamčený hlavou, který zůstává na pevném místě na displeji (například HUD). Obecně platí, že obsah uzamčený hlavou je pro uživatele nepříjemný a necítí se jako přirozená část jejich světa.
Obsah uzamčený hlavou by měl být obvykle nahrazen hologramy, které jsou připojené k uživateli nebo umístěné na samotném světě. Například kurzory by měly být obecně vysunuty do světa, přirozeně se škálují tak, aby odrážely pozici a vzdálenost objektu pod pohledem uživatele.
Zpracování chyb sledování
V některýchprostředích To může vést k tomu, že se hologramy buď nezobrazí, nebo se zobrazí na nesprávných místech, pokud jsou zpracovány nesprávně. Nyní probereme podmínky, ve kterých k tomu může dojít, její dopad na uživatelské prostředí a tipy, jak tuto situaci nejlépe zvládnout.
Náhlavní souprava nemůže sledovat kvůli nedostatečným datům snímačů
Někdy senzory náhlavní soupravy nemůžou zjistit, kde je náhlavní souprava. K tomu může dojít v následujícím případě:
- Pokoj je tmavý.
- Pokud jsou senzory pokryté vlasy nebo rukama
- Pokud okolí nemá dostatečnou texturu.
Pokud k tomu dojde, náhlavní souprava nebude moct sledovat svou polohu s dostatečnou přesností pro vykreslení světem uzamčených hologramů. Nemůžete zjistit, kde je prostorové ukotvení, statický rámec nebo rámeček fáze založené na zařízení. Obsah uzamčený tělem ale můžete vykreslit v připojeném rámečku odkazu.
Aplikace by měla uživateli sdělit, jak získat zpětné sledování polohy a vykreslovat náhradní obsah uzamčený tělem, který popisuje některé tipy, jako je odkrytí senzorů a zapnutí dalších světel.
Náhlavní souprava nesprávně sleduje kvůli dynamickým změnám v prostředí
Zařízení nemůže správně sledovat, pokud v prostředí existuje spousta dynamických změn, například mnoho lidí, kteří se v místnosti pohybují. V tomto případě se hologramy můžou zdát, že se při pokusu o sledování samotného zařízení v tomto dynamickém prostředí můžou zdát skoky nebo posuny. Pokud k tomuto scénáři dojde, doporučujeme zařízení používat v méně dynamickém prostředí.
Náhlavní souprava nesprávně sleduje, protože prostředí se v průběhu času výrazně změnilo.
Když začnete používat náhlavní soupravu v prostředí, kde se přesunul nábytek, závěsy zdí a tak dále, je možné, že se některé hologramy mohou zobrazovat posunuty z jejich původních umístění. Starší hologramy se také můžou skákat, když se uživatel přesune do nového prostoru, protože systém už nerozumí vašemu prostoru. Systém se pak pokusí znovu namapovat prostředí a zároveň se snaží odsouhlasit funkce místnosti. V tomto scénáři doporučujeme uživatelům, aby nahradili hologramy, které připnuli na světě, pokud se nezobrazují tam, kde se čekalo.
Náhlavní souprava nesprávně sleduje identické mezery v prostředí
Někdy může mít domov nebo jiný prostor dvě identické oblasti. Například dvě identické konferenční místnosti, dvě identické rohové oblasti, dva velké identické plakáty, které pokrývají pole zobrazení zařízení. V takových scénářích se zařízení může občas zaměňovat mezi identickými částmi a označit je jako stejné ve svém interním vyjádření. To může způsobit, že se hologramy z některých oblastí zobrazí v jiných umístěních. Zařízení může začít ztrácet sledování často, protože jeho interní reprezentace prostředí je poškozena. V tomto případě se doporučuje resetovat pochopení životního prostředí systému. Resetováním mapy dojde ke ztrátě všech umístění prostorových ukotvení. To způsobí, že náhlavní souprava bude dobře sledovat v jedinečných oblastech prostředí. Problém se však může opakovat, pokud se zařízení znovu zaměňuje mezi identickými oblastmi.