Hloubková kamera Azure Kinect DK

Tato stránka popisuje, jak používat hloubkovou kameru v Azure Kinect DK. Hloubková kamera je druhou ze dvou fotoaparátů. Jak je popsáno v předchozích částech, druhá kamera je kamera RGB.

Provozní principy

Hloubková kamera Azure Kinect DK implementuje princip Amplitude Modulated Continuous Wave (AMCW) Time-of Flight (ToF). Kamera přetypuje modulované osvětlení ve spektru téměř IR (NIR) na scénu. Pak zaznamenává nepřímé měření doby, po které trvá, než světlo cestuje z fotoaparátu do scény a zpět.

Tato měření se zpracovávají za účelem vygenerování hloubkové mapy. Hloubková mapa je sada hodnot souřadnic Z pro každý pixel obrázku měřená v jednotkách milimetrů.

Spolu s hloubkovou mapou získáme také tzv. čisté čtení IR. Hodnota pixelů v čistém čtení prostředí IR je úměrná množství světla vráceného ze scény. Obrázek vypadá podobně jako běžný obrázek prostředí IR. Následující obrázek znázorňuje příklad hloubkové mapy (vlevo) a odpovídající obrázek čistého prostředí IR (vpravo).

Klíčové funkce

Mezi technické charakteristiky hloubkové kamery patří:

• 1megapixelový toF bitové čipy s pokročilými pixelovými technologiemi, které umožňují vyšší frekvence modulace a přesnost hloubky.
• Dvě laserové diody NIR umožňující režim hloubky téměř a širokoúhlého zobrazení (FoV).
• Nejmenší pixel toF na světě při 3,5μm o 3,5μm.
• Automatický výběr na pixel, který umožňuje čistou zachycení velkých dynamických rozsahů téměř a daleko.
• Globální závěrka, která umožňuje lepší výkon při slunečním záření.
• Metoda výpočtu vícefázové hloubky, která umožňuje robustní přesnost i při přítomnosti čipu, laseru a variace napájení.
• Nízké systematické a náhodné chyby.

Hloubková kamera přenáší nezpracované modulované snímky IR do hostitelského počítače. Na počítači software gpu akcelerované hloubkové jádro převede nezpracovaný signál na hloubkové mapy. Hloubková kamera podporuje několik režimů. Úzké režimy zobrazení (FoV) jsou ideální pro scény s menšími rozsahy v rozměrech X a Y, ale větší rozsahy v dimenzi Z. Pokud má scéna velké rozsahy X a Y, ale menší rozsahy Z, jsou režimy foV vhodnější.

Hloubková kamera podporuje režimy binningu 2x2 pro rozšíření rozsahu Z ve srovnání s odpovídajícími nebinovanými režimy. Binning se provádí za cenu snížení rozlišení obrázků. Všechny režimy lze spustit až na 30 snímků za sekundu (fps) s výjimkou režimu 1 pixel (MP), který běží s maximální rychlostí snímků 15 fps. Hloubková kamera také poskytuje pasivní režim IR. V tomto režimu nejsou osvětlení na fotoaparátu aktivní a pozoruje se pouze okolní osvětlení.

Výkon fotoaparátu

Výkon kamery se měří jako systematická a náhodná chyba.

Systematická chyba

Systematická chyba je definována jako rozdíl mezi měřenou hloubkou po odstranění šumu a správnou hloubkou (základní pravda). Vypočítáme dočasný průměr nad mnoha snímky statické scény, abychom co nejvíce eliminovali šum hloubky. Přesněji řečeno, systematická chyba je definována takto:

Kde d_t označuje hloubku míry v čase t, N je počet snímků použitých v průměračním postupu a d_gt je hloubka základní pravdy.

Systematická specifikace chyby hloubkové kamery vylučuje interferenci s více cestami (MPI). FUNKCE MPI je, když jeden pixel senzoru integruje světlo, které se odráží více než jedním objektem. MPI je částečně zmírněný v naší hloubkové kameře pomocí vyšších frekvencí modulace spolu s hloubkou zneplatnění, kterou představíme později.

Náhodná chyba

Předpokládejme, že vezmeme 100 obrázků stejného objektu bez přesunutí kamery. Hloubka objektu se v každém z 100 obrázků mírně liší. Tento rozdíl je způsoben zastřelením šumem. Šum snímků je počet fotonů, které stisknou senzor, se v průběhu času liší náhodným faktorem. Tuto náhodnou chybu na statické scéně definujeme jako směrodatnou odchylku hloubky v průběhu času vypočítanou takto:

Kde N označuje počet měření hloubky, d_t představuje hloubkové měření v čase t a d označuje střední hodnotu vypočítanou pro všechna měření hloubky d_t.

Neplatnost

V některých situacích nemusí hloubková kamera poskytovat správné hodnoty pro některé pixely. V těchto situacích jsou pixely hloubky neplatné. Neplatné pixely jsou označeny hodnotou hloubky rovnající se 0. Mezi důvody, proč hloubkový modul nemůže vytvořit správné hodnoty, patří:

• Mimo aktivní masku osvětlení IR
• Signál sytého ir
• Nízký signál IR
• Odfiltrovat odlehlé hodnoty
• Interference s více cestami

Maska osvětlení

Pixely jsou zneplatněny, když jsou mimo aktivní masku osvětlení IR. K výpočtu hloubky nedoporučujeme používat signál takových pixelů. Následující obrázek ukazuje příklad zneplatnění maskou osvětlení. Neplatné pixely jsou černé pixely mimo kruh v širokých režimech FoV (vlevo) a šestiúhelník v úzkých režimech FoV (vpravo).

Síla signálu

Pixely jsou zneplatněny, pokud obsahují nasycený signál IR. Když jsou pixely nasycené, informace o fázích se ztratí. Na následujícím obrázku je příklad zneplatnění signálem ir sytého prostředí IR. Viz šipky ukazující na ukázkové pixely v hloubkových i irových obrázcích.

K zneplatnění může dojít také v případě, že signál IR není dostatečně silný k vygenerování hloubky. Následující obrázek znázorňuje příklad zneplatnění signálem ir. Podívejte se na šipky ukazující na ukázkové pixely v hloubkových i irových obrázcích.

Nejednoznačná hloubka

Pixely lze také zneplatnit, pokud obdržely signály z více než jednoho objektu ve scéně. Běžný případ, kdy je možné tento druh zneplatnění vidět v rozích. Vzhledem k geometrii scény se světlo IR z kamery odrazilo z jedné zdi a na druhou. Tento odraz světla způsobuje nejednoznačnost v měřené hloubkě pixelu. Filtry v algoritmu hloubky detekují tyto nejednoznačné signály a zneplatní pixely.

Následující obrázky ukazují příklady zneplatnění pomocí detekce více cest. Můžete také vidět, jak se může stejná povrchová oblast, která byla zneplatněná z jednoho zobrazení fotoaparátu (horní řádek), znovu zobrazovat z jiného zobrazení fotoaparátu (dolní řádek). Tento obrázek ukazuje, že povrchy zneplatněné z jedné perspektivy můžou být viditelné z jiného.

Dalším běžným případem multipathu jsou pixely, které obsahují smíšený signál z popředí a pozadí (například kolem okrajů objektu). Během rychlého pohybu může kolem okrajů dojít k zneplatnění pixelů. Další neplatné pixely jsou způsobeny intervalem expozice nezpracované hloubky zachycení,

Další kroky

Souřadnicové systémy