Azure Kinect DK-dieptecamera
Op deze pagina wordt beschreven hoe u de dieptecamera in uw Azure Kinect DK gebruikt. De dieptecamera is de tweede van de twee camera's. Zoals besproken in de vorige secties, is de andere camera de RGB-camera.
Operationele principes
De Azure Kinect DK-dieptecamera implementeert het AMCW-principe (Amplitude Modulated Continuous Wave) Time-of-Flight (ToF). De camera cast gemoduleerde verlichting in het near-IR (NIR)-spectrum op de scène. Vervolgens wordt een indirecte meting vastgelegd van de tijd die het licht nodig heeft om van de camera naar de scène en terug te reizen.
Deze metingen worden verwerkt om een dieptekaart te genereren. Een dieptekaart is een set Z-coördinaatwaarden voor elke pixel van de afbeelding, gemeten in eenheden van millimeters.
Naast een dieptekaart krijgen we ook een zogenaamde schone IR-leesbewerking. De waarde van pixels in de schone IR-leesfunctie is evenredig met de hoeveelheid licht die wordt geretourneerd uit de scène. De afbeelding ziet er ongeveer uit als een normale IR-installatiekopieën. In de onderstaande afbeelding ziet u een voorbeeld van een dieptekaart (links) en een bijbehorende schone IR-afbeelding (rechts).
Belangrijkste functies
Technische kenmerken van de dieptecamera zijn:
- 1-Megapixel ToF imaging chip met geavanceerde pixeltechnologie waardoor hogere modulatiefrequenties en diepteprecisie mogelijk zijn.
- Twee NIR Laserdioden die dieptemodi in de buurt en het brede gezichtsveld (FoV) mogelijk maken.
- De kleinste ToF-pixel ter wereld, op 3,5μm met 3,5μm.
- Automatische selectie per pixel waardoor groot dynamisch bereik mogelijk is, zodat objecten in bijna en vereen netjes kunnen worden vastgelegd.
- Globale sluiter die betere prestaties in zonlicht mogelijk maakt.
- Berekeningsmethode met meerdere fasen die robuuste nauwkeurigheid mogelijk maakt, zelfs in aanwezigheid van chip-, laser- en voedingsvariatie.
- Lage systematische en willekeurige fouten.
De dieptecamera verzendt onbewerkte gemoduleerde IR-afbeeldingen naar de host-pc. Op de pc converteert de GPU-software voor versnelde diepte-engine het onbewerkte signaal naar dieptekaarten. De dieptecamera ondersteunt verschillende modi. De smalle weergavemodi (FoV) zijn ideaal voor scènes met kleinere afmetingen in X- en Y-dimensies, maar grotere gebieden in de Z-dimensie. Als de scène grote X- en Y-gebieden heeft, maar kleinere Z-bereiken, zijn de brede FoV-modi beter geschikt.
De dieptecamera ondersteunt 2x2 binningmodi om het Z-bereik uit te breiden in vergelijking met de bijbehorende niet-gekoppelde modi. Binning wordt uitgevoerd ten koste van het verlagen van de resolutie van afbeeldingen. Alle modi kunnen worden uitgevoerd met maximaal 30 frames per seconde (fps) met uitzondering van de 1 megapixelmodus (MP) die wordt uitgevoerd met een maximale framesnelheid van 15 fps. De dieptecamera biedt ook een passieve IR-modus. In deze modus zijn de verlichtingslichten op de camera niet actief en wordt alleen omgevingsverlichting waargenomen.
Cameraprestaties
De prestaties van de camera worden gemeten als systematische en willekeurige fouten.
Systematische fout
Systematische fout wordt gedefinieerd als het verschil tussen de gemeten diepte na het verwijderen van ruis en de juiste (grondwaar) diepte. We berekenen het tijdelijke gemiddelde over veel frames van een statische scène om diepteruis zoveel mogelijk te elimineren. Om precies te zijn, wordt de systematische fout gedefinieerd als:
Waarbij dt de meetdiepte op tijd t aangeeft, is N het aantal frames dat in de gemiddelde procedure wordt gebruikt en dgt de diepte van de grondwaar is.
De systematische foutspecificatie van de dieptecamera is exclusief MPI (Multi-Path Interferentie). MPI is wanneer één sensor pixel licht integreert dat wordt weerspiegeld door meer dan één object. MPI wordt deels beperkt in onze dieptecamera met hogere modulatiefrequenties, samen met de diepte-invalidatie, die we later zullen introduceren.
Willekeurige fout
Stel dat we 100 afbeeldingen van hetzelfde object nemen zonder de camera te verplaatsen. De diepte van het object is iets anders in elk van de 100 afbeeldingen. Dit verschil wordt veroorzaakt door schotruis. Opnameruis is het aantal fotonen dat de sensor raakt, verschilt per willekeurige factor in de loop van de tijd. We definiëren deze willekeurige fout op een statische scène als de standaarddeviatie van diepte in de loop van de tijd die wordt berekend als:
Waarbij N het aantal dieptemetingen aangeeft, geeft dt de dieptemeting aan op het moment t en d geeft de gemiddelde waarde aan die wordt berekend over alle dieptemetingen dt.
Nietigverklaring
In bepaalde situaties biedt de dieptecamera mogelijk geen juiste waarden voor sommige pixels. In deze situaties worden diepte pixels ongeldig gemaakt. Ongeldige pixels worden aangegeven door de dieptewaarde gelijk aan 0. Redenen waarom de diepte-engine geen juiste waarden kan produceren, zijn onder andere:
- Buiten actief IR-verlichtingsmasker
- Verzadigings-IR-signaal
- Lage IR-signaal
- Uitbijter filteren
- Interferentie met meerdere paden
Verlichtingsmasker
Pixels worden ongeldig wanneer ze zich buiten het actieve IR-verlichtingsmasker bevinden. We raden u niet aan het signaal van dergelijke pixels te gebruiken om diepte te berekenen. In de onderstaande afbeelding ziet u het voorbeeld van ongeldigheid door verlichtingsmasker. De ongeldige pixels zijn de pixels met zwarte kleuren buiten de cirkel in de brede FoV-modi (links) en de zeshoek in de smalle FoV-modi (rechts).
Signaalsterkte
Pixels worden ongeldig wanneer ze een verzadigings-IR-signaal bevatten. Wanneer pixels verzadigd zijn, gaat fase-informatie verloren. In de onderstaande afbeelding ziet u het voorbeeld van ongeldigheid door een verzadigings-IR-signaal. Zie pijlen die wijzen naar de voorbeeld pixels in zowel de diepte- als ir-afbeeldingen.
Ongeldigheid kan ook optreden wanneer het IR-signaal niet sterk genoeg is om diepte te genereren. In de onderstaande afbeelding ziet u het voorbeeld van ongeldigheid door een laag IR-signaal. Zie de pijlen die wijzen op voorbeeld pixels in zowel de diepte- als ir-afbeeldingen.
Dubbelzinnige diepte
Pixels kunnen ook ongeldig worden gemaakt als ze signalen ontvangen van meer dan één object in de scène. Een veelvoorkomend geval waarin dit soort ongeldigheid kan worden gezien, bevindt zich in hoeken. Vanwege de scènegeometrie weerspiegelt het IR-licht van de camera de ene muur en de andere. Dit weerspiegelde licht veroorzaakt dubbelzinnigheid in de gemeten diepte van de pixel. Filters in het diepte-algoritme detecteren deze dubbelzinnige signalen en maken de pixels ongeldig.
In de onderstaande afbeeldingen ziet u voorbeelden van ongeldigheid door detectie van meerdere paden. U kunt ook zien hoe hetzelfde oppervlak dat ongeldig is geworden vanuit één cameraweergave (bovenste rij) opnieuw kan worden weergegeven vanuit een andere cameraweergave (onderste rij). In deze afbeelding ziet u dat oppervlakken die ongeldig zijn vanuit het ene perspectief, mogelijk zichtbaar zijn vanuit een ander perspectief.
Een ander veelvoorkomend geval van multipath is pixels die het gemengde signaal van voorgrond en achtergrond (zoals rond objectranden) bevatten. Tijdens snelle beweging ziet u mogelijk meer ongeldige pixels rond de randen. De extra ongeldige pixels zijn vanwege het blootstellingsinterval van de onbewerkte diepteopname,
