Vytvoření řešení AVOps (Autonomní provoz vozidel)

Tato architektura poskytuje pokyny a doporučení pro vývoj automatizovaného řešení řízení.

Architektura

Stáhnout soubor Visia, který obsahuje diagramy architektury v tomto článku.

Dataflow

1. Data měření pocházejí z datových proudů pro senzory, jako jsou kamery, radar, ultrazvuk, lidar a telemetrie vozidel. Data loggery v úložišti vozidel ukládají data na zařízeních úložiště loggeru. Data úložiště protokolovacího nástroje se pak nahrají do cílového datového jezera. Služba, jako je Azure Data Box nebo Azure Stack Edge nebo vyhrazené připojení, jako je azure ExpressRoute, ingestuje data do Azure.

   Data měření mohou být také syntetická data ze simulací nebo z jiných zdrojů. (MDF4, TDMS a rosbag jsou běžné formáty dat pro měření.) Ve fázi DataOps se ingestované měření zpracovávají. Ověření a kontroly kvality dat, jako je kontrolní součet, se provádějí za účelem odebrání dat s nízkou kvalitou. V této fázi se extrahují nezpracovaná metadata informací zaznamenaných testovacím ovladačem během testovací jednotky. Tato data se ukládají do centralizovaného katalogu metadat. Tyto informace pomáhají podřízeným procesům identifikovat konkrétní scény a sekvence.

2. Data se zpracovávají kanálem ETL (Extrakce, transformace a načítání) azure Data Factory. Výstup se uloží jako nezpracovaná a binární data v Azure Data Lake. Metadata se ukládají v Azure Cosmos DB . V závislosti na scénáři se pak může odeslat do Azure Data Exploreru nebo azure Cognitive Search.

3. Do dat se přidávají další informace, přehledy a kontext, aby se zlepšila jejich přesnost a spolehlivost.

4. Extrahovaná data měření se poskytují partnerům s popisky (human-in-the-loop) prostřednictvím azure Data Share. Partneři třetích stran provádějí automatické popisování, ukládání a přístup k datům prostřednictvím samostatného účtu Data Lake.

5. Datové sady označené jako tok do podřízených MLOps procesy, zejména za účelem vytvoření modelů vnímání a fúze senzorů. Tyto modely provádějí funkce používané autonomními vozidly k detekci scén (to znamená změny jízdních pruhů, blokovaných silnic, chodců, dopravních světel a dopravních známek).

6. Ve fázi ValOps se trénované modely ověřují prostřednictvím open-loop a uzavřeného testování smyčky.

7. Nástroje, jako Foxglove, spuštěné ve službě Azure Kubernetes Service nebo azure Container Instances, vizualizují ingestované a zpracovávaná data.

Sběr dat

Shromažďování dat je jednou z hlavních výzev provozu autonomních vozidel (AVOps). Následující diagram znázorňuje příklad toho, jak se dají shromažďovat a ukládat data o offline a online vozidlech v datovém jezeře.

DataOps

Operace s daty (DataOps) jsou sadou postupů, procesů a nástrojů pro zlepšení kvality, rychlosti a spolehlivosti operací s daty. Cílem toku DataOps pro autonomní řízení (AD) je zajistit, aby data použitá k řízení vozidla byla vysoce kvalitní, přesná a spolehlivá. Díky konzistentnímu toku DataOps můžete zlepšit rychlost a přesnost operací s daty a lépe se rozhodovat o řízení autonomních vozidel.

Komponenty DataOps

• Data Box se používá k přenosu shromážděných dat o vozidlech do Azure prostřednictvím regionálního dopravce.
• ExpressRoute rozšiřuje místní síť do cloudu Microsoftu přes privátní připojení.
• Azure Data Lake Storage ukládá data na základě fází, například nezpracovaných nebo extrahovaných fází.
• Azure Data Factory provádí ETL prostřednictvím dávkových výpočetních a vytváří pracovní postupy řízené daty pro orchestraci přesunu a transformaci dat.
• Azure Batch spouští rozsáhlé aplikace pro úlohy, jako jsou transformace dat, filtrování a příprava dat a extrakce metadat.
• azure Cosmos DB ukládá výsledky metadat, jako jsou uložená měření.
• Data Share slouží ke sdílení dat s partnerskými organizacemi, jako je označování společností, s vylepšeným zabezpečením.
• Azure Databricks poskytuje sadu nástrojů pro správu datových řešení na podnikové úrovni ve velkém měřítku. Vyžaduje se pro dlouhotrvající operace s velkými objemy dat o vozidlech. Datoví inženýři používají Azure Databricks jako analytickou práci.
• Azure Synapse Analytics zkracuje čas na přehled napříč datovými sklady a systémy pro velké objemy dat.
• azure Cognitive Search poskytuje vyhledávací služby katalogu dat.

MLOps

Operace strojového učení (MLOps) zahrnují:

• Modely extrakce funkcí (například CLIP a YOLO) pro klasifikaci scén (například jestli je chodec ve scéně) během kanálu DataOps.
• Modely automatického označování pro označování ingestované obrázky a lidar a paprsková data
• Modely vnímání a počítačového zpracování obrazu pro detekci objektů a scén.
• Model fúzní senzoru, který kombinuje proudy senzorů.

Model vnímání je důležitou součástí této architektury. Tento model Azure Machine Learning generuje model detekce objektů pomocí detekovaných a extrahovaných scén.

Přenos kontejnerizovaného modelu strojového učení do formátu, který je možné číst systémem na hardwaru čipu (SoC) a v kanálu MLOps dochází k ověřování a simulaci softwaru. Tento krok vyžaduje podporu výrobce SoC.

Komponenty MLOps

• azure Machine Learning slouží k vývoji algoritmů strojového učení, jako je extrakce funkcí, automatické popisování, detekce objektů a klasifikace objektů a fúze senzorů.
• Azure DevOps poskytuje podporu úloh DevOps, jako jsou CI/CD, testování a automatizace.
• GitHub pro podniky je alternativní volbou pro úlohy DevOps, jako je CI/CD, testování a automatizace.
• Azure Container Registry umožňuje vytvářet, ukládat a spravovat image kontejnerů a artefakty v privátním registru.

ValOps

Ověřovací operace (ValOps) je proces testování vyvinutých modelů v simulovaných prostředích prostřednictvím spravovaných scénářů před provedením nákladného reálného testování prostředí. Testy ValOps pomáhají zajistit, aby modely splňovaly požadované standardy výkonu, standardy přesnosti a bezpečnostní požadavky. Cílem procesu ověřování v cloudu je identifikovat a řešit případné problémy před nasazením autonomního vozidla v živém prostředí. ValOps zahrnuje:

• Ověření simulace Cloudová simulace (prostředí open-loop a testování uzavřených smyček) umožňují virtuální testování autonomních modelů vozidel. Toto testování běží ve velkém měřítku a je levnější než skutečné testování.
• Ověření výkonu Cloudová infrastruktura může spouštět rozsáhlé testy za účelem vyhodnocení výkonu autonomních modelů vozidel. Ověření výkonu může zahrnovat zátěžové testy, zátěžové testy a srovnávací testy.

Použití ValOps k ověřování vám může pomoct využít škálovatelnost, flexibilitu a nákladovou efektivitu cloudové infrastruktury a zkrátit dobu uvedení na trh pro autonomní modely vozidel.

Testování open-loop

Re-simulace nebo zpracování snímačů, je open-loop test a ověřovací systém pro automatické řízení funkcí. Jedná se o složitý proces a můžou existovat zákonné požadavky na bezpečnost, ochranu osobních údajů v datech, správu verzí dat a auditování. Opakované simulační procesy zaznamenávaly nezpracovaná data z různých snímačů automobilů prostřednictvím grafu v cloudu. Opětovná simulace ověřuje algoritmy zpracování dat nebo detekuje regrese. OEM kombinují senzory v řízeném acyklickém grafu, který představuje reálné vozidlo.

Opětovná simulace je rozsáhlá paralelní výpočetní úloha. Zpracovává desítky nebo stovky databází dat pomocí desítek tisíc jader. Vyžaduje propustnost vstupně-výstupních operací větší než 30 GB/s. Data z více senzorů se kombinují do datových sad, které představují pohled na to, co systémy počítačového zpracování obrazu zaznamenávají, když vozidlo prochází reálným světem. Test open-loop ověřuje výkon algoritmů proti základní pravdivosti pomocí přehrání a bodování. Výstup se použije později v pracovním postupu pro trénování algoritmu.

• Datové sady pocházejí z testovacích vozidel vozového parku, které shromažďují nezpracovaná data ze snímačů (například fotoaparát, lidar, radar a ultrazvuková data).
• Objem dat závisí na rozlišení fotoaparátu a počtu senzorů na vozidle.
• Nezpracovaná data se znovu zpracovávají v různých softwarových verzích zařízení.
• Nezpracovaná data ze snímačů se odesílají do vstupního rozhraní senzorového softwaru.
• Výstup se porovnává s výstupem předchozích verzí softwaru a kontroluje se proti opravám chyb nebo novým funkcím, jako je zjišťování nových typů objektů.
• Po aktualizaci modelu a softwaru se provede druhá opětovná injektáž úlohy.
• Základní pravdivá data slouží k ověření výsledků.
• Výsledky se zapisují do úložiště a přesměrují se do Azure Data Exploreru pro vizualizaci.

Testování a simulace uzavřených smyček

Testování uzavřených smyček autonomních vozidel je proces testování schopností vozidel a zároveň zahrnuje zpětnou vazbu v reálném čase z prostředí. Akce vozidla jsou založeny jak na jeho předprogramovaném chování, tak na dynamických podmínkách, na kterých narazí, a odpovídajícím způsobem upraví své akce. Testování uzavřených smyček běží v složitějším a realističtějším prostředí. Používá se k posouzení schopnosti vozidla zvládnout reálné scénáře, včetně toho, jak reaguje na neočekávané situace. Cílem testování uzavřených smyček je ověřit, že vozidlo může bezpečně a efektivně pracovat v různých podmínkách a vylepšovat kontrolní algoritmy a rozhodovací procesy podle potřeby.

Kanál ValOps integruje testování uzavřených smyček, simulace třetích stran a aplikace nezávislých výrobců softwaru.

Správa scénářů

Během fáze ValOps se katalog skutečných scénářů používá k ověření schopnosti autonomního řízení řešení simulovat chování autonomních vozidel. Cílem je urychlit vytváření katalogů scénářů tím, že automaticky čte síť tras, která je součástí scénáře, z veřejně přístupných a volně dostupných digitálních map. Pro správu scénářů nebo jednoduchý opensourcový simulátor, jako je CARLA, použijte nástroje třetích stran, které podporujíformátu OpenDRIVE (xodr). Další informace naleznete v tématu ScenarioRunner pro CARLA.

Komponenty ValOps

• azure Kubernetes Service spouští rozsáhlé dávkové odvozování pro ověřování open-loop v rámci architektury Pryskyřice. Pro přístup k souborům měření doporučujeme použít BlobFuse2. Můžete také použít systém souborů NFS, ale potřebujete vyhodnotit výkon pro případ použití.
• Azure Batch spouští rozsáhlé odvozování dávek pro ověřování open-loop v rámci architektury Pryskyřic.
• Azure Data Explorer poskytuje analytickou službu pro měření a klíčové ukazatele výkonu (to znamená opětovné simulace a spuštění úloh).

Centralizované funkce AVOps

Architektura AVOps je složitá a zahrnuje různé třetí strany, role a fáze vývoje, takže je důležité implementovat dobrý model zásad správného řízení.

Doporučujeme vytvořit centralizovaný tým pro zpracování funkcí, jako je zřizování infrastruktury, správa nákladů, metadata a katalog dat, rodokmen a celková orchestrace a zpracování událostí. Centralizace těchto služeb je efektivní a zjednodušuje provoz.

K řešení těchto zodpovědností doporučujeme použít centralizovaný tým:

• Poskytování šablon ARM/Bicep, včetně šablon pro standardní služby, jako jsou úložiště a výpočetní prostředky používané jednotlivými oblastmi a podoblastí architektury AVOps
• Implementace centrálních instancí služby Azure Service Bus / Azure Event Hubs pro orchestraci řízené událostmi datové smyčky AVOps
• Vlastnictví katalogu metadat
• Možnosti pro kompletní rodokmen a sledovatelnost napříč všemi komponentami AVOps

Podrobnosti scénáře

Tuto architekturu můžete použít k vytvoření automatizovaného řešení řízení v Azure.

Potenciální případy použití

Automobilový výrobce OEM, dodavatelé vrstvy 1 a nezávislí výrobci softwaru, kteří vyvíjejí řešení pro automatizované řízení.

Úvahy

Tyto aspekty implementují pilíře architektury Azure Well-Architected, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace najdete v tématu rozhraní Microsoft Azure Well-Architected Framework.

Bezpečnost

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

Je důležité pochopit rozdělení odpovědnosti mezi automobilový výrobce OEM a poskytovatelem cloudu. Výrobce OEM ve vozidle vlastní celý zásobník, ale při přesunu dat do cloudu se některé zodpovědnosti přenesou poskytovateli cloudu. Platforma jako služba Azure (PaaS) poskytuje integrované vylepšené zabezpečení fyzického zásobníku, včetně operačního systému. Kromě komponent zabezpečení infrastruktury můžete použít následující vylepšení. Tato vylepšení umožňují přístup Zero-Trust.

• Privátní koncové body pro zabezpečení sítě. Další informace najdete v tématu privátních koncových bodů pro azure Data Explorer a Povolit přístup k oborům názvů služby Azure Event Hubs prostřednictvím privátních koncových bodů.
• Šifrování neaktivních uložených a přenášených dat Další informace najdete v přehledu služby Azure Encryption.
• Správa identit a přístupu, která používá identity Microsoft Entra a zásady podmíněného přístupu Microsoft Entra.
• zabezpečení na úrovni řádků (RLS) pro Azure Data Explorer.
• Zásady správného řízení infrastruktury, které používají azure Policy.
• Zásady správného řízení dat, které používají Microsoft Purview.
• správy certifikátů, které pomáhají zabezpečit spojení vozidel.
• Přístup s nejnižšími oprávněními. Omezte přístup uživatelů pomocí just-In-Time (JIT) a Just-Enough-Administration (JEA), adaptivních zásad založených na rizicích a ochrany dat.

Optimalizace nákladů

Optimalizace nákladů se týká snížení zbytečných výdajů a zlepšení efektivity provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Pomocí těchto strategií můžete snížit náklady spojené s vývojem řešení autonomního řízení:

• Optimalizujte cloudovou infrastrukturu. Pečlivé plánování a správa cloudové infrastruktury vám můžou pomoct snížit náklady. Můžete například použít nákladově efektivní typy instancí a škálovat infrastrukturu pro splnění měnících se úloh. Postupujte podle pokynů varchitektury přechodu na cloud Azure.
• Použijte spotové virtuální počítače. Můžete určit, které úlohy v nasazení AVOps nevyžadují zpracování v určitém časovém rámci, a pro tyto úlohy použít spotové virtuální počítače. SpotOvé virtuální počítače umožňují využít nevyužitou kapacitu Azure za významné úspory nákladů. Pokud Azure kapacitu potřebuje zpět, infrastruktura Azure vyřadí spotové virtuální počítače.
• Použijte automatické škálování. Automatické škálování umožňuje automaticky upravit cloudovou infrastrukturu na základě poptávky, což snižuje potřebu ručního zásahu a pomáhá snižovat náklady. Další informace naleznete v tématu Návrh pro škálování.
• Zvažte použití horké, studené a archivní úrovně pro úložiště. Úložiště může být významné náklady v řešení autonomního řízení, takže potřebujete zvolit nákladově efektivní možnosti úložiště, jako je studené úložiště nebo zřídka dostupné úložiště. Další informace najdete v tématu správy životního cyklu dat.
• Použijte nástroje pro správu nákladů a optimalizaci. microsoft Cost Management poskytuje nástroje, které vám pomůžou identifikovat a řešit oblasti snížení nákladů, jako jsou nepoužité nebo nedostatečně využité prostředky.
• Zvažte použití služeb Azure. K vytváření a trénování autonomních modelů řízení můžete například použít azure Machine Learning. Používání těchto služeb může být nákladově efektivnější než vytváření a údržba interní infrastruktury.
• Používejte sdílené prostředky. Pokud je to možné, můžete použít sdílené prostředky, jako jsou sdílené databáze nebo sdílené výpočetní prostředky, a snížit tak náklady spojené s autonomním vývojem řízení. centralizované funkce v této architektuře, například implementují centrální sběrnici, centrum událostí a katalog metadat. Služby, jako je Azure Data Share, vám můžou také pomoct dosáhnout tohoto cíle.

Přispěvatelů

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autoři:

• Ryan Matsumura | Vedoucí programový manažer
• Jochen Schroeer | Lead Architect (Service Line Mobility)

Další přispěvatelé:

• Mick Alberts | Technický spisovatel
• David Peterson | Hlavní architekt
• Gabriel Sallah | HpC/AI Global Black Belt Specialista

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

• Co je Azure Machine Learning?
• Co je Azure Batch?
• Dokumentace ke službě Azure Data Factory
• Co je Azure Data Share?

Související prostředky

Další informace o vývoji DataOps pro automatizovaný systém řízení najdete tady:

Můžete se také zajímat o tyto související články:

• Průvodce návrhem AVOps
• analýza dat pro testovací flotily automobilů
• stavební bloky pro simulační prostředí autonomního řízení