Upravit

Sdílet prostřednictvím

Analýza dat pro testovací flotily automobilů

Microsoft Fabric
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure Event Grid

Výrobci originálních automobilových zařízení (OEM) potřebují řešení, aby se minimalizovala doba mezi testovacími jednotkami a poskytování diagnostických dat testovacích jednotek technikům V&D. S tím, jak se vozidla zautomatizovat, se životní cyklus vývoje softwaru zkrátí, což vyžaduje rychlejší smyčky digitální zpětné vazby. Nová technologie může demokratizovat přístup k datům a poskytovat technikům V&D téměř v reálném čase přehledy o diagnostických datech testovacích jednotek. Pomocí Copilotu Datová Věda a Datoví technici analýzy dat můžete dále zkrátit dobu, po které můžete získat přehled. Zabezpečené sdílení dat může zlepšit spolupráci mezi výrobci OEM a dodavateli a zkrátit dobu vývojového cyklu.

Pokyny v tomto článku jsou určené pro scénáře telemetrie a scénáře příjmu dat dávkového testování. Tato architektura se zaměřuje na datová platforma, která zpracovává diagnostická data a konektory pro vizualizaci dat a vytváření sestav dat.

Architektura

Diagram znázorňující tok analytických dat pro streamování automobilových dat a souborů

Stáhněte si powerpointový soubor se všemi diagramy v tomto článku.

Tok dat

Následující tok dat odpovídá předchozímu diagramu:

  1. Zařízení pro zachytávání dat je připojené k sítím vozidel a shromažďuje data a video s vysokým rozlišením. (1a) Zařízení publikuje zprávy telemetrie v reálném čase nebo (1b) požaduje nahrání zaznamenaných datových souborů do funkce zprostředkovatele Azure Event Grid MQTT pomocí klienta MQTT. Tato funkce používá vzor kontroly deklarací identity.

  2. (2a) Event Grid směruje data živých signálů vozidel do aplikace Azure Functions. Tato aplikace dekóduje signály vozidla do formátu JSON (JavaScript Object Notation) a publikuje je do eventstreamu.

    (2b) Event Grid koordinuje nahrávání souboru z klienta zařízení do jezera. Dokončené nahrávání souborů aktivuje kanál, který dekóduje data a zapíše dekódovaný soubor do OneLine ve formátu, který je vhodný pro příjem dat, například parquet nebo CSV.

  3. (3a) Eventstream směruje dekódované signály vozidel JSON pro příjem dat v eventhouse.

    (3b) Datový kanál aktivuje příjem dekódovaných souborů z jezera.

  4. Eventhouse používá zásady aktualizace k obohacení dat a k rozšíření dat JSON do vhodného formátu řádku, například data o poloze můžou být seskupené tak, aby odpovídaly geoprostorové analýze. Pokaždé, když se ingestuje nový řádek, vyvolá analytický modul v reálném čase přidruženou Update() funkci.

  5. Datoví inženýři a datoví vědci používají k vytváření případů použití analýzy dotazovací jazyk Kusto (KQL). Uživatelé ukládají často používané případy jako sdíletelné uživatelem definované funkce. Technici používají integrované funkce KQL, jako jsou agregace, analýza časových řad, geoprostorové clusteringy, vytváření oken a moduly plug-in strojového učení s podporou Copilotu.

  6. Technici a datoví vědci používají poznámkové bloky k analýze dat a vytváření testovacích a ověřovacích případů použití.

    1. Technici pro výzkum používají sady dotazů KQL a Copilot k provádění interaktivní analýzy dat v reálném čase .

    2. Datoví inženýři a datoví vědci používají poznámkové bloky k ukládání a sdílení procesů analýzy. S poznámkovými bloky můžou technici pomocí Azure Sparku spouštět analýzy a používat Git ke správě kódu poznámkového bloku. Uživatelé můžou využít funkci Copilot pro Datová Věda a Datoví technici, aby podporovali svůj pracovní postup pomocí návrhů kontextového kódu.

  7. R&D technici a datoví vědci můžou power BI používat s dynamickými dotazy nebo analytickými řídicími panely v reálném čase k vytváření vizualizací pro sdílení s podnikovými uživateli. Tyto vizualizace vyvolávají uživatelem definované funkce pro usnadnění údržby.

  8. Technici můžou také připojit další nástroje k Microsoft Fabric. Můžou například připojit Azure Managed Grafana k eventhouse nebo vytvořit webovou aplikaci, která se dotazuje přímo na eventhouse.

  9. Datoví inženýři a inženýři V&D používají funkci Aktivace dat k vytvoření reflexní položky pro monitorování podmínek a aktivačních akcí, jako je například aktivace toků Power Automate pro obchodní integraci. Například aktivátor dat může kanál Teams upozornit, pokud se stav zařízení sníží.

  10. Konfigurace kolektoru dat umožňuje technikům změnit zásady shromažďování dat zařízení pro zachytávání dat. Azure API Management abstrahuje a zabezpečuje rozhraní API pro konfiguraci partnerů a poskytuje pozorovatelnost.

Schéma databáze KQL

Diagram znázorňující databázi a metody KQL pro extrakci, rozbalení a rozšiřování dat

Při návrhu schématu tabulky zvažte rozdíl mezi fact tabulkami a dimension tabulkami. Telemetrie je tabulka, fact protože signály vozidel se postupně připojují streamovaným způsobem nebo jako součást kompletního záznamu a telemetrie se nemění. Metadata flotily můžete klasifikovat jako fact tabulku, která se pomalu aktualizuje.

Telemetrie vozidla se přistane v nezpracovaných tabulkách. K uspořádání dat pro analýzu a vytváření sestav můžete použít následující koncepty zpracování zpráv:

  • Vytvořte zásady aktualizace pro rozšíření souborů telemetrie JSON do jednotlivých záznamů signálů vozidel pomocí metod, jako jsou:

    • mv-expand() rozšiřuje komplexní hodnoty uložené ve strukturách JSON do řádků s jednotlivými signály.
    • geo_point_to_h3cell() nebo geo_point_to_geohash() převede zeměpisnou šířku a délku na geohashes pro geoprostorovou analýzu.
    • todouble() a tostring() přetypuje extrahované hodnoty z dynamických objektů JSON do příslušných datových typů.
    • lookup rozšiřuje záznamy o hodnoty z tabulky dimenzí.

  • Vytvořte materializované materializované zobrazení signálů pomocí agregační funkce take_any() na jedinečném klíči a časovém razítku. Toto materializované zobrazení deduplikuje signály.

  • Pomocí agregační funkce v časovém razítku vytvořte arg_max(). Toto materializované zobrazení poskytuje aktuální stav vozidel.

  • Pomocí operátoru summarize s časovými intervaly, jako jsou hodinová a denní, vytvořte materializované materializované zobrazení s převzorkováním signálů. Toto materializované zobrazení agreguje signály a zjednodušuje generování sestav napříč flotilou.

  • Vytvořte uživatelem definované funkce, které poskytují detekci anomálií nebo analýzu původní příčiny.

    • Funkce časových řad slouží k detekci anomálií a prognózování k detekci potenciálních problémů a předpovídání selhání.

    • Pomocíoperátorho Technici můžou operátor scan použít k detekci sekvencí. Pokud dojde například ke konkrétní události, musí k následující události dojít v určité době.

    • Pomocí modulů plug-in strojového učení, jako je autocluster , můžete najít běžné vzory diskrétních atributů.

  • Geoprostorové analýzy můžete provádět pomocí uživatelem definovaných funkcí. Pomocí geoprostorových analytických funkcí můžete převést souřadnice na vhodný systém mřížky a provádět agregace dat.

  • Vytvořte tabulku metadat flotily pro ukládání změn v metadatech a konfiguraci vozidel. Vytvořte metadata vozového parku s posledními známými hodnotami materializované zobrazení pro uložení nejnovějšího stavu vozového parku vozidel na základě naposledy upraveného sloupce.

Komponenty

Následující klíčové technologie tuto úlohu implementují. Pro každou komponentu architektury použijte příslušného průvodce službami v architektuře Well-Architected Framework, pokud je k dispozici. Další informace najdete v průvodcích službami Dobře navržená architektura.

  • Analýza infrastruktury v reálném čase umožňuje extrakci přehledů a vizualizací telemetrie vozidel v pohybu. Pomocí eventstreamů a databází KQL časových řad můžete ukládat a analyzovat data a používat reflexy k reakci na události.

  • Aktivace dat je nástroj bez kódu, který můžete použít k automatizaci akcí při změně vzorů nebo podmínek v datech.

  • Event Grid je vysoce škálovatelná plně spravovaná distribuční služba publikování a odběru zpráv, která podporuje protokoly MQTT. Vozidla můžou pomocí Event Gridu publikovat a odebírat témata, například můžou publikovat telemetrii a přihlásit se k odběru příkazů a řídicích zpráv.

  • Azure Event Hubs je platforma pro streamování dat v reálném čase, která je vhodná pro streamování milionů událostí vozidel za sekundu s nízkou latencí.

  • Functions je bezserverové řešení, které zjednodušuje zpracování událostí telemetrie vozidel ve velkém s využitím triggerů a vazeb řízených událostmi pomocí jazyka podle vašeho výběru.

  • Azure Managed Grafana je platforma pro vizualizaci dat založená na softwaru z Grafana Labs. Microsoft spravuje a podporuje Azure Managed Grafana.

  • služba Aplikace Azure umožňuje vytvářet a hostovat webové aplikace, mobilní back-endy a rozhraní RESTful API, které poskytují přístup k telemetrickým datům vozidel uloženým v Prostředcích infrastruktury. Tento přístup zjednodušuje spotřebu.

  • API Management je hybridní multicloudová platforma pro správu pro rozhraní API.

Alternativy

K implementaci této architektury můžete použít také následující služby Azure:

  • Azure Blob Storage ukládá obrovské objemy nestrukturovaných dat, jako jsou nahrávky, protokoly a videa z vozidel. Nahrazuje úložiště OneLake.

  • Azure Data Explorer je rychlá plně spravovaná služba pro analýzu dat v reálném čase. Nahrazuje databázi KQL inteligentní analýzy infrastruktury v reálném čase.

  • Azure Batch je alternativou, kterou můžete použít k dekódování složitých souborů. Tento scénář zahrnuje velký počet souborů, které mají více než 300 megabajtů. Soubory vyžadují různé algoritmy dekódování na základě verze souboru nebo typu souboru. K implementaci následujícího přístupu můžete použít prostředky infrastruktury nebo službu Blob Storage a Azure Data Explorer.

Diagram znázorňující alternativní metodu Batch pro dekódování složitých souborů

  1. Uživatel nebo záznam zařízení nahraje zaznamenaný datový soubor do jezera. Po dokončení nahrávání aktivuje aplikaci Functions, která plánuje dekódování.

  2. Plánovač spustí aplikaci Functions, která vytvoří dávkovou úlohu na základě typu souboru, velikosti souboru a požadovaného dekódovacího algoritmu. Aplikace vybere virtuální počítač s vhodnou velikostí z fondu a spustí úlohu.

  3. Služba Batch zapíše výsledný dekódovaný soubor zpět do lakehouse po dokončení úlohy. Tento soubor musí být vhodný pro přímý příjem dat ve formátu, který eventhouse podporuje.

  4. Lakehouse aktivuje funkci, která při zápisu souboru ingestuje data do eventhouse. Tato funkce v případě potřeby vytvoří tabulku a mapování dat a spustí proces příjmu dat.

  5. Databáze KQL ingestuje datové soubory z jezera.

Tento přístup nabízí následující výhody:

  • Funkce a fondy služby Batch můžou zpracovávat škálovatelné úlohy zpracování dat robustním a efektivním způsobem.

  • Fondy batch poskytují přehled o statistikách zpracování, frontách úkolů a stavu fondu batch. Můžete vizualizovat stav, rozpoznat problémy a znovu spustit neúspěšné úlohy.

  • Kombinace funkcí a služby Batch podporuje zpracování modulů plug-and-play v kontejnerech Dockeru.

  • Spotové virtuální počítače můžete použít ke zpracování souborů mimo špičku. Tento přístup šetří peníze.

Podrobnosti scénáře

Automobilové OEM používají velké flotily prototypů a testovacích vozidel k testování a ověření několika funkcí vozidel. Testovací postupy jsou nákladné, protože vyžadují skutečné řidiče a vozidla a konkrétní scénáře silničního testování v reálném světě musí projít několikrát. Testování integrace je zvlášť důležité k vyhodnocení interakcí mezi elektrickými, elektronickými a mechanickými součástmi v komplexních systémech.

Pokud chcete ověřit funkce vozidel a analyzovat anomálie a selhání, musíte zachytit petabajty diagnostických dat z elektronických řídicích jednotek (ECU), počítačových uzlů, komunikačních autobusů vozidel, jako jsou controller Area Network (CAN) a Ethernet a senzory.

V minulosti malé servery protokolovacího modulu dat ve vozidlech ukládaly diagnostická data místně jako MDF (Measurement Data Format), rozšíření pro sloučení multimédií (MFX), CSV nebo soubory JSON. Po dokončení testovacích jednotek servery nahrály diagnostická data do datacenter, která je zpracovala a odeslala technikům R&D k analýze. Tento proces může trvat hodiny nebo někdy dny. Novější scénáře používají vzorce příjmu telemetrie, jako jsou přenosy telemetrických dat založených na službě Řízení front zpráv (MQTT), synchronní datové proudy nebo nahrávání souborů téměř v reálném čase.

Potenciální případy použití

  • Správa vozidel vyhodnocuje výkon a shromážděná data na vozidlo napříč několika testovacími scénáři.

  • Ověření systému a součástí používá shromážděná data o vozidlech k ověření, že chování součástí vozidel spadá do provozních hranic napříč cestami.

  • Detekce anomálií vyhledá odchylky hodnoty senzoru vzhledem k typickému směrnému vzoru v reálném čase.

  • Analýza původní příčiny používá moduly plug-in strojového učení, jako jsou algoritmy clusteringu, k identifikaci změn v distribuci hodnot ve více dimenzích.

  • Prediktivní údržba kombinuje více zdrojů dat, rozšířená data o poloze a signály vozidel k predikci doby selhání součástí.

  • Hodnocení udržitelnosti využívá chování řidiče a spotřebu energie k vyhodnocení dopadu provozu vozidel na životní prostředí.

  • Automobilové závodní závody pochopit a zlepšit výkon vozidel před, během a po závodu.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro spolehlivost.

  • Zóny dostupnosti Azure jsou jedinečná fyzická umístění ve stejné oblasti Azure. Zóny dostupnosti můžou chránit výpočetní clustery a data Azure Data Exploreru před selháním částečné oblasti.

  • Provozní kontinuita a zotavení po havárii (BCDR) v Azure Data Exploreru umožňuje vaší firmě pokračovat v provozu v případě přerušení.

  • Následné databáze oddělují výpočetní prostředky mezi produkčními a neprodukčními případy použití.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu zabezpečení.

Je důležité pochopit rozdělení odpovědnosti mezi automobilovými výrobci OEM a Microsoftem. Výrobce OEM ve vozidle vlastní celý zásobník, ale při přesunu dat do cloudu se některé zodpovědnosti přenesou do Microsoftu. Platforma jako služba Azure (PaaS) poskytuje integrované zabezpečení ve fyzickém zásobníku, včetně operačního systému.

Všechny tyto funkce pomáhají automobilovým výrobcům OEM vytvořit zabezpečené prostředí pro data telemetrie vozidel. Další informace najdete v tématu Zabezpečení v prostředcích infrastruktury.

Optimalizace nákladů

Optimalizacenákladůch Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

Toto řešení používá následující postupy k optimalizaci nákladů:

  • Správně nakonfigurujte horké mezipaměti a studené úložiště pro nezpracované tabulky a tabulky signálů. Mezipaměť horkých dat je uložená v paměti RAM nebo SSD a poskytuje lepší výkon. Studená data jsou však 45krát levnější. Nastavte zásadu horké mezipaměti, která je vhodná pro váš případ použití, například 30 dní.

  • Nastavte zásadu uchovávání informací v nezpracované tabulce a tabulce signálů. Určete, kdy už signálová data nejsou relevantní, například po 365 dnech, a nastavte zásady uchovávání informací odpovídajícím způsobem.

  • Zvažte, které signály jsou relevantní pro analýzu.

  • Použití materializovaných zobrazení při dotazování na signály poslední známé hodnoty, signály odstraněné a signály převzorkované. Materializovaná zobrazení spotřebovávají méně prostředků než agregace zdrojových tabulek u každého dotazu.

  • Zvažte potřeby analýzy dat v reálném čase. Nastavte příjem dat streamování pro tabulku živé telemetrie tak, aby poskytoval latenci menší než jednu sekundu mezi příjmem dat a dotazem. Tento přístup zvyšuje cykly procesoru a náklady.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace najdete v kontrolním seznamu pro kontrolu návrhu týkajícího se efektivity výkonu.

  • Zvažte použití služby Batch k dekódování, pokud je počet a velikost zaznamenaných datových souborů větší než 1 000 souborů nebo 300 MB za den.

  • Zvažte provádění běžných výpočtů a analýz po ingestování a jejich uložení do dalších tabulek.

  • Pomocí osvědčených postupů pro dotazy KQL můžete zrychlit spouštění dotazů.

  • where Klauzule slouží k definování časového intervalu pro snížení množství dat, která se dotazují. Pokud vaše běžná kritéria hledání nejsou časově založená, zvažte změnu zásad oddílu dat pro tabulku signálů, například pokud filtrujete podle ID záznamu a názvu signálu. Když se databáze KQL rozšíří tak, aby obsahovala miliardy nebo bilióny záznamů, stane se správná filtrace dat nezbytná, zejména s ohledem na aktivní zásady oddílů.

Upozorňující

Než změníte zásady oddílu dat, obraťte se na tým podpory.

Nasazení tohoto scénáře

K nasazení tohoto scénáře použijte podrobný kurz. Průvodce ukazuje, jak nasadit bezplatnou instanci, parsovat soubory MDF, ingestovat data a provádět několik základních dotazů.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autoři:

Další přispěvatelé:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky