Následující architektura rozšiřuje komplexní analýzu o scénář Azure Synapse Analytics . Umožňuje trénování vlastního modelu strojového učení (ML) ve službě Azure Machine Learning a implementaci s vlastní aplikací vytvořenou pomocí platformy Microsoft Power Platform.
Architektura
Stáhněte si soubor Visia této architektury.
Workflow
Pracovní postup se skládá z následujících kroků:
- Ingestování
- Uložit
- Trénování a nasazení modelu
- Consume
Ingestování
Pomocí kanálů Azure Synapse můžete načíst dávková data z různých zdrojů, a to jak místně, tak i v cloudu. Tato architektura lambda má dva toky příjmu dat: streamování a dávku. Jsou popsané tady:
-
Streamování: V horní polovině předchozího diagramu architektury jsou toky streamovaných dat (například datové proudy velkých objemů dat a zařízení IoT).
- Službu Azure Event Hubs nebo Azure IoT Hub můžete použít k ingestování datových proudů generovaných klientskými aplikacemi nebo zařízeními IoT. Event Hubs nebo IoT Hub ingestují a ukládají streamovaná data a zachová se posloupnost přijatých událostí. Příjemci se můžou připojit ke koncovým bodům centra, aby mohli načítat zprávy ke zpracování.
-
Batch: Ve spodní polovině diagramu architektury se data ingestují a zpracovávají v dávkách, jako například:
Nestrukturovaná data (například video, obrázky, zvuk a volný text)
Částečně strukturovaná data (například JSON, XML, CSV a protokoly)
Strukturovaná data (například relační databáze a Datové služby Azure)
Azure Synapse Link vytváří úzkou bezproblémovou integraci mezi Azure Cosmos DB a Azure Synapse Analytics. Kanály Azure Synapse je možné aktivovat na základě předdefinovaného plánu nebo v reakci na událost. Můžou se také vyvolat voláním rozhraní REST API.
Uložit
Ingestovaná data se můžou nacházet přímo v nezpracovaných formátech a pak je transformovat v Azure Data Lake. Data po kurátorování a transformaci na relační struktury je možné prezentovat pro spotřebu ve službě Azure Synapse Analytics.
Trénování a nasazení modelu
Machine Learning poskytuje službu ML na podnikové úrovni pro rychlejší sestavování a nasazování modelů. Poskytuje uživatelům na všech úrovních dovedností návrháře bez kódu, automatizovaného strojového učení a hostovaného prostředí poznámkového bloku Jupyter. Modely je možné nasadit buď jako koncové body v reálném čase ve službě Azure Kubernetes Service, nebo jako spravovaný koncový bod služby Machine Learning. Pro dávkové odvozování modelů ML můžete použít kanály Machine Learning.
Consume
Dávkový nebo model v reálném čase publikovaný ve službě Machine Learning může generovat koncový bod REST, který je možné využívat ve vlastní aplikaci sestavené pomocí platformy Power Apps s nízkým kódem. Můžete také volat koncový bod machine learningu v reálném čase ze sestavy Power BI a prezentovat předpovědi v obchodních sestavách.
Poznámka:
Zásobník Machine Learning i Microsoft Power Platform mají řadu integrovaných konektorů, které pomáhají ingestovat data přímo. Tyto konektory můžou být užitečné pro jednorázový minimální realizovatelný produkt (MVP). Oddíly "Ingest" a "Store" architektury však doporučují roli standardizovaných datových kanálů pro zdroje a ukládání dat z různých zdrojů ve velkém měřítku. Tyto vzory se obvykle implementují a spravují týmy podnikové datové platformy.
Komponenty
Můžete použít následující komponenty.
Služby Microsoft Power Platform
- Power Platform: Sada nástrojů pro analýzu dat, sestavování řešení, automatizaci procesů a vytváření virtuálních agentů. Zahrnuje Power Apps, Power Automate, Power BI a Microsoft Copilot Studio (dříve Power Virtual Agents).
- Power Apps: Sada aplikací, služeb, konektorů a datových platforem. Poskytuje rychlé vývojové prostředí aplikací pro vytváření vlastních aplikací pro vaše obchodní potřeby.
- Power Automate: Služba, která vám pomůže vytvářet automatizované pracovní postupy mezi vašimi oblíbenými aplikacemi a službami. Slouží k synchronizaci souborů, získávání oznámení, shromažďování dat atd.
- Power BI: Kolekce softwarových služeb, aplikací a konektorů, které společně mění vaše nesouvisející zdroje dat na koherentní, vizuálně imerzivní a interaktivní přehledy.
Služby Azure
- Machine Learning: Služba ML na podnikové úrovni pro rychlé sestavování a nasazování modelů. Poskytuje uživatelům na všech úrovních dovedností návrháře bez kódu, automatizovaného strojového učení a hostovanému prostředí poznámkového bloku Jupyter, které podporuje vaše vlastní preferované integrované vývojové prostředí (IDE).
- Spravované koncové body služby Machine Learning: Online koncové body, které umožňují nasadit model bez nutnosti vytvářet a spravovat základní infrastrukturu.
- Azure Kubernetes Service: ML má různou podporu napříč různými cílovými výpočetními objekty. Azure Kubernetes Service je jedním z takových cílů, což je skvělý cíl pro koncové body modelu na podnikové úrovni v reálném čase.
- Azure Data Lake: Systém souborů kompatibilní se systémem Hadoop. Má integrovaný hierarchický obor názvů a masivní škálování a ekonomiku služby Azure Blob Storage.
- Azure Synapse Analytics: Neomezená analytická služba, která spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat.
- Event Hubs a IoT Hub: Obě služby ingestují datové proudy generované klientskými aplikacemi nebo zařízeními IoT. Potom ingestují a ukládají streamovaná data a zachovávají posloupnost přijatých událostí. Příjemci se můžou připojit ke koncovým bodům centra a načíst zprávy ke zpracování.
Služby platformy
Pokud chcete zlepšit kvalitu řešení Azure, postupujte podle doporučení a pokynů v architektuře Azure Well-Architected Framework. Rámec se skládá z pěti pilířů špičkové architektury:
- Optimalizace nákladů
- Provozní dokonalost
- Efektivita výkonu
- Spolehlivost
- Zabezpečení
Pokud chcete vytvořit návrh, který respektuje tato doporučení, zvažte následující služby:
- Microsoft Entra ID: Služby identit, jednotné přihlašování a vícefaktorové ověřování napříč úlohami Azure.
- Microsoft Cost Management: Finanční zásady správného řízení nad úlohami Azure
- Azure Key Vault: Zabezpečení přihlašovacích údajů a správy certifikátů
- Azure Monitor: Shromažďování, analýza a zobrazení telemetrie z vašich prostředků Azure. Pomocí nástroje Monitor můžete proaktivně identifikovat problémy, abyste maximalizovali výkon a spolehlivost.
- Microsoft Defender pro cloud: Posílení a monitorování stavu zabezpečení úloh Azure
- Azure DevOps a GitHub: Implementujte postupy DevOps pro vynucení automatizace a dodržování předpisů kanálů vývoje a nasazení úloh pro Azure Synapse Analytics a Machine Learning.
- Azure Policy: Implementujte standardy organizace a zásady správného řízení pro konzistenci prostředků, dodržování právních předpisů, zabezpečení, náklady a správu.
Alternativy
MVP strojového učení přináší výhody rychlosti až po výsledek. V některých případech je možné potřeby vlastního modelu splnit předem natrénovanými azure AI Services . V jiných případech může AI Builder v Power Apps poskytnout vhodný model pro účely.
Podrobnosti scénáře
Obecný technologický trend je rostoucí popularita rolí občanské umělé inteligence. Tyto role jsou obchodní specialisté, kteří chtějí zlepšit obchodní procesy prostřednictvím použití technologií ML a AI. Významným přispěvatelem tohoto trendu je rostoucí vyspělost a dostupnost nástrojů s nízkým kódem pro vývoj modelů ML.
Z důvodu dobře známé vysoké míry selhání těchto iniciativ se schopnost rychle prototypovat a ověřovat aplikaci AI v reálném světě stává klíčem, který umožňuje rychlý přístup k selhání. Existují dva klíčové nástroje pro vývoj modelů, které modernizují procesy a řídí transformativní výsledky:
-
Sada nástrojů ML pro všechny úrovně dovedností
- Podporuje bez kódu pro plně zakódovaný vývoj ml.
- Má flexibilní grafické uživatelské rozhraní s nízkým kódem (GUI).
- Umožňuje uživatelům rychle zdrojová a přípravná data.
- Umožňuje uživatelům rychle vytvářet a nasazovat modely.
- Má pokročilé automatizované funkce strojového učení pro vývoj algoritmů ML.
-
Sada nástrojů pro vývoj aplikací s nízkým kódem
- Umožňuje uživatelům vytvářet vlastní aplikace a pracovní postupy automatizace.
- Vytvoří pracovní postupy, aby spotřebitelé a obchodní procesy mohly pracovat s modelem ML.
Machine Learning plní roli grafického uživatelského rozhraní s nízkým kódem pro vývoj ml. Má automatizované strojové učení a nasazení do dávkových nebo v reálném čase koncových bodů. Power Platform, která zahrnuje Power Apps a Power Automate, poskytuje sady nástrojů pro rychlé vytvoření vlastní aplikace a pracovního postupu, který implementuje váš algoritmus ML. Podnikoví uživatelé teď můžou vytvářet aplikace STROJOVÉho učení na produkční úrovni, které transformují starší obchodní procesy.
Potenciální případy použití
Tyto sady nástrojů minimalizují čas a úsilí potřebné k vytvoření prototypu výhod modelu ML v obchodním procesu. Prototyp můžete snadno rozšířit na produkční aplikaci. Mezi použití těchto technik patří:
- Manufacturing Ops se staršími aplikacemi, které používají zastaralé deterministické předpovědi. Takové situace můžou těžit z vyšší přesnosti modelu ML. Dokazování vyšší přesnosti vyžaduje, aby se model i vývoj integrovali s místními systémy.
- Call Center ops with legacy applications that don't adjust whendata drifts. Modely, které se automaticky přetrénují, můžou poskytovat významnou vyšší úroveň predikce četnosti změn nebo přesnost profilace rizik. Ověření vyžaduje integraci se stávající správou vztahů se zákazníky a systémy správy lístků. Integrace může být náročná.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Spolehlivost
Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro spolehlivost.
Většina komponent používaných v tomto ukázkovém scénáři je spravovaných služeb, které se škálují automaticky. Dostupnost služeb používaných v tomto příkladu se liší podle oblasti.
Aplikace založené na ML obvykle vyžadují jednu sadu prostředků pro trénování a druhou pro obsluhu. Prostředky vyžadované pro trénování obecně nepotřebují vysokou dostupnost, protože požadavky na produkční prostředí za provozu přímo nedorazí na tyto prostředky. Prostředky vyžadované pro obsluhu požadavků vyžadují vysokou dostupnost.
Optimalizace nákladů
Optimalizacenákladůch Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.
Ceny Azure: Služby typu Infrastruktura jako služba (IaaS) a platforma jako služba (PaaS) v Azure používají cenový model založený na spotřebě. Nevyžadují poplatek za licenci ani předplatné. K odhadu nákladů použijte cenovou kalkulačku Azure. Další aspekty najdete v tématu Optimalizace nákladů v dobře architektuře.
Ceny za Power Platform:Power Apps, Power Automate a Power BI jsou aplikace typu software jako služba (SaaS) a mají vlastní cenové modely, včetně plánu aplikací a jednotlivých uživatelů.
Efektivita provozu
Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro efektivitu provozu.
Postupy DevOps se používají k orchestraci kompletního přístupu použitého v tomto příkladu. Příručka Machine Learning DevOps představuje osvědčené postupy a poznatky týkající se přijetí operací ML (MLOps) v podniku pomocí machine learningu.
Automatizaci DevOps je možné použít pro řešení Microsoft Power Platform, které je k dispozici v tomto příkladu. Další informace o Microsoft Power Platform DevOps najdete v tématu Power Platform Build Tools for Azure DevOps: Power Platform.
Nasazení tohoto scénáře
Představte si tento obchodní scénář. Agent pole používá aplikaci, která odhadne tržní cenu auta. Machine Learning můžete použít k rychlému vytvoření prototypu modelu ML této aplikace. K vytvoření modelu použijete návrháře s nízkými kódy a funkce ML a pak ho nasadíte jako koncový bod REST v reálném čase.
Model může tento koncept prokázat, ale uživatel nemá snadný způsob, jak model implementovat jako rozhraní REST API. Microsoft Power Platform vám může pomoct zavřít tuto poslední míli, jak je znázorněno zde.
Tady je uživatelské rozhraní aplikace vytvořené v Power Apps pomocí rozhraní s nízkým kódem, které Poskytuje Power Apps.
Pomocí Power Automate můžete vytvořit pracovní postup s nízkým kódem, který parsuje vstup uživatele, předá ho koncovému bodu Machine Learning a načte predikci. Pomocí Power BI můžete také pracovat s modelem Machine Learning a vytvářet vlastní obchodní sestavy a řídicí panely.
Pokud chcete nasadit tento kompletní příklad, postupujte podle podrobných pokynů v nástroji Car Price Predictor – Azure Machine Learning + Power App Solution.
Rozšířené scénáře
Zvažte následující scénáře.
Nasazení do Teams
Ukázkovou aplikaci uvedenou v předchozím příkladu můžete také nasadit do Microsoft Teams. Teams poskytuje skvělý distribuční kanál pro vaše aplikace a poskytuje uživatelům prostředí pro spolupráci s aplikacemi. Další informace o tom, jak nasadit aplikaci do Teams pomocí Power Apps, najdete v tématu Publikování aplikace pomocí Power Apps v Teams: Power Apps.
Využívání rozhraní API z několika aplikací a automatizací
V tomto příkladu nakonfigurujeme cloudový tok Power Automate tak, aby spotřebovává koncový bod REST jako akci HTTP. Místo toho můžeme pro koncový bod REST nastavit vlastní konektor a využívat ho přímo z Power Apps nebo z Power Automate. Tento přístup je užitečný, když chceme, aby stejný koncový bod spotřebovalo více aplikací. Poskytuje také zásady správného řízení pomocí zásad ochrany před únikem informací konektoru v Centru pro správu Microsoft Power Platform. Pokud chcete vytvořit vlastní konektor, přečtěte si téma Použití vlastního konektoru z aplikace Power Apps. Další informace o ochraně před únikem informací o konektoru Microsoft Power Platform najdete v tématu Zásady ochrany před únikem informací: Power Platform.
Přispěvatelé
Tento článek spravuje Microsoft. Původně ho napsal:
- Vyas Dev Venugopalan | Sr. Specialista – Azure Data a AI
Další kroky
- Jak strojové učení funguje: Architektura a koncepty
- Vytváření inteligentních aplikací s integrovanou špičkovou AI