Pomysły dotyczące rozwiązań
W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.
W tym artykule przedstawiono rozwiązanie dotyczące używania usługi Azure Kubernetes Service (AKS) do szybkiego przetwarzania i analizowania dużej ilości danych przesyłanych strumieniowo z urządzeń.
*Apache®, Apache Kafka i Apache Spark są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation. Splunk jest zastrzeżonym znakiem towarowym Firmy Cisco. *
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Czujniki generują dane i przesyłają strumieniowo je do usługi Azure API Management.
- Klaster usługi AKS uruchamia mikrousługi, które są wdrażane jako kontenery za siatką usług. Kontenery są kompilowane przy użyciu procesu DevOps. Obrazy kontenerów są przechowywane w usłudze Azure Container Registry.
- Usługa pozyskiwania w usłudze AKS przechowuje dane w usłudze Azure Cosmos DB.
- Asynchronicznie usługa analizy w usłudze AKS odbiera dane i przesyła je strumieniowo do platformy Apache Kafka w usłudze Azure HDInsight.
- Analitycy danych używają modeli uczenia maszynowego w usłudze Azure HDInsights i platformie Splunk do analizowania danych.
- Usługa przetwarzania w usłudze AKS przetwarza dane i przechowuje wyniki w usłudze Azure Database for PostgreSQL. Usługa buforuje również dane w usłudze Azure Cache for Redis.
- Aplikacja internetowa działająca w usłudze aplikacja systemu Azure Service tworzy wizualizacje wyników.
Składniki
Rozwiązanie korzysta z następujących kluczowych technologii:
- API Management
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Szczegóły scenariusza
To rozwiązanie jest dobrym rozwiązaniem w przypadku scenariusza obejmującego miliony punktów danych, w których źródła danych obejmują urządzenia Internetu rzeczy (IoT), czujniki i pojazdy. W takiej sytuacji przetwarzanie dużej ilości danych jest jednym z wyzwań. Szybkie analizowanie danych jest kolejnym wymagającym zadaniem, ponieważ organizacje starają się uzyskać wgląd w złożone scenariusze.
Konteneryzowane mikrousługi w usłudze AKS stanowią kluczową część rozwiązania. Te samoobsługowe usługi pozyskiwania i przetwarzania strumienia danych w czasie rzeczywistym. Są one również skalowane zgodnie z potrzebami. Przenośność kontenerów umożliwia uruchamianie usług w różnych środowiskach i przetwarzanie danych z wielu źródeł. Aby opracowywać i wdrażać mikrousługi, używane są metodyki DevOps i ciągła integracja/ciągłe dostarczanie (CI/CD). Te podejścia skracają cykl programowania.
Aby przechowywać pozyskane dane, rozwiązanie korzysta z usługi Azure Cosmos DB. Ta baza danych elastycznie skaluje przepływność i magazyn, co sprawia, że jest to dobry wybór dla dużych ilości danych.
Rozwiązanie korzysta również z platformy Apache Kafka. Ta platforma przesyłania strumieniowego o małych opóźnieniach obsługuje źródła danych w czasie rzeczywistym z bardzo dużą szybkością.
Innym kluczowym składnikiem rozwiązania jest usługa Azure HDInsight, która jest zarządzaną usługą w chmurze, która umożliwia efektywne przetwarzanie ogromnych ilości danych przy użyciu najpopularniejszych platform typu open source. Usługa Azure HDInsight upraszcza uruchamianie struktur danych big data w dużej ilości i szybkości podczas korzystania z platformy Apache Spark na platformie Azure. Rozwiązanie Splunk pomaga w procesie analizy danych. Rozwiązanie Splunk tworzy wizualizacje na podstawie danych w czasie rzeczywistym i udostępnia analizę biznesową.
Potencjalne przypadki użycia
To rozwiązanie zapewnia następujące korzyści:
- Bezpieczeństwo pojazdów, zwłaszcza w przemyśle motoryzacyjnym
- Obsługa klienta w branży handlu detalicznego i innych branż
- Rozwiązania w chmurze opieki zdrowotnej
- Rozwiązania technologii finansowych w branży finansowej
Następne kroki
Dokumentacja produktu:
- Informacje o usłudze Azure Cache for Redis
- Co to jest usługa Azure API Management?
- Omówienie usługi App Service
- Azure Kubernetes Service
- Wprowadzenie do rejestru kontenerów platformy Azure
- Azure Cosmos DB — Zapraszamy!
- Co to jest usługa Azure Database for PostgreSQL?
- Co to jest usługa Azure HDInsight?
- Co to jest usługa Azure Pipelines?
Moduły szkoleniowe firmy Microsoft:
- Tworzenie i przechowywanie obrazów kontenerów za pomocą usługi Azure Container Registry
- Konfigurowanie planów usługi aplikacja systemu Azure
- Praca z usługą Azure Cosmos DB
- Tworzenie i nawiązywanie połączenia z usługą Azure Database for PostgreSQL
- Programowanie dla usługi Azure Cache for Redis
- Eksplorowanie usługi API Management
- Wprowadzenie do usługi Azure HDInsight