Wiele stref danych na potrzeby analizy w skali chmury na platformie Azure
Ta architektura referencyjna dotyczy organizacji, które wdrożyły podstawową wersję analizy w skali chmury i są teraz gotowe do hostowania nowych jednostek biznesowych w celu ułatwienia modernizacji operacji analitycznych. W tym bardziej złożonym scenariuszu jest używanych wiele stref docelowych, aplikacji danych i produktów danych.
Apache Hive i logo Hive są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Opis problemu
Firma Relecloud, fikcyjna firma w tym przykładzie, jest dostawcą chmury prywatnej, który oferuje udostępnione zasoby obliczeniowe i magazynowe organizacjom globalnym. Mimo że firma Relecloud udostępnia zasoby obliczeniowe, nie chce ograniczać platformy własnymi operacjami wewnętrznymi. W związku z tym firma korzysta z platformy Microsoft Azure na potrzeby wewnętrznych obliczeń.
Analitycy danych w grupie operacyjnej używają danych telemetrycznych z usług w chmurze, aby zrozumieć, jak klienci korzystają z platformy. Oddzielny zespół analityków w badaniach grup rozliczeniowych fakturowanie danych w celu uzyskania szczegółowych informacji o tym, które usługi generują największe przychody.
W zeszłym kwartale zespół operacyjny zmodernizuje swoją platformę analiz, migrując ją na platformę Azure. Jednym z celów wdrażania analizy w skali chmury było zmaksymalizowanie potencjału skalowania platformy i dodawania nowych obciążeń organizacyjnych.
Obecnie grupa rozliczeń przerosła swoje bieżące rozwiązanie analityczne. Ilość faktur do przeanalizowania jest zbyt duża dla serwera lokalnego. Zespół decyduje się postępować zgodnie z liderem grupy operacyjnej i zmodernizować platformę analizy danych na platformie Azure.
Analitycy w grupie rozliczeń mają inne umiejętności niż analitycy w grupie operacyjnej. Analitycy rozliczeń nie chcą używać tych samych narzędzi co operacje. Grupa rozliczeń znajduje się w innej części organizacji i chce mieć elastyczność wdrażania zasad i procedur spełniających ich potrzeby.
Rozwiązanie architektoniczne
Usługa Relecloud skaluje swoją platformę analizy, dodając nową strefę docelową dla grupy rozliczeniowej. Ta strefa docelowa udostępnia wirtualny obszar roboczy dla grupy rozliczeniowej w celu zaimplementowania rozwiązań analitycznych spełniających ich potrzeby biznesowe. Mając strefę docelową oddzieloną od innych zasobów organizacji, grupa rozliczeń może zaimplementować własne zasady dostępu i uwzględnić koszty swoich usług.
Poniższy diagram nie reprezentuje wszystkich usług platformy Azure. Diagram jest uproszczony, aby wyróżnić podstawowe pojęcia dotyczące organizowania zasobów w architekturze.
Strefa docelowa zarządzania danymi
Kluczowym wymaganiem dla implementacji analizy w skali chmury jest strefa docelowa zarządzania danymi. Ta subskrypcja zawiera zasoby współużytkowane we wszystkich strefach docelowych, w tym współużytkowane składniki sieciowe, takie jak zapora lub prywatne strefy DNS. Strefa docelowa zarządzania danymi obejmuje również zasoby dotyczące zarządzania danymi i chmurą, takie jak Azure Policy i Azure Purview.
Firma Relecloud utworzyła strefę docelową zarządzania danymi podczas wdrażania rozwiązania do analizy danych dla grupy operacji. Gdy grupa rozliczeń dołączy do platformy, użyje tej samej strefy docelowej zarządzania danymi, aby udostępnić wspólne zasoby grupie operacji.
Strefa docelowa danych operacji
Grupa operacji ma następujące rozwiązania w strefie docelowej danych.
Aplikacje danych operacji
Zespół utworzył aplikację danych dostosowaną do źródła, która używa zadań platformy Apache Spark w usłudze Azure Databricks do pozyskiwania danych telemetrycznych usługi i przechowywania ich na koncie usługi Azure Data Lake Storage.
Ten proces kopiuje dane zgodnie z rzeczywistymi danymi z systemu źródłowego, ale nie przekształca ich. Analitycy mogą pracować z skopiowanymi danymi na platformie analitycznej bez przeciążenia systemu źródłowego. Zamiast tworzyć dedykowane wdrożenie dla tej aplikacji danych, zespół operacyjny używa obszaru roboczego usługi Databricks w udostępnionej grupie zasobów Pozyskiwanie i przetwarzanie .
Klienci usługi Relecloud mogą tworzyć konta w chmurze, aby zarządzać zasobami i rozliczeniami w chmurach prywatnych. Każdy klient może mieć wiele kont. Zespół analityczny utworzył aplikację danych w celu zaimportowania danych konta w chmurze. Ponieważ ilość i częstotliwość danych są znacznie niższe niż w przypadku danych telemetrycznych, zespół nie musi używać zadań platformy Spark. Zamiast tego utworzyli potoki usługi Azure Data Factory w celu skopiowania danych.
Usługa Azure Database for MySQL działa jako magazyn metadanych Hive, a usługa Azure SQL Database jest magazynem metadanych usługi Azure Data Factory.
Produkty danych operacji
Analitycy firmy Relecloud uzyskują wartość z danych w aplikacjach danych dostosowanych do źródła, tworząc nowe aplikacje danych dostosowane do konsumentów. Jedną z tych aplikacji danych dostosowanych do konsumentów jest model rekomendacji usług w chmurze. Analitycy danych relecloud wykorzystali usługę Azure Machine Edukacja do utworzenia modelu, który analizuje usługi używane przez konto w chmurze i sugeruje powiązane usługi, które mogą być przydatne. Zespół wdraża ten model w klastrze usługi Azure Kubernetes Service (AKS) działającym w strefie docelowej i zarządzanym przez usługę Azure Machine Edukacja. Aplikacje działające poza analizą w skali chmury mogą wywoływać punkt końcowy usługi AKS, aby uzyskać zalecenia.
Po utworzeniu strefy docelowej przez zespół ds. rozliczeń zespół operacyjny tworzy nowy produkt danych, którego żąda zespół zarządzający. Zespół zarządzający chce wiedzieć, ile przychodów generuje aplikacja danych rekomendacji usługi w chmurze. Nowy produkt Danych przychodów z rekomendacji używa usługi Azure Synapse Analytics do łączenia danych z rekomendacji usługi w chmurze i przychodów według usług w nowy produkt danych. Analitycy biznesowi mogą łączyć się z usługą Azure Synapse za pomocą usługi Microsoft Power BI, aby znaleźć i zgłosić szczegółowe informacje z tego nowego produktu danych.
Strefa docelowa danych rozliczeniowych
Grupa rozliczeniowa używała systemu lokalnego do zasilania analizy, ale w miarę wzrostu ilości danych i firma opierała się bardziej na swojej pracy, system nie mógł nadążyć za tempem. Grupa modernizuje swoją platformę, przechodząc do chmury.
Grupa rozliczeń nie udostępnia strefy docelowej grupie operacji, ale uzyskuje własną strefę docelową, w której mają swobodę tworzenia platformy, która najlepiej odpowiada ich potrzebom. Nowa strefa docelowa jest połączona ze strefą docelową zarządzania danymi i wszystkimi innymi strefami docelowymi danych za pomocą komunikacji równorzędnej sieci wirtualnych. Ten mechanizm umożliwia bezpieczne udostępnianie danych za pośrednictwem sieci wewnętrznej platformy Azure.
Aplikacje danych rozliczeniowych
Aby wylądować dane z istniejących systemów do platformy analitycznej, grupa rozliczeń kompiluje dwie aplikacje danych. Pierwsza aplikacja pozyska dane klienta, w tym pełną listę klientów i wszystkie powiązane dane, takie jak adresy klientów, lokalizacje i przypisania sprzedawcy. Druga aplikacja importuje historię faktur firmy, która obejmuje wszystkie opłaty rozliczeniowe dla klientów i powiązane dane płatności.
Obie te aplikacje są obsługiwane przez potoki w udostępnionym obszarze roboczym usługi Azure Synapse. Każda aplikacja ma dedykowaną pulę obliczeniową, która ułatwia ewidencjonowanie kosztów i granice zabezpieczeń. Ponieważ aplikacje można w pełni zaimplementować z zasobami udostępnionymi, grupa rozliczeń nie musi tworzyć wdrożenia dla tych aplikacji danych.
Produkt danych rozliczeniowych
Analitycy rozliczeń tworzą nowy produkt danych o nazwie Revenue by service , który analizuje, ile przychodów generuje każda usługa w chmurze dla usługi Relecloud. Ten produkt opiera się na danych w pozyskiwaniu faktur . Produkt łączy się również ze strefą docelową operacji i odczytuje dane użycia usługi. Podobnie jak aplikacje danych, produkt danych opiera się również na udostępnionym obszarze roboczym usługi Azure Synapse.
Szablony wdrażania
Aby wdrożyć architektury, użyj następujących szablonów implementacji implementacji odwołań strefy docelowej zarządzania danymi i strefy docelowej danych:
Użyj następujących szablonów, aby wdrożyć inne aplikacje danych i produkty danych w strefach docelowych rozliczeń i operacji firmy Relecloud:
| Nazwisko | Strefa docelowa danych | Typ | Template |
|---|---|---|---|
| Konta w chmurze | Operations | Aplikacja danych | Szablon wsadowy produktu danych |
| Przychód z rekomendacji | Operations | Produkt danych | Szablon wsadowy produktu danych |
| Moduł polecający usługi w chmurze | Operations | Aplikacja danych | Szablon analizy produktów danych |
| Przychód według usługi | Rozliczenia | Produkt danych | Szablon wsadowy produktu danych |
Ważne
Usługa Relecloud nie musi wdrażać wszystkich elementów w poprzednich szablonach implementacji referencyjnej, aby spełnić ich potrzeby. Szablony wymagają pewnego poziomu dostosowywania. Przed wdrożeniem usuń usługi, których nie potrzebujesz z szablonów.
Następne kroki
Przejdź do scenariusza Lamna Healthcare na potrzeby bezpiecznej analizy w skali chmury na platformie Azure.
Aby uzyskać więcej informacji, zobacz następujące artykuły: