Przykładowa architektura integracji danych SAP
Ten artykuł jest częścią serii artykułów "Rozszerzanie i wprowadzanie innowacji w oprogramowaniu SAP: najlepsze rozwiązania".
- Identyfikowanie źródeł danych SAP
- Wybieranie najlepszego łącznika SAP
- Wydajność i rozwiązywanie problemów z wyodrębnianiem danych SAP
- Zabezpieczenia integracji danych dla oprogramowania SAP na platformie Azure
- Ogólna architektura integracji danych SAP
W tym artykule opisano przepływ danych SAP ze źródłowych systemów SAP do podrzędnych obiektów docelowych. Każdy element docelowy służy celowi w podróży danych dla przedsiębiorstwa. Projekt architektury rozszerza rozwiązania SAP przy użyciu usług danych platformy Azure. Użyj usługi Azure Synapse Analytics, aby utworzyć nowoczesną platformę danych do pozyskiwania, przetwarzania, przechowywania, obsługi i wizualizowania danych z różnych źródeł.
Platformy Apache Spark® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Architektura
Na poniższym diagramie przedstawiono przykładową architekturę integracji danych SAP na platformie Azure. Użyj tej przykładowej architektury jako punktu wyjścia.
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
Poniższy przepływ danych odpowiada poprzedniemu diagramowi:
- Źródła danych. System łączy się ze źródłem danych, aby umożliwić pozyskiwanie i analizę danych.
- Pozyskiwanie danych. Potoki usług Azure Data Factory i Synapse umożliwiają integrację danych.
- Magazyn danych. Dane są przechowywane w usłudze Azure Data Lake Storage, która jest oparta na usłudze Azure Blob Storage.
- Przekształcanie i zużycie danych. Dane są przekształcane na etapach, a zużycie jest włączane za pośrednictwem raportów za pomocą usługi Power BI lub prywatnych punktów końcowych, które umożliwiają bezpieczny dostęp do danych za pośrednictwem łącza prywatnego.
- Wizualizacja i raportowanie danych. Dostęp do raportów i wizualizowanie danych można uzyskać za pomocą usługa Power BI lub aplikacji zewnętrznej.
Źródła danych
Źródłowe systemy SAP mogą działać lokalnie z rozwiązaniem SAP RISE na platformie Azure lub SAP w usłudze Azure Virtual Machines. Mogą to być lokalne serwery SQL, częściowo ustrukturyzowane dane w plikach JSON, XML i dziennika lub w innych systemach magazynu danych. Działania kopiowania potoków usługi Synapse mogą pozyskiwać te nieprzetworzone dane. Systemy źródłowe są hostowane lokalnie, w chmurze prywatnej lub publicznej albo z subskrypcjami SAP RISE.
Systemy przetwarzania danych transakcyjnych w trybie online (OLTP) i przetwarzania analitycznego online (OLAP) to centralne repozytoria danych biznesowych i transakcji. Wyodrębnianie, przechowywanie i pozyskiwanie danych na platformę Azure w celu uzyskania wartości i szczegółowych informacji z danych znajdujących się w tych repozytoriach danych biznesowych.
Za pomocą usług platformy Azure można zintegrować dane z dowolnej lokalizacji źródłowej. Zaplanuj konfigurację wyodrębniania na podstawie hostowanej lokalizacji, mechanizmów kontroli zabezpieczeń, standardów operacji, przepustowości i zobowiązań umownych.
Pozyskiwanie danych
W tej architekturze dane są pozyskiwane przy użyciu potoków usługi Synapse i przetwarzane na etapach przy użyciu możliwości usługi Synapse Spark usługi Synapse.
Potoki usługi Data Factory i Synapse wyodrębniają dane przy użyciu następujących łączników SAP:
- SAP Business Warehouse za pośrednictwem Open Hub
- SAP Business Warehouse za pomocą wyrażeń wielowymiarowych (MDX)
- Łącznik przechwytywania zmian danych sap (CDC)
- SAP Cloud for Customer
- SAP ERP Central Component (ECC)
- SAP HANA
- Tabela SAP
Aby uzyskać więcej informacji, zobacz następujące zasoby:
- Omówienie centrum wiedzy SAP
- Łączniki SAP
- Pozyskiwanie oprogramowania SAP za pomocą analizy w skali chmury na platformie Azure
Magazyn danych
W usłudze Data Lake Storage Gen2 usługa Azure Storage stanowi podstawę do tworzenia magazynów danych przedsiębiorstwa na platformie Azure. Dzięki usłudze Data Lake Storage Gen2 można zarządzać ogromnymi ilościami danych, ponieważ obsługuje wiele petabajtów informacji przy jednoczesnym utrzymaniu setek gigabitów przepływności.
Dane są szyfrowane w spoczynku po ich pozyskiwaniu do magazynu data lake. Użyj kluczy zarządzanych przez klienta, aby dodatkowo zwiększyć szyfrowanie i zwiększyć elastyczność kontroli dostępu.
Aby uzyskać więcej informacji, zobacz wprowadzenie do usługi Data Lake Storage Gen2 i najlepsze rozwiązania.
Przekształcanie i zużycie danych
W tej architekturze pozyskane dane ze źródeł danych są przechowywane w lokalizacji usługi Data Lake Storage Gen2.
Działania kopiowania można zarządzać i uruchamiać między magazynem danych w środowisku lokalnym a chmurą przy użyciu własnego środowiska Integration Runtime (SHIR). Zawsze utrzymuj system SHIR w pobliżu systemów źródłowych.
Przechowywanie danych na koncie usługi Storage przy użyciu katalogów usługi Data Lake Storage Gen2 specyficznych dla etapu, takich jak Bronze, Silver i Gold.
- Brązowy: potoki usługi Synapse kopiują działania pozyskiwania danych z systemów źródłowych. Te pozyskane dane są przechowywane w formacie nieprzetworzonym przy użyciu katalogu Data Lake's Bronze.
- Silver: pula platformy Synapse Spark uruchamia reguły jakości danych w celu oczyszczenia danych pierwotnych. Te wzbogacone dane są przechowywane w katalogu Silver usługi Data Lake.
- Złoto: Po zakończeniu procesu czyszczenia pula Spark stosuje wszelkie wymagane normalizacje, przekształcenia danych i reguły biznesowe do danych katalogu Silver. Te przekształcone dane są przechowywane w katalogu Gold usługi Data Lake.
Łącznik Synapse Apache Spark do usługi Synapse SQL wypycha znormalizowane dane do puli SQL usługi Synapse na potrzeby użycia przez aplikacje podrzędne i usługi raportowania, takie jak Power BI. Ten łącznik optymalnie przesyła dane między bezserwerowych pul platformy Apache Spark a pulami SQL w obszarze roboczym usługi Azure Synapse Analytics.
W przypadku kont magazynu prywatne punkty końcowe zapewniają klientom w sieci wirtualnej bezpieczny dostęp do danych za pośrednictwem łącza prywatnego. Prywatny punkt końcowy używa adresu IP z przestrzeni adresowej sieci wirtualnej dla usługi konta magazynu. Ruch sieciowy między klientami w sieci wirtualnej a kontem magazynu przechodzi przez sieć wirtualną i łącze prywatne w sieci szkieletowej firmy Microsoft w celu wyeliminowania narażenia na publiczny Internet.
Wizualizacja i raportowanie danych
W usługa Power BI użyj trybu DirectQuery, aby bezpiecznie pobrać dane z puli SQL usługi Synapse.
Brama danych zainstalowana na maszynie wirtualnej w prywatnej sieci wirtualnej zapewnia platformę łączącą się między usługa Power BI a pulą SQL usługi Synapse. Aby bezpiecznie nawiązać połączenie, brama danych używa prywatnego punktu końcowego w tej samej sieci wirtualnej.
Aplikacje zewnętrzne mogą uzyskiwać dostęp do danych z pul bezserwerowych usługi Synapse lub dedykowanych pul SQL przy użyciu prywatnych punktów końcowych połączonych z siecią wirtualną.
Składniki
Ta architektura korzysta z kilku usług i możliwości platformy Azure.
Analiza danych
- Azure Synapse Analytics to podstawowa usługa, która pozyskuje, przetwarza i analizuje dane.
- Usługa Data Lake Storage Gen2 jest oparta na usługach Storage i zapewnia możliwości magazynu typu data lake, które są używane przez inne usługi podczas przechowywania i przetwarzania danych.
- Potoki usługi Azure Synapse Analytics kopiują dane ze źródeł do lokalizacji usługi Data Lake Storage Gen2.
- Platforma Apache Spark czyści, normalizuje i przetwarza dane pozyskane z lokalizacji źródłowych.
Storage
- Dedykowana pula SQL usługi Azure Synapse Analytics zapewnia możliwości magazynowania danych po przetworzeniu i znormalizowaniu danych oraz jest gotowa do użycia przez klientów i aplikacje.
- Dzięki bezserwerowej puli SQL usługi Azure Synapse Analytics można szybko wykonywać zapytania i analizować przetworzone i znormalizowane dane.
Sieci i moduły równoważenia obciążenia
- Zarządzana sieć wirtualna usługi Azure Synapse Analytics tworzy izolowane i zarządzane środowisko dla obszaru roboczego usługi Azure Synapse, więc nie trzeba zarządzać konfiguracją sieci dla zasobów obszaru roboczego.
- Prywatne punkty końcowe zarządzane przez usługę Azure Synapse ustanawiają prywatne linki do zasobów platformy Azure i kierują ruch między obszarami roboczymi usługi Azure Synapse i innymi zasobami platformy Azure przy użyciu sieci szkieletowej firmy Microsoft.
- Usługa Azure Virtual Network udostępnia funkcje sieci prywatnej dla zasobów platformy Azure, które nie są częścią obszaru roboczego usługi Azure Synapse. Możesz zarządzać dostępem, zabezpieczeniami i routingiem między zasobami.
- Prywatny punkt końcowy platformy Azure łączy usługę z siecią wirtualną przy użyciu prywatnego adresu IP z sieci wirtualnej rozwiązania do usług zarządzanych przez platformę Azure. To połączenie zabezpiecza sieć między obszarem roboczym usługi Azure Synapse i innymi usługami platformy Azure, takimi jak Storage, Azure Cosmos DB, Azure SQL Database lub własna usługa Azure Private Link.
Raportowanie
- Usługa Power BI wykonuje zaawansowaną analizę i szczegółowe informacje o przetworzonych danych.