W tym artykule opisano kilka sposobów, na które małe i średnie firmy (SMB) mogą zmodernizować starsze magazyny danych i eksplorować narzędzia i możliwości big data bez nadmiernego zwiększania bieżących budżetów i zestawów umiejętności. Te kompleksowe rozwiązania do magazynowania danych bezproblemowo integrują się z usługami Azure Machine Learning, Azure AI, Microsoft Power Platform, Microsoft Dynamics 365 i innymi technologiami firmy Microsoft. Te rozwiązania zapewniają łatwy punkt wejścia do w pełni zarządzanej platformy danych oprogramowania jako usługi (SaaS) w usłudze Microsoft Fabric, która może rozwijać się wraz ze wzrostem potrzeb.
SPP korzystające z lokalnego programu SQL Server na potrzeby rozwiązań magazynowania danych poniżej 500 GB może korzystać z tego wzorca. Używają różnych narzędzi do pozyskiwania danych do rozwiązania do magazynowania danych, w tym usług SQL Server Integration Services (SSIS), SQL Server Analysis Services (SSAS), SQL Server Reporting Services (SSRS), typowych procedur składowanych SQL, zewnętrznych wyodrębniania, przekształcania i ładowania (ETL) oraz wyodrębniania, ładowania, przekształcania(ELT), zadań agenta programu SQL Server i replikacji migawek SQL. Operacje synchronizacji danych są zwykle oparte na migawkach, wykonywane raz dziennie i nie mają wymagań dotyczących raportowania w czasie rzeczywistym.
Uproszczona architektura
Pobierz plik programu Visio z tą architekturą.
Koncepcyjna możliwość modernizacji obejmuje przejście starszego rozwiązania do magazynowania danych do kombinacji usług Azure SQL Database, Azure SQL Managed Instance i Fabric. Ta strategia zapewnia szeroką zgodność z tradycyjnymi narzędziami klienckimi sql Server i SQL, takimi jak SQL Server Management Studio (SSMS). Zapewnia również opcje lift-and-shift dla istniejących procesów i wymagają minimalnego upskillingu dla zespołu pomocy technicznej. To rozwiązanie służy jako początkowy krok w kierunku kompleksowej modernizacji, która umożliwia organizacji pełne wdrożenie podejścia lakehouse w miarę rozwoju magazynu danych i rozwoju zestawu umiejętności zespołu.
Architektura
Pobierz plik programu Visio z tą architekturą.
Starsze magazyny danych SMB mogą zawierać kilka typów danych:
Dane bez struktury, takie jak dokumenty i grafiki.
Dane częściowo ustrukturyzowane, takie jak dzienniki, woluminy CSV, pliki JSON i XML.
Dane relacyjne ze strukturą, w tym bazy danych, które używają procedur składowanych dla działań ETL i ELT.
Przepływ danych
Poniższy przepływ danych odpowiada powyższemu diagramowi. Przedstawia pozyskiwanie wybranego typu danych:
Potoki danych sieci szkieletowej lub potoki usługi Azure Data Factory organizujące pozyskiwanie danych transakcyjnych do rozwiązania do magazynowania danych.
Potoki organizują przepływ migrowanych lub częściowo refaktoryzowanych starszych baz danych i pakietów usług SSIS do usług SQL Database i SQL Managed Instance. Możesz szybko zaimplementować to podejście metodą "lift-and-shift", co zapewnia bezproblemowe przejście z lokalnego rozwiązania SQL do przyszłego środowiska SaaS usługi Fabric. Bazy danych można zmodernizować przyrostowo po migracji metodą "lift and shift".
Potoki mogą przekazywać dane bez struktury, częściowo ustrukturyzowane i ustrukturyzowane do usługi Azure Data Lake Storage na potrzeby scentralizowanego magazynu i analizy z innymi źródłami. Użyj tego podejścia, gdy łączenie danych zapewnia większą korzyść biznesową niż ponowne odtworzenie danych.
Źródła danych usługi Microsoft Dynamics 365 umożliwiają tworzenie scentralizowanych pulpitów nawigacyjnych analizy biznesowej (BI) na rozszerzonych zestawach danych przy użyciu narzędzi do analizy bezserwerowej sieci szkieletowej. Możesz przywrócić bezpieczną i przetworzoną dane do usługi Dynamics i użyć ich do dalszej analizy w usłudze Fabric.
Dane w czasie rzeczywistym ze źródeł przesyłania strumieniowego mogą wprowadzać system za pośrednictwem usługi Azure Event Hubs lub innych rozwiązań do przesyłania strumieniowego. W przypadku klientów z wymaganiami dotyczącymi pulpitu nawigacyjnego w czasie rzeczywistym analiza w czasie rzeczywistym może natychmiast analizować te dane.
Dane można pozyskiwać do scentralizowanej usługi Fabric OneLake w celu dalszej analizy, magazynowania i raportowania przy użyciu skrótów usługi Data Lake Storage. Ten proces umożliwia analizę w miejscu i ułatwia użycie podrzędne.
Narzędzia do analizy bezserwerowej, takie jak punkt końcowy usługi SQL Analytics i możliwości platformy Spark sieci szkieletowej, są dostępne na żądanie w sieci szkieletowej i nie wymagają żadnych aprowizowania zasobów. Narzędzia do analizy bezserwerowej są idealne dla:
Działania ETL i ELT dotyczące danych usługi OneLake.
Obsługa złotej warstwy architektury medalonu w raportach usługi Power BI za pośrednictwem funkcji DirectLake.
Improwizowane eksploracje nauki o danych w formacie T-SQL lub Python.
Wczesne tworzenie prototypów dla jednostek magazynu danych.
Sieć szkieletowa jest ściśle zintegrowana z potencjalnymi użytkownikami zestawów danych z wieloma źródłami, w tym raportami frontonu usługi Power BI, usługą Machine Learning, usługą Power Apps, usługą Azure Logic Apps, usługą Azure Functions i aplikacjami internetowymi usługi aplikacja systemu Azure Service.
Składniki
Sieć szkieletowa to usługa analityczna, która łączy funkcje inżynierii danych, magazynowania danych, nauki o danych i danych w czasie rzeczywistym oraz analizy biznesowej. W tym rozwiązaniu funkcje inżynierii danych sieci szkieletowej zapewniają platformę współpracy dla inżynierów danych, analityków danych, analityków danych i specjalistów ds. analizy biznesowej. Ten kluczowy składnik jest obsługiwany przez bezserwerowe aparaty obliczeniowe i dostarcza wartość biznesową, generując szczegółowe informacje dystrybuowane do klientów.
Usługi SQL Database i SQL Managed Instance to oparte na chmurze usługi relacyjnej bazy danych. Program SQL Database i wystąpienie zarządzane SQL używają programu SSMS do tworzenia i obsługi starszych artefaktów, takich jak procedury składowane. W tym rozwiązaniu te usługi hostuje magazyn danych przedsiębiorstwa i wykonują działania ETL i ELT przy użyciu procedur składowanych lub pakietów zewnętrznych. Usługi SQL Database i SQL Managed Instance to środowiska platformy jako usługi (PaaS), których można użyć do spełnienia wymagań dotyczących wysokiej dostępności i odzyskiwania po awarii. Upewnij się, że wybrano jednostkę SKU, która spełnia Twoje wymagania. Aby uzyskać więcej informacji, zobacz Wysoka dostępność dla usługi SQL Database i Wysoka dostępność dla usługi SQL Managed Instance.
Program SSMS to zintegrowane środowisko do zarządzania infrastrukturą SQL, którego można użyć do tworzenia i obsługi starszych artefaktów, takich jak procedury składowane.
Event Hubs to platforma przesyłania strumieniowego danych w czasie rzeczywistym i usługa pozyskiwania zdarzeń. Usługa Event Hubs bezproblemowo integruje się z usługami danych platformy Azure i może pozyskiwać dane z dowolnego miejsca.
Alternatywy
Za pomocą usługi Azure IoT Hub można zastąpić lub uzupełnić usługę Event Hubs. Wybierz rozwiązanie na podstawie źródła danych przesyłanych strumieniowo oraz tego, czy potrzebujesz klonowania i dwukierunkowej komunikacji z urządzeniami raportowania.
Potoki danych sieci szkieletowej można używać zamiast potoków usługi Data Factory na potrzeby integracji danych. Decyzja będzie zależeć od kilku czynników. Aby uzyskać więcej informacji, zobacz Pobieranie z usługi Azure Data Factory do usługi Data Factory w sieci szkieletowej.
Do przechowywania danych przedsiębiorstwa można użyć usługi Fabric Warehouse zamiast usługi SQL Database lub usługi SQL Managed Instance. Ten artykuł określa priorytety czasu dla klientów, którzy chcą zmodernizować swoje magazyny danych. Aby uzyskać więcej informacji na temat opcji magazynu danych dla sieci szkieletowej, zobacz Przewodnik po decyzjach dotyczących sieci szkieletowej.
Szczegóły scenariusza
W przypadku modernizacji lokalnych magazynów danych w chmurze mogą one przyjąć narzędzia do obsługi dużych ilości danych na potrzeby przyszłej skalowalności lub korzystać z tradycyjnych rozwiązań opartych na języku SQL w celu zwiększenia wydajności kosztów, łatwości konserwacji i bezproblemowego przejścia. Podejście hybrydowe zapewnia najlepsze zarówno światy, jak i umożliwia łatwą migrację istniejących posiadłości danych przy użyciu nowoczesnych narzędzi i możliwości sztucznej inteligencji. Smb mogą przechowywać swoje źródła danych oparte na języku SQL działające w chmurze i w razie potrzeby zmodernizować je.
W tym artykule opisano kilka strategii modernizacji starszych magazynów danych oraz eksplorowanie narzędzi i możliwości danych big data bez rozciągania bieżących budżetów i zestawów umiejętności. Te kompleksowe rozwiązania do magazynowania danych platformy Azure bezproblemowo integrują się z platformą Azure i usługi firmy Microsoft, w tym z usługami sztucznej inteligencji, usługą Microsoft Dynamics 365 i platformą Microsoft Power Platform.
Potencjalne przypadki użycia
Migrowanie tradycyjnego lokalnego relacyjnego magazynu danych, który jest mniejszy niż 1 TB i używa pakietów usług SSIS do organizowania procedur składowanych.
Siatka istniejących danych usługi Dynamics lub Microsoft Power Platform Dataverse z danymi wsadowymi i źródłami usługi Data Lake w czasie rzeczywistym.
Użyj innowacyjnych technik, aby wchodzić w interakcje ze scentralizowanymi danymi usługi Azure Data Lake Storage Gen2. Te techniki obejmują analizę bezserwerową, wyszukiwanie wiedzy, łączenie danych między domenami i eksplorację danych użytkowników końcowych, w tym Fabric Copilot.
Skonfiguruj firmy zajmujące się handlem elektronicznym w celu wdrożenia magazynu danych w celu zoptymalizowania swoich operacji.
To rozwiązanie nie jest zalecane w przypadku:
Wdrożenie magazynów danych w greenfield.
Migracja lokalnych magazynów danych, które są większe niż 1 TB lub mają osiągnąć ten rozmiar w ciągu roku.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.
Kalkulator cen platformy Azure umożliwia modyfikowanie wartości w celu zrozumienia, w jaki sposób określone wymagania wpływają na koszty. Przykład cen dla scenariusza magazynowania danych SMB można zobaczyć w kalkulatorze cen platformy Azure.
Cennik usługi SQL Database zależy od wybranej warstwy obliczeniowej i usług oraz liczby rdzeni wirtualnych i jednostek transakcji bazy danych. W tym przykładzie opisano pojedynczą bazę danych z aprowizowanymi obliczeniami i ośmioma rdzeniami wirtualnymi. Przyjęto założenie, że należy uruchomić procedury składowane w usłudze SQL Database.
Cennik usługi Data Lake Storage Gen2 zależy od ilości przechowywanych danych i częstotliwości używania danych. Przykładowe ceny obejmują 1 TB magazynu danych i inne założenia transakcyjne. Rozmiar 1 TB odnosi się do rozmiaru magazynu data lake, a nie rozmiaru oryginalnej starszej bazy danych.
Cennik sieci szkieletowej zależy od ceny pojemności sieci szkieletowej F lub ceny Premium za osobę. Możliwości bezserwerowe używają procesora CPU i pamięci z zakupionej pojemności dedykowanej.
Cennik usługi Event Hubs zależy od wybranej warstwy, liczby aprowizowanych jednostek przepływności i odebranego ruchu przychodzącego. W tym przykładzie przyjęto założenie, że jedna jednostka przepływności w warstwie Standardowa obsługuje ponad milion zdarzeń miesięcznie.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Galina Polyakova | Starszy architekt rozwiązań w chmurze
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
- Aby uzyskać informacje na temat zawartości i laboratoriów szkoleniowych, zobacz Ścieżki szkoleniowe inżyniera danych.
- Wprowadzenie do usługi Fabric.
- Przeglądaj wszystkie kursy, ścieżki szkoleniowe i moduły.
- Utwórz pojedynczą bazę danych.
- Utwórz wystąpienie zarządzane SQL.
- Utwórz konto magazynu do użycia z usługą Data Lake Storage Gen2.
- Utwórz centrum zdarzeń przy użyciu witryny Azure Portal.