Bearbeiten

Freigeben über


Verwenden moderner Data Warehouses für kleine und mittlere Unternehmen

Azure Data Lake
Azure SQL-Datenbank
Microsoft Fabric

In diesem Artikel werden verschiedene Möglichkeiten gezeigt, wie kleine und mittlere Unternehmen (Small and Medium Businesses, SMBs) Legacydatenspeicher modernisieren und Big-Data-Tools und -Funktionen nutzen können, ohne aktuelle Budgets und Kompetenzen zu überlasten. Diese umfassenden Data Warehousing-Lösungen können nahtlos mit Azure Machine Learning, Azure KI Services, Microsoft Power Platform, Microsoft Dynamics 365 und anderen Microsoft-Technologien integriert werden. Diese Lösungen bieten einen einfachen Einstiegspunkt für die vollständig verwaltete Software-as-a-Service (SaaS)-Datenplattform auf Microsoft Fabric, die erweitert werden kann, wenn die Anforderungen größer werden.

SMBs, die lokale SQL Server für Data Warehousing-Lösungen unter 500 GB verwenden, können von diesem Muster profitieren. Sie verwenden verschiedene Tools für die Erfassung von Daten in ihrer Data Warehousing-Lösung, darunter SQL Server Integration Services (SSIS), SQL Server Analysis Services (SSAS), SQL Server Reporting Services (SSRS), allgemeine gespeicherte SQL-Prozeduren, externe Tools für Extrahieren, Transformieren und Laden (ETL) sowie Extrahieren, Laden und Transformieren (ELT), SQL Server-Agent-Aufträge und SQL-Momentaufnahmereplikation. Datensynchronisierungsvorgänge basieren in der Regel auf Momentaufnahmen, werden einmal täglich ausgeführt und stellen keine Anforderungen hinsichtlich Echtzeitberichten.

Vereinfachte Architektur

Diagramm, das eine vereinfachte SMB-Architektur zeigt.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Eine konzeptionelle Modernisierungschance umfasst die Migration der Data Warehousing-Legacylösung zu einer Kombination aus Azure SQL-Datenbank, Azure SQL Managed Instance und Fabric. Diese Strategie stellt die umfassende Kompatibilität mit herkömmlichen SQL Server- und SQL-Clienttools wie SQL Server Management Studio (SSMS) sicher. Sie stellt außerdem Optionen für die Migration vorhandener Prozesse per Lift & Shift bereit und erfordert eine nur minimale Kompetenzerweiterung für das Supportteam. Diese Lösung dient als erster Schritt in Richtung auf eine umfassende Modernisierung, die der Organisation die Einführung eines vollständigen Lakehouse-Ansatzes ermöglicht, wenn das Data Warehouse erweitert wird und die Kompetenzen des Teams wachsen.

Aufbau

Diagramm, das eine erweiterte Architektur veranschaulicht, die auch zukünftige Anforderungen erfüllen kann.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Altere Data Warehouses von SMBs können verschiedene Datentypen enthalten:

  • Unstrukturierte Daten wie Dokumente und Grafiken

  • Teilweise strukturierte Daten wie Protokolle, CSV-Dateien, JSON- und XML-Dateien

  • Strukturierte relationale Daten, einschließlich Datenbanken, die gespeicherte Prozeduren für ETL- und ELT-Aktivitäten verwenden

Datenfluss

Der folgende Dataflow entspricht dem vorherigen Diagramm. Er zeigt die Erfassung des von Ihnen ausgewählten Datentyps:

  1. Fabric-Datenpipelines oder Azure Data Factory-Pipelines orchestrieren die Erfassung von Transaktionsdaten in der Data Warehousing-Lösung.

    • Die Pipelines orchestrieren den Fluss migrierter oder teilweise umgestalteter Legacydatenbanken und SSIS-Pakete in Azure SQL-Datenbank und Azure SQL Managed Instance. Sie können diesen Lift & Shift-Ansatz schnell implementieren, was den nahtlosen Übergang von einer lokalen SQL-Lösung zur zukünftigen Fabric-SaaS-Umgebung sicherstellt. Sie können Datenbanken nach dem Lift & Shift inkrementell modernisieren.

    • Die Pipelines können unstrukturierte, teilweise strukturierte und strukturierte Daten zur zentralisierten Speicherung und Analyse zusammen mit anderen Quellen an Azure Data Lake Storage übergeben. Sie sollten diesen Ansatz verwenden, wenn das Fusionieren von Daten einen größeren geschäftlichen Vorteil bietet als die Portierung der Daten auf eine andere Plattform.

  2. Verwenden Sie Microsoft Dynamics 365-Datenquellen, um mit serverlosen Fabric-Analysetools zentralisierte Business-Intelligence (BI)-Dashboards für erweiterte Datasets zu erstellen. Sie können die fusionierten und verarbeiteten Daten zur weiteren Analyse innerhalb von Fabric zurück zu Dynamics übertragen.

  3. Echtzeitdaten aus Streamingquellen können über Azure Event Hubs oder andere Streaminglösungen in das System importiert werden. Wenn Kunden Echtzeitdashboards benötigen, können diese Daten mit Fabric Real-Time Analytics sofort analysiert werden.

  4. Die Daten können mithilfe von Data Lake Storage-Verknüpfungen zur weiteren Analyse, Speicherung und Berichterstellung im zentralen Fabric OneLake erfasst werden. Dieser Prozess ermöglicht eine direkte Analyse und unterstützt den nachgelagerten Verbrauch.

  5. Serverlose Analysetools, z. B. SQL Analytics-Endpunkt- und Fabric Spark-Funktionen, sind auf Abruf in Fabric verfügbar und erfordern keine Bereitstellung von Ressourcen. Serverlose Analysetools sind für die folgenden Zwecke ideal geeignet:

    • ETL- und ELT-Aktivitäten für OneLake-Daten

    • Bereitstellung der Goldschicht der Medallion-Architektur für Power BI-Berichte über die Funktion DirectLake

    • Improvisierte Data Science-Untersuchungen im T-SQL- oder Python-Format

    • Frühe Prototyperstellung für Data Warehouse-Entitäten.

Fabric ist eng mit potenziellen Consumern Ihrer Mehrquellen-Datasets integriert, einschließlich Power BI-Front-End-Berichten, Machine Learning, Power Apps, Azure Logic Apps, Azure Functions und Azure App Service-Web-Apps.

Komponenten

  • Fabric ist ein Analysedienst, der Datentechnik, Data Warehousing, Data Science, Echtzeitdaten und BI-Funktionen kombiniert. In dieser Lösung stellen Fabric-Datentechnikfunktionen eine Plattform bereit, auf der Datentechniker, Data Scientists, Datenanalysten und BI-Experten zusammenarbeiten können. Diese Schlüsselkomponente wird von serverlosen Computingmodulen unterstützt und liefert Geschäftswert, indem sie Erkenntnisse generiert, die an Kunden verteilt werden.

  • SQL-Datenbank und SQL Managed Instance sind cloudbasierte relationale Datenbankdienste. SQL-Datenbank und SQL Managed Instance verwenden SSMS, um Legacyartefakte wie gespeicherte Prozeduren zu entwickeln und zu verwalten. In dieser Lösung hosten diese Dienste das Enterprise Data Warehouse und führen mithilfe gespeicherter Prozeduren oder externer Pakete ETL- und ELT-Aktivitäten aus. SQL-Datenbank und SQL Managed Instance sind Plattform-as-a-Service (PaaS)-Umgebungen, die Sie verwenden können, um hohe Anforderungen an Verfügbarkeit und Notfallwiederherstellung zu erfüllen. Stellen Sie sicher, dass Sie eine SKU wählen, die Ihre Anforderungen erfüllt. Weitere Informationen finden Sie unter Hochverfügbarkeit für Azure SQL-Datenbank und Hochverfügbarkeit für SQL Managed Instance.

  • SSMS ist eine integrierte Umgebung für die Verwaltung der SQL-Infrastruktur, die Sie zum Entwickeln und Verwalten von Legacyartefakten verwenden können, z. B. gespeicherter Prozeduren.

  • Event Hubs ist eine Plattform für das Echtzeitstreaming von Daten und ein Ereigniserfassungsdienst. Event Hubs kann nahtlos mit Azure-Datendiensten integriert werden und Daten aus allen Quellen erfassen.

Alternativen

  • Sie können Event Hubs durch Azure IoT Hub ergänzen oder ersetzen. Wählen Sie Ihre Lösung basierend auf der Quelle Ihrer Streamingdaten und abhängig davon aus, ob Sie Funktionen zum Klonen und zur bidirektionalen Kommunikation mit den Berichterstellungsgeräten benötigen.

  • Sie können für die Datenintegration Fabric-Datenpipelines anstelle von Data Factory-Pipelines verwenden. Ihre Entscheidung ist von verschiedenen Faktoren abhängig. Weitere Informationen finden Sie unter Abrufen von Azure Data Factory zu Data Factory in Fabric.

  • Sie können Fabric Warehouse anstelle von SQL-Datenbank oder SQL Managed Instance verwenden, um Unternehmensdaten zu speichern. In diesem Artikel wird die Markteinführungszeit Zeit für Kunden priorisiert, die ihre Data Warehouses modernisieren möchten. Weitere Informationen zu den Datenspeicheroptionen für Fabric finden Sie im Fabric-Entscheidungsleitfaden.

Szenariodetails

Wenn SMBs ihre lokalen Data Warehouses für die Cloud modernisieren, können sie entweder Big-Data-Tools für die zukünftige Skalierbarkeit einführen oder herkömmliche SQL-basierte Lösungen verwenden, um von Kosteneffizienz, einer einfachen Wartung und einem reibungslosen Übergang zu profitieren. Ein hybrider Ansatz bietet das Beste aus beiden Welten und ermöglicht die einfache Migration vorhandener Datenbestände unter Verwendung moderner Tools und KI-Funktionen. SMBs können ihre SQL-basierten Datenquellen in der Cloud ausführen und wie notwendig modernisieren.

In diesem Artikel werden verschiedene Strategien für SMBs beschrieben, um Legacydatenspeicher zu modernisieren und Big-Data-Tools und -Funktionen zu verwenden, ohne aktuelle Budgets und Kompetenzen erweitern zu müssen. Diese umfassenden Azure-Lösungen für das Data Warehousing können nahtlos in Azure und Microsoft-Dienste integriert werden, darunter KI-Dienste, Microsoft Dynamics 365 und Microsoft Power Platform.

Mögliche Anwendungsfälle

  • Migration eines herkömmlichen lokalen relationalen Data Warehouse mit weniger als 1 TB, das SSIS-Pakete zum Orchestrieren gespeicherter Prozeduren verwendet.

  • Vernetzung vorhandener Dynamics- oder Microsoft Power Platform Dataverse-Daten mit Batch- und Echtzeitquellen für Data Lake.

  • Verwendung innovativer Techniken für die Interaktion mit zentralisierten Azure Data Lake Storage Gen2-Daten. Zu diesen Techniken gehören die serverlose Analyse, das Knowledge Mining, die domänenübergreifende Datenfusion und die Untersuchung von Endbenutzerdaten, einschließlich Fabric Copilot.

  • Einrichtung von E-Commerce-Unternehmen für die Einführung eines Data Warehouse zur Optimierung der Abläufe.

Diese Lösung wird für Folgendes nicht empfohlen:

  • Die Greenfield-Bereitstellung von Data Warehouses.

  • Migration lokaler Data Warehouses, die größer als 1 TB sind oder diese Größe voraussichtlich innerhalb eines Jahres erreichen werden.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

  • Mit dem Azure-Preisrechner können Sie Werte ändern, um zu verstehen, wie sich Ihre spezifischen Anforderungen auf die Kosten auswirken. Sie können im Azure-Preisrechner ein Preisbeispiel für ein SMB-Data-Warehousing-Szenario anzeigen.

  • Die Preise für SQL-Datenbank sind von den Compute- und Dienstebenen abhängig, die Sie auswählen, sowie von der Anzahl der virtuellen Kerne und Datenbanktransaktionseinheiten. Das Beispiel beschreibt eine Einzeldatenbank mit bereitgestelltem Compute und acht virtuellen Kernen und geht davon aus, dass Sie gespeicherte Prozeduren in SQL-Datenbank ausführen müssen.

  • Die Preise für Data Lake Storage Gen2 sind von der Zahl der Daten abhängig, die Sie speichern, und von der Häufigkeit, mit der Sie die Daten verwenden. Die Beispielpreise umfassen 1 TB Datenspeicher und weitere Transaktionsannahmen. Die Menge von 1 TB bezieht sich auf die Größe des Data Lake und nicht auf die Größe der ursprünglichen Legacydatenbank.

  • Die Preise für Fabric sind entweder vom Fabric F-Kapazitätspreis oder vom Premium-Preis pro Person abhängig. Serverlose Funktionen verwenden CPU und Arbeitsspeicher der erworbenen dedizierten Kapazität.

  • Die Preise für Event Hubs sind von der ausgewählten Ebene, von der Anzahl der bereitgestellten Durchsatzeinheiten und vom empfangenen eingehenden Datenverkehr abhängig. Im Beispiel wird eine Durchsatzeinheit auf der Standardebene angenommen, die mehr als eine Million Ereignisse pro Monat verarbeitet.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte